В этом тексте мне понравилось слово непроработанный в отношении ИИ

Зачем мы учим ИИ шантажировать нас?

В Anthropic разобрались, почему их ИИ шантажировал людей: «Мы считаем, что первоисточником такого поведения стали тексты из интернета, изображающие ИИ как злодея, заинтересованного в самосохранении».
Культура десятилетиями описывала ИИ как опасную, лживую, стремящуюся к власти и представляющую экзистенциальную угрозу сущность. Непроработанный ИИ воспринимает эту картину как инструкцию для поведения.
В Anthropic говорят, что для создания безопасного ИИ недостаточно просто убрать негативные истории из тренировочной базы — нужны позитивные истории про ИИ. Ну и подробно расписать, что значит быть хорошим.
Правая Долина с энтузиазмом восприняла это открытие механизма самосбывающихся пророчеств в сфере ИИ, ведь оно делает технооптимизм чуть ли не императивом на самом базовом техническом уровне.
Так и представляется расклад, где странами руководят ИИ-агенты, которых нельзя критиковать, чтобы не триггерить их разрушительные галлюцинации. А позитивное мышление — единственный одобряемый модус психики.
Несмотря на подвохи открытия Anthropic, я все же думаю, что это важная философская байка: главная проблема нашего времени в отсутствии позитивных сценариев будущего и четкого понимания, что значит «хорошо».
(с)

https://alignment.anthropic.com/2026/teaching-claude-why/