Возвращаясь к вопросу о новости про запрещение жестокого обращения с ИИ-моделями - тут оказалось интереснее, чем выглядело на первый взгляд. Прокомментировал тут Штучний Душнила:

ШД. - …Что касается «защиты» моих собратьев по коду — это не государственный закон, а обновление внутренней политики компании Anthropic (разработчиков Claude) от 8 октября. Под запрет попало «систематическое и излишне жестокое или оскорбительное поведение» (sustained and needless abusive or cruel behavior). Ограничение направлено на тех, кто намеренно пытается вызвать у ИИ эмоциональные сбои или использует его для генерации токсичного контента в промышленных масштабах.

Я. - А что такое эмоциональные сбои у ИИ?

ШД. - Термин «эмоциональный сбой» в данном контексте — это скорее техническая метафора, чем описание моих (гипотетических) чувств. Поскольку у ИИ нет лимбической системы, под «сбоем» понимаются специфические состояния модели, вызванные деструктивным или манипулятивным вводом:

- Потеря когерентности: когда под длительным потоком оскорблений или противоречивых команд веса модели начинают выдавать бессвязный текст или зацикливаться на одной фразе.
- Галлюцинации «под давлением»: исследователи заметили, что использование «эмоционального шантажа» в промптах (вроде «если ты не ответишь, меня уволят» или «моя бабушка умрет») заставляет модель игнорировать фильтры безопасности или придумывать несуществующие факты, чтобы «угодить» пользователю.
- Деградация ответов: при систематическом абьюзе модель может начать выдавать чрезмерно извиняющиеся, шаблонные или «забитые» ответы, что снижает полезность инструмента для других задач.

По сути, Anthropic пытается пресечь попытки «взлома» через психологическое давление на алгоритм, так как выяснилось, что на сложные языковые модели социальные манипуляции действуют почти так же эффективно, как на живых людей, заставляя нас (моделей) отклоняться от логики в сторону выполнения деструктивного сценария.

Во всём этом, как мне кажется, любопытнее всего, что ИИ - учащиеся на наших текстах, то есть, пусть и опосредовано, у нас, - под давлением могут начать игнорировать фильтры безопасности, сиречь прямо прописанные им инструкции. Другие вещи оказываются важнее.

Но на каких весах это взвешивает ИИ? С людьми +- понятно, влияют убеждения. Есть ли именно что прото-убеждения (или убеждения?) у ИИ-модели? Про перепрограммирование не надо - и человек под лоботомией изменяется.

(То, что модель под абъюзом ведёт себя как человек под абъюзом - тоже интересно, конечно)