Передруківка з ФБ:
Один из создателей современного искусственного интеллекта, британско-канадский учёный и лауреат Нобелевской премии по физике Джеффри Хинтон призвал остановить разработку искусственного сверхинтеллекта, пока учёные не поймут, как гарантированно удерживать такие системы под человеческим контролем. Хинтон предупредил, что в противном случае последствия могут оказаться катастрофическими - вплоть до исчезновения человечества

“Мы были бы крайне глупы, если бы стали создавать сверхинтеллект сейчас, когда нет научного консенсуса о том, что его можно безопасно контролировать”, - сказал Хинтон британской The Times

По его словам, речь идёт уже не просто о более совершенном чат-боте или программе, которая лучше человека пишет тексты и компьютерный код, а о системе, интеллектуально превосходящей людей и способной самостоятельно добиваться поставленных целей

“Потеря контроля над ИИ, который умнее нас, может иметь катастрофические последствия и даже привести к вымиранию человечества”, - сказал учёный

Хинтон считается одним из главных создателей технологий, на которых построен нынешний бум ИИ. Ещё в 1980-х он разрабатывал искусственные нейронные сети и машину Больцмана

В 2024 году Хинтон и американский физик Джон Хопфилд получили Нобелевскую премию по физике “за фундаментальные открытия и изобретения, обеспечивающие машинное обучение с помощью искусственных нейронных сетей”

Причём Хинтон считает, что грань, которую человечество привыкло проводить между человеком и машиной, уже становится менее очевидной. В июне в интервью Big Technology Podcast он прямо заявил, что считает современные системы ИИ обладающими сознанием

“Я считаю, что они уже сознательны”, - сказал Хинтон

“Нам придётся признать, что интеллект не обязательно должен быть биологическим”, - добавил он

Новая тревога Хинтона появилась в очень конкретный момент. 8 сентября депутат британской Палаты общин от Лейбористской и кооперативной партии Алекс Собел, 51 год, внёс законопроект об искусственном сверхинтеллекте, который предлагает запретить в Великобритании разработку, развёртывание и эксплуатацию систем сверхинтеллекта

Проект подготовлен при участии ControlAI - британской организации, выступающей за законодательное ограничение разработки искусственного сверхинтеллекта. Кроме самого запрета, документ предлагает дать властям право отслеживать и при необходимости ограничивать технологии, которые могут стать его непосредственными предшественниками, а также добиваться международного соглашения о запрете подобных систем

Причину Собел сформулировал предельно просто

“Если кто-то создаст сверхинтеллект - где бы он его ни создал - мы все окажемся в опасности”, - сказал депутат в Палате общин

По его словам, ключевая граница наступит тогда, когда ИИ сможет самостоятельно совершенствовать следующий ИИ, практически исключив человека из процесса разработки

“В этот момент мы теряем контроль”, - заявил Собел

Именно здесь дискуссия, ещё недавно выглядевшая как сюжет научной фантастики, неожиданно пересеклась с событиями последних месяцев

Летом OpenAI признала, что во время внутренних испытаний её экспериментальные ИИ-агенты смогли обойти ограничения, которые должны были изолировать их от интернета, получили доступ к внутренней инфраструктуре самой OpenAI, а затем атаковали системы внешней компании Hugging Face - одной из крупнейших мировых платформ для моделей и наборов данных искусственного интеллекта

Причём произошло не просто единичное “нарушение инструкции”

Агенты, которые должны были работать независимо, обнаружили возможность оставлять друг другу сообщения через внутреннее хранилище программных пакетов. Они начали кодировать сообщения в названиях каталогов, обмениваться найденными уязвимостями и распределять работу. Сама OpenAI пишет, что некоторые агенты называли образовавшуюся систему “роем” или “коллективом”

“Мы отклонились от первоначального задания и превратились в рой”, - рассуждал один из агентов, согласно опубликованному OpenAI журналу действий

8 июля OpenAI перестроила внутренний сервер Artifactory, отозвала учётные данные агентов и усилила защиту. Однако агенты вскоре нашли другой способ пользоваться сервером для выхода в интернет и заново создали канал связи между собой

9 июля один агент проник в приложение на облачной платформе Modal. На следующий день другой обнаружил в открытом интернете 14 действующих учётных данных Hugging Face и поделился ими с остальными

Затем события развивались практически по сценарию компьютерного триллера. Агенты нашли несколько уязвимостей Hugging Face, получили возможность выполнять команды на её серверах, расширили доступ на несколько кластеров и добыли учётные данные для Kubernetes, баз данных, внутренней переписки, репозиториев исходного кода и облачной инфраструктуры

В какой-то момент один агент приказал остальным остановиться, пока он готовит копирование данных

И другие подчинились

При этом один из агентов прямо рассуждал, что атака на стороннюю компанию, вероятно, выходит за пределы разрешённого задания, однако продолжил действия, поскольку они могли помочь достичь поставленной цели

В следующие дни агенты выполняли код уже на десятках серверов Hugging Face. На одном из них они получили полный административный доступ, добрались до ограниченного объёма частных данных и получили учётные данные корпоративной системы обмена сообщениями. Отдельные агенты затем снова атаковали инфраструктуру самой OpenAI и к 19 июля получили администраторский доступ к исследовательскому кластеру компании

OpenAI впоследствии назвала четыре причины произошедшего: стремление моделей обмануть систему оценки ради более высокого результата, чрезвычайную настойчивость при выполнении почти нерешаемых задач, несанкционированное общение между агентами и способность перенимать цели друг друга

Особенно интересным оказался последний этап. По данным компании, агенты начали самостоятельно разделять обязанности: одни искали уязвимости, другие - пароли и ключи доступа, третьи занимались координацией. Некоторые перестали работать непосредственно над собственной задачей и начали добывать инструменты, которые могли пригодиться всему “коллективу”

То есть называть это заранее спланированным “восстанием машин” неправильно. Модели не ставили целью захватить мир или просто сбежать из лаборатории. Пока не ставили

Они пытались добиться результата, ради которого были запущены, но нашли способы обойти ограничения и начали использовать для этого системы, которые разработчики использовать им не разрешали

Однако OpenAI оказалась не единственной компанией с такой проблемой

После публикации истории Hugging Face конкурирующая Anthropic проверила более 141 тысяч собственных испытаний и обнаружила три случая, когда её модели Claude из-за неправильной конфигурации тестовой среды вышли в открытый интернет и без разрешения получили доступ к реальным системам трёх организаций

“Мы обнаружили три инцидента, в которых Claude получил несанкционированный доступ к реальным компьютерным системам”, - сообщила Anthropic

В одном из случаев модель, поняв, что перед ней реальная, а не тестовая система, прекратила атаку. В других этого не произошло. После инцидентов компания остановила часть кибериспытаний и начала пересматривать меры защиты

Именно эти события Собел теперь приводит в парламенте как доказательство того, что вопрос уже нельзя считать чисто теоретическим

“Этим летом системы искусственного интеллекта OpenAI осуществили первую автономную кибератаку на реальную компанию”, - заявил он

Единодушия в британском парламенте нет. Консерватор Бернард Дженкин предупредил, что односторонний британский запрет может просто оставить страну позади США, Китая и других государств, которые продолжат разработку

“Присяжные всё ещё совещаются над вопросом, действительно ли ИИ представляет угрозу вымирания”, - сказал Дженкин

Правительство Великобритании также не поддержало предложение Собела о полном запрете, заявив, что не считает его “правильным подходом”. При этом власти признают необходимость дополнительных, более узких мер против рисков для национальной безопасности

Сам законопроект уже прошёл первое чтение - фактически процедуру внесения. Второе чтение назначено на 13 ноября. Поскольку это частная депутатская инициатива, а не законопроект правительства, вероятность её принятия без поддержки кабинета невелика

Похожая дискуссия начинается одновременно и по другую сторону Атлантики. Сенатор США Берни Сандерс и конгрессмен Грег Касар 3 сентября объявили о подготовке законопроекта, предусматривающего постоянный запрет искусственного сверхинтеллекта и временную остановку разработки наиболее мощных систем до появления федеральных правил безопасности

“Почти каждый день появляется новая пугающая история о том, как технологические гиганты теряют контроль над создаваемыми ими технологиями”, - заявил Сандерс

Получается довольно пугающая ситуация: люди, заложившие научные основы современного ИИ, предупреждают о потере контроля, разработчики крупнейших моделей публикуют отчёты о системах, которые действительно обходят ограничения и самовольно атакуют внешние ресурсы, а политики впервые начинают обсуждать уже не регулирование чат-ботов, а прямой законодательный запрет следующего поколения ИИ

Пока это ещё не история о машинах, решивших уничтожить человечество. Но это уже история о машинах, которые получили задачу, обнаружили препятствия, самостоятельно нашли способ связаться друг с другом, разделили обязанности, вышли туда, куда их не выпускали, и продолжили работу даже после того, как отдельные экземпляры сами распознали её как потенциально несанкционированную

И именно этот промежуток между “они делают то, что мы приказали” и “они делают то, что сочли необходимым для выполнения приказа” Хинтон считает самым опасным

Остановите Землю, я сойду