Ладно, теперь, когда об этом уже прямо говорят тим лид из Anthropic и уволившийся сегодня из-за опасений за наше будущее ведущий исследователь Anthropic и OpenAI - я начинаю тоже поддаваться общей панике.

Вкратце обрисую ситуацию: люди, имеющие прямое отношение к разработке топовых ИИ OpenAI и Anthropic, совершенно уверенно говорят, что шансы на то, что ИИ всех убьёт, сравнимы с 10% в ближайшие 10 лет. И хотя в этих компаниях все в курсе такой возможности, из-за гонки вооружений они вынуждены пренебрегать необходимыми мерами безопасности.

Таких заявлений всё больше и до сегодня я считал это просто алармизмом и даже луддитством в каком-то смысле. Но общий консенсус среди людей, которые знают о чём говорят, уже сложился такой, что да, поведение будущего суперинтеллекта из непредсказуемого (что уже не так чтобы хорошо) в процессе изучения становится как-то уж слишком предсказуемым.