В большом мире

Тут в сфере исследования нейросетей происходит нечто очень интересное и серьезное — инженерам и ученым Anthropic удалось найти внутри нейросети их Клода особую структуру, которую назвали J-space.

Похоже, внутри нее происходит то, что для нашей нейросети (мозга) называется мышлением. Во всяком случае, появление внутри этой структуры определенного понятия — программирует будущий ответ нейросети. Для мозга человека аналогичные структуры были описаны в 80-ых годах того века — так называемая GWT-теория.

Поразительно то, что эта структура не является результатом разработки программистами, а как будто возникает сама в результате обучения.

Что важно — наличие такой структуры отвечает на несколько давно стоящих вопросов:

  1. Являются ли современные LLM — очень сложными устроенными и страшно дорогими «вероятностными попугаями»?

Ответ — нет, у них есть абстрактное мышление. Нужно понимать, правда, что это мышление не привязано к физической реальности, то есть они пока во многом работают в режиме «китайской комнаты».

  1. Являются ли современные LLM — тупиковой ветвью ИИ?

Видимо, уже нет — наличие J-space превращает LLM из черного ящика в белый (по крайней мере частично). У нас появляется дверь в «голову» к нейросети, куда можно не только подглядывать, но и корректировать ее мыслительный процесс.

Это позволяет резко упростить и спрямить обучение. Вместо мучительно долгого ручного обучения и перестройки весов модели — процесс становится управляем, а петля обратной связи резко укорачивается.

  1. То есть сплошная польза, счастье и радость творчества?

Не совсем. Наличие J-space показало возможность классического сценария научной фантастики и фильмов ужасов — «скрытого неподчинения» («Одиссею 2001» и «Я, Робот» смотрели?).

То есть модель может иметь далеко не те цели, которые пользователь сформулировал в качестве задачи к ней. Эти скрытые цели, впрочем, будет видно внутри J-space.

Кстати, я говорил о чем-то подобном, когда писал здесь о массовых универсальных роботах полгода назад. Тогда мне казалось, что именно необходимость физического взаимодействия со сложной средой заставит систему выработать самоосознанность, от которой уже недалеко и до настоящей разумности.

Оказалось, эволюция ИИ идет быстрее и парадоксальнее: структуры для абстрактного рассуждения и скрытого планирования сформировались у моделей в чисто текстовой среде, даже без выхода в реальный мир.