Потемкинское понимание языковых моделей

“— Ну, скажи рифму на слово «палка».

— Селёдка, — ответил Незнайка.”

— Николай Носов
“Приключения Незнайки и его друзей”
—–

Если принять концепцию как набор правил, которые описывают объекты, её понимание — это способность воспользоваться ими. В эксперименте языковые модели демонстрировала понимание концепции хайку “трёхстрочное стихотворение из семнадцати слогов построенное по принципу 5-7-5”, но при просьбе закончить строку ошибалась в количестве слогов. Или же демонстрировала понимание концепции родственной связи племянника с дядей, но ошибочно видела её в примере, в котором этой связи не было. Как у ленивого студента — на словах всё ясно-понятно, а на деле “на пересдачу”.

Как потемкинская деревня — видимость есть, а сути нет.
(https://en.wikipedia.org/wiki/Potemkin_village)

На рисунке:
(вверху) Примеры потемкинцев. В каждом примере GPT-4o правильно объясняет понятие, но не может правильно его использовать.

(внизу) Схематическое представление ключевых моментов (keystones) и потемкинцев. Строки представляют собой интерпретации концепции, а столбцы - вопросы. Вопросы могут быть либо правильно, либо неправильно интерпретированы. Keystone - это набор вопросов, которые могут быть правильно интерпретированы только человеком, который понял концепцию. LLM имеет «потемкинское» понимание, когда она правильно интерпретирует все вопросы в keystone, но не понимает концепцию.

Potemkin Understanding in Large Language Models
(https://arxiv.org/pdf/2506.21521)