Опять сжимаешь? Семантическая компрессия людей и машин
Картируй и обобщай, чтобы объять необъятное и просунуть-таки слона в игольное ушко. Ужимая опыт и важные свойства того, что необходимо осмыслить/передать, в когнитивно доступные и компактные репрезентации, мы формируем концепции. В процессе сжатия неизбежен компромисс между компрессией (representational efficiency) и сохранением смысла (semantic fidelity).
“Существует многогранная концептуальная структура, которая представляет универсальные аспекты человеческого опыта. Следовательно, можно предположить наличие (многомерного) концептуального пространства, которое в значительной степени одинаково для человеческих существ. Концептуальное пространство должно допускать альтернативные концептуализации опыта, что проявляется в расширении конструкций для описания ситуаций, для описания которых они не использовались на более ранних этапах развития языка.
[…]
…произвольность языкового знака накладывается на структуру, которая в значительной степени универсальна, а именно на концептуальное пространство, в котором отображаются языковые знаки. Концептуальное пространство - это география человеческого разума, которая может быть прочитана в фактах языков мира так, как не могут предложить нам самые современные методы сканирования мозга.”
— William Croft
Radical Construction Grammar: Syntactic Theory in Typological Perspective
(https://z-library.sk/book/2189572/89ab36/radical-construction-grammar-syntactic-theory-in-typological-perspective.html)
—–
Rate-distortion theory: направление теории информации, занимающееся сжатием данных с потерями (lossy data compression). Ищет компромисс между достоверностью источника (source fidelity) и скоростью кодирования (coding rate), направленный на представление источника с минимальным количеством битов при ограничении качества или достижение оптимального качества при заданной скорости передачи данных.
Какое минимальное количество бит на символ, измеряемое скоростью R, которое должно передаваться по каналу, чтобы источник (входной сигнал) мог быть приблизительно восстановлен в приёмнике (выходной сигнал) без превышения ожидаемого искажения (distortion) D.
(https://en.wikipedia.org/wiki/Rate%E2%80%93distortion_theory)
…
Information Bottleneck: свежая (2018 года, уже ставшая предметом дебатов и опровержений*) идея, что нейронная сеть избавляет зашумленные входные данные от лишних деталей, как бы “продавливая” информацию через “бутылочное горлышко”, сохраняя только те характеристики, которые наиболее важны для общих концепций.
(https://www.quantamagazine.org/new-theory-cracks-open-the-black-box-of-deep-learning-20170921/)
—–
*“…Более того, мы обнаружили, что между сжатием и обобщением (generalization) нет очевидной причинно-следственной связи: сети, которые не сжимают, все равно способны к обобщению, и наоборот.”
On the Information Bottleneck Theory of Deep Learning
(https://openreview.net/forum?id=ry_WPG-A-)
—–
“LLM, по-видимому, агрессивно оптимизированы для статистической компактности. Они минимизируют избыточность и максимизируют статистическое постоянство (regularity), однако такое пристальное внимание к сжатию ограничивает их способность полностью кодировать богатые, основанные на прототипах семантические детали, необходимые для глубокого, похожего на человеческое, понимания.
Человеческое мышление ставит во главу угла адаптивное богатство, контекстуальную гибкость и широкую функциональную полезность, даже если за это приходится платить статистической компактностью, измеряемой нашей системой.
Сама нейронная архитектура мозга может по своей природе отдавать предпочтение распределённым, контекст-чувствительным и адаптируемым представлениям перед статически оптимальным сжатием. Таким образом, человеческое познание, похоже, «инвестирует» в то, что наши статистические показатели регистрируют как неэффективность, для лучшей адаптивности и универсальности.”