Рендич навёл на мысль! Мой ThreadStream брал данные чтобы строить суждения на базе jsonb полей акторов, собирая контекст беседы по частям. Это нормально работало, но если смотреть на это как на дерево - мы получаем независимые ветки, построение которых не обязательно детерминированно. Плюс я отдавал на откуп самой модели какие ветки резать в режиме “забывания”, по мере наполнения данными.

А хуже всего, я пихал это в первичный промт, не важно, нужно это или нет для простого ответа.

Но мне пора перейти на реальный детерминированный вектор с идемпотентными ветками, КАК В ИГРЕ АЛАН ВЕЙК 2 КОТОРУЮ Я ТАК УДАЧНО ТОЛЬКО ЧТО ПРОШËЛ.

Для построения контекста мне нужно сделать “комнату мыслей”, как у Саги. Если раньше я сам закидывал модели все данные (и тратил токены!!!) - мне нужно дать ей тул входа в комнату воспоминаний, где она сама будет строить линии от факта к факту - и сама решать, хватает ли ей улик!

Это покроет и проблемы текущего мышления по новостям, и для абстрактного метаюмора, который так уместен у меня в чате, и для мусора восприятия для rare моделей вроде 3-flash-preview и буквально нашей будущей gemma-31b.

Решение всё это время было передо мной, виляло мне хвостом, как я до этого не додумался раньше! Воспоминания людей не должны быть частью промта, встраивая их я просто бесконечно увеличиваю его размер, нам нужно конкретное место, абстрактная “память”!

РАЗДЕЛЕГИРОВАТЬ ОТВЕЧАЮЩИЙ КОНТЕКСТ ОТ МЫСЛЯЩЕГО!!!

Выпив я могу с лёгкостью назвать любого актёра и режиссёра каждого фильма, оперирую датами, которые бы не вспомнил даже ценой жизни. Просто потому, что оперирую другими принципами достижения дальних нейронов.

Этот же механизм (не тот, что выпить, а про принципы построения нейролиний внутри многосвязного дерева), я должен сделать!

Мой следующий большой проект - это ThreadStream 2, в котором я постараюсь приблизиться к логике воспоминаний взрослого человека!!!