В общем, решение от Йовович в базовом варианте - это простая локальная embedding-модель и ChromaDB. Нет графа знаний, нет сложной иерархии, обычный векторный поиск.

Это могло бы покрыть наш кейс, и мы могли бы внедрить что-то подобное в Вміст с пользой. Но для сценария с самообучением и постоянным накоплением контента такой подход быстро начнёт зашумляться и потребует более сложной фильтрации, иначе очень скоро будет нести бред.

Поэтому лучше дать Вмісту вырасти, а потом на базе своего ThreadStream сделать примерно то же самое, но с каскадом из локальных LLM разной сложности для усиления поиска в контексте и с re-ranking как дополнительным фильтром. Это медленнее, но от Душнилы никто не ждёт молниеносного ответа.

Сейчас всё, что он знает о проекте, правилах и функциях, в основном захардкодено в системном промпте. А станет самообновляемой базой знаний: отдельно правила, отдельно посты, отдельно комментарии и так далее.

Но всё это не так важно, пока мы не вырастем. А это само по себе уже сложная задача, так что лучше пока сконцентрироваться на ней.