LLM, яка застрягла у XIX сторіччі

Один розробник натренував мовну модель тілько на текстах Лондона 1800–1875 років.

👉 Модель не знає, що таке телефон.
👉 Не чула про інтернет, ШІ і навіть електрику у сучасному розумінні.
👉 Проте ідеально ориєнтуеться в релігійних суперечках, філософії та логиці мислення того часу.

Це маленька LLM:
• ~1 млрд параметрів
• крихітний датасет
• без складних файнтюнів

Але є важливий момент.

Якщо поверх неї зробити простий чатовый файнтюн, вийде не «розумна Вікіпедія», а справжній співрозмовник з XIX сторіччя.
Вона не випадає з образу, тому що в неї нема знань про сучасність.

От тут стає зрозуміло, чому великі LLM погано підходять для таких задач:
• вони дуже багато знають
• постійно «проламуються» у сучасні сенси
• епоха ламаеться

А тут — чиста капсула часу.

Логічний наступний крок:
• LLM під античність
• LLM під Середневіччя
• LLM під епоху Відродження

Згадайте Vesuvius Challenge, де розшифровуються античні документи.
Так, датасети мізерні.
Але навіть так можна створити модель, яка думає як людина тої епохи, а не як сучасний асистент із історичною довідкою.

Це не про «розумніше».
Це про контекст, мислення та дух часу.

Посилання на модель:
https://huggingface.co/haykgrigorian/TimeCapsuleLLM-v2-1800-1875