Любопытно. Я знал что локальное использование нейросеток упирается в то что у компьютеров для их применения должны быть очень много памяти и крутые видеокарты, способные к перемалыванию огромных обьемов чисел с плавающей запятой.

Так вот, уже нет. Оказалось что модели среднего размера можно так математически перестроить что внутри останутся только двоичные (0, 1) или троичные (-1, 0, 1 ) веса.

Это ухудшит качество модели, но терпимо - на несколько процентов. Плюс это ее прилично сожмет. Скажем, троичная версия Qwen будет занимать в памяти 6 гигабайт, то есть вполне способна крутиться на обычном лэптопе, а двоичная - так вообще на телефоне.

Но самое главное не в размере, а в способе обработки. Для двоичных и троичных вычислений используется не перемножение, а сложение, с чем отлично справится и обычный процессор. То есть такие модели могут запускаться на вполне себе примитивных системах без дискретной видеокарты.

Это конечно не LLM, но уже и не SLM по своим возможностям.