Нещодавно дослідження Stanford, Cornell та West Virginia University показало, що модель Meta Llama 3.1 (70B), випущена в липні 2024 року, свідомо запам’ятала 42 % першої книги про Гаррі Поттера так, що може відтворити уривки по 50 токенів з ймовірністю понад 50 %. Тобто, мродель не просто пам’ятає сюжет — вона може відтворити цілі шматки тексту, якщо їй дати перше речення. Для порівняння, стара модель пам’ятала всього 4.4 %.