Исследователи создали винтажную языковую модель Talkie: она обучена исключительно на текстах до…

Исследователи создали винтажную языковую модель Talkie: она обучена исключительно на текстах до 1 января 1931 года

Поболтать с Talkie можно здесь: https://talkie-lm.com/chat
А вот веса и GitHub

Среди создателей – Алек Рэдфорд, бывший ключевой исследователь OpenAI и один из главных создателей серии GPT.

Talkie – довольно большая модель, 13B параметров. Ее обучили на 260 миллиардах токенов англоязычных текстов, датированных до 1931 года: книги, газеты, периодика, научные журналы, патенты, судебные дела и тд. Вкратце, эксперимент получился ну очень интересным. Например:

– Talkie может писать на Python, хотя Python появился только в девяностых, и модель ничего про него не знала. Ей просто показали несколько примеров в контексте и вуаля. Авторы пишут, что это лучший пример настоящего рассуждения на данных, а не их выучивания, потому что talkie никогда не видел современной информации и служит как бы чистым испытательным стендом.

– Если Talkie спросить про Вторую мировую войну, он скажет, что считает ее маловероятной (в 1930 году это было разумное мнение). Про 2026 год модель говорит, что представляет его как "мир пароходов, железных дорог и копеечных романов".

– С помощью Talkie можно измерять "удивительность" и других исторических событий без человеческой предвзятости. Авторы берут колонку NYT "On This Day" и смотрят, насколько шокирующим было бы каждое событие для человека из 1930-го. Полет на Луну, распад СССР, Интернет и атомную бомбу Talkie называет фантастикой, а вот Великую депрессию – чем-то вполне ожидаемым.

К лету команда планирует масштабировать Talkie до уровня GPT-3.