Кажется, у нас постепенно появляется ещё одна полноценная поисковая система. На этот раз Meta

Кажется, у нас постепенно появляется ещё одна полноценная поисковая система. На этот раз от Meta.

Сегодня знакомый поделился со мной довольно интересной информацией, которую ему разрешил раскрыть сотрудник Meta. Если коротко, Meta якобы занимается созданием собственного поискового индекса, который в дальнейшем может использоваться для поиска внутри их ии-продуктов.

Логика тут простая. Когда Meta AI нужно найти свежую информацию в интернете, постоянно обращаться за ней к Google не очень удобно. Это зависимость от прямого конкурента, которому заодно достаётся информация о том, что именно ищет чужой ии. Собственный краулер и индекс эту проблему решают.

Но интереснее косвенные признаки. В последние дни краулеры Meta очень активно ходят по сайтам. В случае моего знакомого нагрузка оказалась настолько большой, что на одном из серверов даже начали срабатывать алерты. Причём Meta ходит не только по обычным страницам, но и в его собственный сервис, который делает скриншоты сайтов ) Поэтому есть предположение, что собирается не только текстовая информация, но и изображения или вообще визуальное представление страниц. Возможно, это нужно для мультимодального поиска, или будущих моделей. Тут пока можно только строить гипотезы.

А вот сам поисковый индекс мне кажется куда более интересной историей. Мы несколько лет обсуждаем модели, размеры контекста и бенчмарки, хотя постепенно становится понятно, что хорошей модели уже недостаточно. Чтобы нормально работать с сегодняшним интернетом, нужно самостоятельно его обходить, находить новые документы, понимать связи между ними, оценивать источники, обновлять информацию и решать, что вообще заслуживает попадания в индекс.

Получается довольно забавный круг. Все несколько лет хоронили классический поиск из-за ии, а теперь крупнейшие иишные компании постепенно приходят к тому, что им самим нужен собственный поисковик )

И вот за развитием таких индексов мне сейчас наблюдать намного интереснее, чем за очередными +3% в каком-нибудь бенчмарке. Потому что следующий большой вопрос уже не только в том, какая модель лучше отвечает. Гораздо интереснее, кто и каким образом будет формировать для неё представление о сегодняшнем интернете.