Яндекс открыл модель для создания собственного ИИ-поиска

В отличие от универсальных языковых моделей Alice AI Search учили прежде всего быстро обрабатывать большой объем найденной информации и собирать из нее короткий ответ. Именно по такому принципу работает современный Поиск Яндекса. Как уже писал IT-World, Алиса не ограничивается списком ссылок, а формирует ответы из нескольких источников, добавляет изображения, видео и ссылки на исходные материалы.

Для этого Яндекс с нуля обучил модель на 15 трлн токенов. Всего в ней около 35 млрд параметров, но при обработке каждого токена задействуется лишь около 600 млн. Это сокращает объем вычислений, что критично для поиска, который должен обслуживать огромный поток запросов практически без задержки. Модель может работать с контекстом до 128 тыс. токенов.

Сам Яндекс старается сократить и этот объем. Перед генерацией отдельная небольшая модель удаляет из найденных документов ненужные фрагменты. По данным компании, это увеличило пропускную способность системы примерно на 40% без потери качества.

Но весь поисковый механизм в open source не попал. Alice AI Search получает уже найденную и подготовленную информацию. Она сама не обходит сайты, не строит поисковый индекс и не выбирает подходящие страницы. Опубликована также базовая версия модели, тогда как работающая в Поиске проходит дополнительное обучение. За пределами релиза осталась и инфраструктура Яндекса для ее промышленного запуска.

Поэтому одной Alice AI Search недостаточно, чтобы добавить ИИ-поиск на сайт или корпоративный портал. Сначала документы нужно собрать и проиндексировать, затем найти подходящие к запросу фрагменты и только после этого передать их модели. IT-World уже подробно разбирал, как устроены такие системы. В корпоративном поиске они могут одновременно искать точные совпадения и учитывать смысл запроса, а информацию получать из баз знаний, CRM, СЭД и других внутренних источников. Качество ответа при этом напрямую зависит от качества и актуальности исходных данных.

Интернет для машин

Если задача состоит лишь в том, чтобы добавить ИИ-поиск на обычный сайт, самостоятельно разворачивать модель Яндекса, скорее всего, не потребуется. В России уже доступны облачные инструменты для поиска по собственным данным, в частности у Yandex AI Studio и Cloud.ru. Они берут на себя значительную часть инфраструктуры, а компания платит за фактическое использование моделей.

Причем сама генерация может стоить недорого. У российских облачных провайдеров миллион токенов для некоторых моделей обходится в десятки или сотни рублей. Основными расходами при небольшом числе запросов становятся разработка, индексирование данных и эксплуатация поиска.

Совсем другой расчет у банков, маркетплейсов, разработчиков поисковых систем и компаний с большими внутренними базами. Им приходится обрабатывать большой поток запросов, а корпоративные данные не всегда можно передавать внешнему сервису. В таком случае Alice AI Search можно развернуть в собственной инфраструктуре и дополнительно обучить под свои задачи. Лицензия Apache 2.0 разрешает коммерческое использование.

Таким образом, Яндекс открыл не готовый ИИ-поиск, а модель, которая превращает найденную информацию в готовый ответ. Для небольшого сайта проще воспользоваться готовым сервисом. Для компаний, которые строят собственный поиск и хотят держать данные и модель внутри своего контура, релиз позволяет не создавать такую модель с нуля.