Новости

НАЗАД К CПИСКУ ПУБЛИКАЦИЙ

Запуск алгоритма Палех от Яндекса

10.01.2017

В основе нового поискового алгоритма — современные нейронные сети. «Палех» призван повысить результативность поиска по редким запросам, число которых в поисковике достигает ста миллионов за одни сутки. Обновленный принцип позволит находить нужные страницы, даже если в их заголовке отсутствуют фразы из пользовательского запроса.

Принципы работы системы поиска

Название «Палех» алгоритм получил в честь сказочной Жар-птицы — одного из распространенных сюжетов палехской миниатюры. Ее длинный хвост напоминает об огромном хвосте уникальных запросов, которые составляют почти третью часть всего объема поиска в интернете.

Во время обычного поиска система ориентируется на ключевые слова, присутствующие в запросе и заголовках страниц. Дополнительно она учитывает данные статистики и выводит на первые места страницы, по которым пользователи чаще всего переходят по аналогичным запросам. Но если пользователь вводит в строку поиска уникальную фразу, то статистики по ней нет, поэтому выдача часто не соответствует желаемому результату.

Новый алгоритм работает с использованием нейронных сетей, поэтому способен распознать совпадение смысла информации на странице и пользовательского запроса. К примеру, если человек ищет кино про фокусника, который тонет в аквариуме, система с учетом отдельного смысла слов найдет фильм «Престиж». Аналогичные механизмы уже используются при поиске изображений по семантическим векторам. Система успешно находит релевантные результаты даже по низкочастотным фразам, по которым отсутствует пользовательская статистика.

Новый алгоритм тестировался в продолжение нескольких месяцев, поисковые механизмы и нейронные сети прошли тщательную доработку. Это позволило обеспечить высокое качество поиска даже по редким и необычным фразам.

Перспективы развития

Цель разработки механизмов на нейронных сетях — научить машину распознавать смысл фраз и их соответствие информации на страницах сайтов на уровне человека. В этом направлении уже сделано немало, но поисковым роботам предстоит долгий путь совершенствования. Со временем искусственный интеллект научится распознавать смысловые оттенки человеческой речи. Уже сейчас существующие механизмы позволяют фильтровать контент для взрослых и искать интересные для пользователя рекламные объявления.

10.01.2017