vk_logo twitter_logo facebook_logo livejournal_logo googleplus_logo youtube_logo telegram_logo telegram_logo

Яндекс использует нейросети для формирования поисковой выдачи

Дата публикации: 08.11.2016
Количество просмотров: 760

Яндекс разработал новый алгоритм "Палех", который использует нейронные сети для формирования поисковой выдачи. Методы позволят лучше воспринимать запросы пользователей, основываясь не только на использовании ключевых слов, но и их смысловых аналогов. 

Из 280 млн запросов, которые ежедневно поступают в поиск Яндекса, небольшая часть имеет хорошую повторяемость, формируя клюв Жар-птицы, которая и иллюстрирует их распределение. Например, за месяц поисковый запрос "nag" встречался 7222 раза, "nag ru" - 1854 раза, "nag shop" - 1090 раза, "shop nag ru" - 723 раза. 

Жар-птица, иллюстрирующая поисковые обращения пользователей

Жар-птица, иллюстрирующая поисковые обращения пользователей

Тело этого сказочного персонажа формируют запросы средней частотности, например, применительно к слову "nag" это будут: "грозозащита nag" - 277 раз, "грозозащита nag 1p" - 129 раз, и пр. Низкочастотные запросы, к примеру, "www shop nag ru", формируются редко, однако в совокупности представляют собой значительную долю поиска, подобную хвосту Жар-птицы.

Именно эта часть и обрабатывается с помощью алгоритма, который учитывает особенности аудитории, например, распознаёт обращения детей, пока не владеющих искусством формулировки лаконичных запросов, или от любителей литературы, киноманов, пытающихся определить название произведения по эпизоду. 

Для низкочастотных запросов формирование поисковой выдачи задача непростая, поскольку у машины недостаточно материала для корректного отображения результатов. При этом разные запросы на одну и ту же тему могут содержать разные слова. Для их обработки Яндекс использует возможности нейросети, которая понимает смысл текста на основании поведения и других особенностей пользователей. 

Поиск в этом случае основывается на использовании семантического вектора, который отображает близость  поискового запроса и содержимого страницы. При этом поисковая машина переводит заголовки страниц в набор из 300 чисел, то есть формирует трехсотмерную модель интернет-пространства. При получении запроса, он также переводится в аналогичную форму и сравнивается с имеющимся набором данных. В результате для формирования поисковой выдачи используются те  страницы, которые максимально соответствуют полученному запросу.

Схема работы алгоритма при использовании двухмерного пространства для сравнения запроса и содержимого

Схема работы алгоритма при использовании двухмерного пространства для сравнения запроса и содержимого

Семантический вектор используется как в текстовом поиске Яндекса, так и в поиске по картинкам и прочих сервисах. Кроме того, его можно применять для "оцифровывания" не только самих заголовков, но и текста страниц. Также технология подходит для представления профиля пользователя с учётом круга его активности в интернете, что даёт возможность сделать поиск максимально релевантным.

От редакции: если у вас есть чем поделиться с коллегами по отрасли, приглашаем к сотрудничеству
Ссылка на материал, для размещения на сторонних ресурсах
/news/newsline/30459/yandeks-ispolzuet-neyroseti-dlya-formirovaniya-poiskovoy-vyidachi.html

Обсудить на форуме

Оставлять комментарии могут только зарегистрированные пользователи

Зарегистрироваться