Компания Google обновила алгоритм своей одноимённой поисковой системы. Теперь при поиске учитываются не только отдельные слова, но и фразы целиком.
Новый алгоритм получил название Bidirectional Encoder Representations from Transformers (BERT). Его особенностью является рассмотрение всей фразы целиком, а не отдельных её составляющих-слов. В английском языке и в ряде других языков мира очень важен контекст предложения, вплоть до местоположения предлогов. Пользователи зачастую формулируют свои мысли не так, как в устной речи, а используя ключевые слова. Из-за этого в 15% случаев Google сталкивается с конструкциями, которые ранее не анализировал.
BERT позволяет избежать подобных ситуаций, анализируя всю фразу, используя нейронные сети и обработку на естественном языке. Для этого понадобилось не только внести изменения в программную часть, но и выделить дополнительные аппаратные мощности. Теперь часть запросов обрабатывается на Google Cloud Platform, использующих тензорные процессоры.
Новый метод поиска работает не только для английского языка. Google распространила результаты, полученные с помощью BERT, на два десятка языков. Особых успехов удалось добиться в корейском, хинди и португальском языках.
Запуск BERT - крупнейшее обновление поиска за последние пять лет и одно из самых больших обновлений в истории всей поисковой платформы.
