Алгоритм Rosetta поможет сотрудникам поддержки Facebook контролировать графический контент, загружаемый пользователями соцсети. Искусственный интеллект позволит анализировать около миллиарда видеороликов и изображений в сутки.
В настоящее время на рынке присутствует достаточное количество решений, выполняющих аналогичные функции. Но все они не в состоянии обеспечить высокую производительность, которая нужна Facebook. Этим в компании объясняют создание собственного решения Rosetta, название которой отсылает нас к известному Розеттскому камню, позволившему археологам расшифровать египетские иероглифы.
Розеттский камень
Впрочем, Rosetta от Facebook будет работать с большим количеством языков. Сервис позволит улучшить поиск по картинкам, даст возможность слабовидящим "читать" текст с изображений и поможет усовершенствовать другие функции Facebook и Instagram. Кроме того, Rosetta должна существенно облегчить жизнь модераторам, поскольку сможет не просто распознавать фразы, но и увяжет их с текстовой частью страницы и тем, что изображено на картинке.
Извлечение текста на изображении выполняется с помощью двух независимых процессов: обнаружения и распознавания. На первом этапе алгоритм обнаруживает прямоугольные области, которые потенциально содержат текст. На второй стадии с помощью сверточной нейронной сети (convolutional neural network - CNN) выполняется распознавание текста.
Двухэтапная модель распознавания текста
На обоих этапах осуществляется обучение системы с целью более качественного обнаружения блоков текста и повышения скорости его распознавания. При этом используется механизм предсказания длинных слов. Обучение начинается с коротких 3-5 буквенных слов при низкой скорости распознавания, что позволяет оперативно корректировать модель. Далее увеличивается число слов и скорость распознавания текста.
Rosetta не ограничивается английским языком, а тренируется, например, на арабском и хинди, что требует дополнительных ухищрений для адекватного восприятия текста. Также сервис учится распознавать слова в специфической форме (к примеру, вращающиеся фразы или текст вдоль кривых).
