Люди могут слышать звуки только в определённом диапазоне частот. Было обнаружено, что помощники "слышат" и выполняют команды, которые "звучат" вне этого диапазона. Исследователи смогли активировать ассистентов на смартфонах и в умных колонках.
О проведении экспериментов с функциональными возможностями, появившимися в устройствах Amazon, Google и Apple, в виде "голосовых слуг" сообщали американские и китайские исследовательские лаборатории. Оказалось, что можно командовать встроенными системами искусственного интеллекта, используя звуковые волны, неразличимые человеческим ухом.
В ходе таких проверок удавалось с помощью голосовых ассистентов набирать определённые телефонные номера и переходить на веб-сайты. Список действий, которые доступны для выполнения через голосовые команды, немалый: системы распознавания голоса могут включить воспроизведение видео, могут искать музыку, некоторые помощники "умеют" добавлять товары в корзину в процессе интернет-шоппинга и доходить до этапа покупки.
Издание The New York Times пишет, что исследователи в американском университете Беркли предполагают, что неразличимые человеком звуковые команды могут быть встроены в музыкальную фонограмму или в аудиозапись вроде бы обыкновенного разговора. В статье также упоминается о проверке работы ассистентов на расстоянии: оказалось, что можно подавать команды через открытое окно, находясь на улице на расстоянии до 7 метров.
В университетских лабораториях за последние два года протестировали с целью поиска подобных "уязвимостей" несколько систем интеллектуального управления, эксплуатируемых в смартфонах и в умных колонках. Выяснилось, что реализация пользовательского интерфейса через выполнение голосовых команд несовершенна, так как этим механизмом могут воспользоваться злоумышленники. С учётом массового присутствия разного рода цифровых помощников на миллионах устройств (см. прогноз) очень важно заниматься вопросами безопасности.
Разработчики прокомментировали информацию в The New York Times: компания Amazon заявила о наличии защиты в её умных колонках, в Google утверждают, что возможность подачи скрытых команд через ассистента не допускается – обе компании делают ставку на качество распознавания голоса владельца устройства и на срабатывание запрета на управление, если голос "чужой". В компании Apple заверили, что её умные колонки не допустят неожиданной разблокировки дверей, а такие устройства как iPad и iPhone перед доступом к Siri нужно предварительно разблокировать.
В парикмахерской и в ресторане не поняли, что с ними по телефону общался не человек
С 8 по 10 мая 2018 года проходила конференция Google для разработчиков (Google I/O). Там рассказали, что Google Assistant обновился – получил шесть новых голосов и функцию самостоятельного общения. Её работоспособность проверили и продемонстрировали на примере поручений помощнику – записаться в салон красоты и зарезервировать столики в ресторане. По словам ген.директора Google Сундар Пичаи, реальность голоса и состоявшийся диалог по телефону были настолько естественны, что сотрудники даже не поняли, что разговаривали с "голосовым ассистентом". Программа позвонила в парикмахерскую, согласовала день и время, а также сообщила, что нужна стрижка. Звонок в ресторан также был успешен: Google Assistant сообщил число гостей и забронировал для мероприятия конкретный день и время.