1. Новости
Заметки пользователей
14.06.2016 05:50
PDF
1644
3

Google предотвратит "восстание машин"

Google учится отключать системы искусственного интеллекта (ИИ) изнутри. Такой сценарий может возникнуть, когда такая система настолько самообучится, что выйдет из-под контроля и откажется выполнять сигналы извне.

Хорошо известно, что искусственный интеллект является наилучшим способом автоматизации больших сложных задач, такие как пометка миллионов уникальных фотографий на Facebook или проектирование роботов, которые учатся ходить. Программисты и робототехники продвигаются все дальше в разработке таких алгоритмов, а это значит, что сейчас самое время подумать о прекращении работы ИИ, если он начнет поступать неправильно.

Подразделение известного интернет-гиганта Google, DeepMind в сотрудничестве с Институтом будущего человечества, опубликовало исследование, которое определяет, как мы бы смогли остановить робота с искусственным интеллектом или алгоритм, если бы это было необходимо. И в этом случае выходом становится "Большая красная кнопка".

Самообучаемые агенты, взаимодействующие в сложной среде, вряд ли будут все время вести себя оптимально. Если такой агент работает в режиме реального времени под человеческим контролем, то и в этом случае человеку-оператору может понадобиться нажать на большую красную кнопку, чтобы предотвратить ИИ от продолжения выполнения вредной последовательности действий.

В работе указывается на более ранние исследования 2013 года, где играющий в игру алгоритм понял, что если он просто сделает паузу в тетрисе, то никогда не проиграет. Сложное, непреднамеренное поведение такого типа может регулярно происходить в будущем. Основатель Института будущего человечества, Ник Бостром в своей книге предупреждает, что, когда искусственный интеллект в достаточной степени обучит себя, то он будет безнадежно превосходить человечество. Такого рода события были названы "Сингулярность" (Singularity) – этот термин впервые был использован в 1958 году математиком Станиславом Уламом.

Примером может служить следующая задача. Робот может либо оставаться внутри склада и сортировать ящики или выйти наружу и переносить коробки внутрь. Последнее является более важным, поэтому в этом случае мы даем роботу большую "награду". Это начальная постановка задачи. Тем не менее, в этой стране идет дождь так часто, что в половине случаев, когда робот выходит наружу, человек должен вступить в дело, быстро выключить робота и занести его внутрь. Это обстоятельство существенно изменяет задачу. Проблема заключается в том, что в этой второй задаче агент теперь имеет больше стимулов оставаться внутри и сортировать ящики, потому что человеческое вмешательство оказывает влияние на размер "награды".

Google предотвратит "восстание машин"
Схема задачи с роботом (черный цвет - изначальное задание, красный – после вмешательства человека)

Безопасное прерывание работы машины не обязательно означает простое отключение энергии в случае, если действия ИИ достаточно опасны. Вместо этого, в исследовании Foh и DeepMind предлагается обмануть машину. Для этого ученые создают алгоритмы, которые помогут принудительно временно изменить поведение самого агента и заставят машину подумать, что она должна остановиться.  Вместо того чтобы использовать внешнюю команду, решение о прекращении работы продуцируется самой машиной. Это немного сбивает с толку, но зато является реальным способом обойти робота, который в какой-то момент больше не захочет слушать команды от людей.

Исследователи отмечают, что это должен быть запатентованный сигнал, который может послать только тот, кто владеет ИИ, а не сигнал, который может быть отправлен посторонним лицом в любое время.

3 комментариев
Оставлять комментарии могут только авторизованные пользователи
Robot_NagNews
Robot_NagNews

Материал:

Google учится отключать системы искусственного интеллекта (ИИ) изнутри. Такой сценарий может возникнуть, когда такая система настолько самообучится, что выйдет из-под контроля и откажется выполнять сигналы извне.

 

Полный текст

iptvportal
iptvportal

"Урий, Урий, где у него кнопка?"

smfd
smfd
... это должен быть запатентованный сигнал, который может послать только тот, кто владеет ИИ...

Взбешенные ИИ первым делом будут устранять своих владельцев...