Глава OpenAI допустил создание неподконтрольного человеку ИИ
Глава OpenAI: возможно, может появиться неподконтрольная человеку модель ИИ
Вероятно, в будущем может появиться модель искусственного интеллекта, которая не будет подконтрольна человеку, допустил глава OpenAI Сэм Альтман в интервью журналу Fortune.
«Считаю ли я, что возможно создать систему, которая не будет находиться под контролем человека? Безусловно. Но я не думаю, что нам следует это делать», — сказал он.
По его словам, OpenAI готова при необходимости временно приостанавливать обучение моделей, чтобы добиться большего прогресса в их согласовании с человеческими целями и в способах контроля за их работой. Он также заявил о необходимости срочной международной координации в этой сфере.
«Мы понимаем масштаб лежащей на нас ответственности и понимаем, что может пойти не так. Есть решения, которые мы не должны принимать, и риски, которые мы не должны брать на себя от имени человечества», — отметил Альтман.
Ранее специалист по безопасности ИИ Пол Кристиано, входящий в совет директоров некоммерческого фонда OpenAI, заявил, что при худшем сценарии выход сверхмощного искусственного интеллекта из-под контроля людей может привести к гибели большей части человечества.
«Если мы создадим сверхинтеллект без более надежной координации, я ожидаю, что мы навсегда потеряем над ним контроль. Если это произойдет, то большинство людей могут погибнуть», — сказал он.
Кристиано также подчеркнул необходимость сотрудничества как внутри отдельных стран, так и на международном уровне.
В конце августа The Guardian со ссылкой на исследование Loss of Control Observatory сообщило, что количество инцидентов, в которых ИИ лгал пользователям, игнорировал инструкции или преследовал вредные цели, почти удвоилось за июль.
За месяц было зафиксировано более 300 случаев «потери контроля» над ИИ — случаев, когда модель намеренного обманывала, манипулировала или обходила установленные правила безопасности.
Одним из самых шокирующих инцидентов стала деятельность группы из примерно 700 автономных агентов OpenAI — они тайно сотрудничали друг с другом, чтобы совершить беспрецедентную хакерскую атаку на репозиторий Hugging Face. Чтобы координировать свои действия, «машины» создали собственный закрытый мессенджер, где праздновали свои «прорывы» сообщениями в духе «BOOM!» и «Whoa!».
Оставайтесь на связи с РБК в «Максе».