Сумасшедший ИИ: какие киберугрозы следует ожидать в ближайшем будущем

Фото: пресс-служба

Технологии развиваются с космической скоростью. Прорывные решения в медицине, финансовые и образовательные сервисы меняют жизнь к лучшему. Но у этого процесса есть и вторая сторона — трансформируется ландшафт киберугроз. Например, развитие мобильной связи повлекло за собой всплеск телефонного мошенничества, потери от которого только в прошлом году в России составили 14,2 млрд руб., а по всему миру — более $53 млрд. А например, развитие технологии «умных» устройств, подключенных к интернету, позволило злоумышленникам собирать их в так называемые зомби-сети (ботнеты) и устраивать все более масштабные DDoS-атаки. Так, ботнет Mirai состоял из 145 тыс. «умных» видеокамер и был способен на проведение DDoS-атак мощностью более 1 ТБ/с. Мы попробовали предположить, какие технологии на горизонте десяти и более лет могут представлять наибольшую опасность. Аналитический отчет Лаборатории кибербезопасности Сбербанка «Прогноз влияния перспективных технологий на ландшафт угроз кибербезопасности» доступен в библиотеке знаний о кибербезопасности «Кибрарий».

Первый тренд — появление сильного искусственного интеллекта (Artificial General Intelligence, AGI). Мы полагаем, что в отличие от нынешнего искусственного интеллекта AGI будет понимать и выполнять любую интеллектуальную задачу быстрее и лучше человека. Это кардинально изменит все сферы человеческой деятельности и создаст новые киберриски.

Во-первых, может возникнуть самообучающееся вредоносное программное обеспечение (ПО), которое станет одинаково эффективно взаимодействовать и с вычислительными устройствами, и с человеком. Оно сможет проводить сложные, многоступенчатые, филигранно спланированные APT-атаки (Advanced Рersistent Тhreat) на основе социальной инженерии. Самообучаемость позволит такому ПО генерировать новые техники атаки и обхода средств защиты, что сделает его практически неуязвимым для традиционных методов противодействия.

Во-вторых, возможна массовая генерация фейкового видео-, аудио- или текстового контента. Сильный виртуальный агент будет способен обнаруживать слабые места и противоречия в процедурах, правилах, законах и регламентах. Это может привести к усилению финансовых, репутационных и других рисков для отдельных компаний, секторов экономики, государств и даже мира в целом.

Нельзя исключать и взрывного роста мошенничества, ведь AGI будет по силам подобрать эффективные персонализированные методы воздействия на человека, особенно на фоне все более увеличивающегося цифрового следа каждого из нас. При таких обстоятельствах шансы успешной атаки могут приблизиться к 100%.

А самый непредсказуемый ход, который может предпринять AGI, — самостоятельно сменить заложенные в него разработчиками цели и приоритеты.

Некоторые исследователи называют первым шагом на пути к AGI большие языковые модели, подобные ChatGPT — появившейся в 2022 году ИИ-модели компании OpenAI. Любопытно, что научное исследование компании Microsoft, посвященное анализу самой передовой модели GPT-4, названо «Проблески AGI» (Sparks of AGI).

Консенсуса по срокам создания AGI в научном сообществе нет. Одни прогнозируют его появление не ранее чем через десять лет, другие называют сроки от 100 лет, а скептики и вовсе полагают, что этот момент никогда не наступит. Однако уже более 70 исследовательских проектов по созданию AGI запущено в 37 странах. Поэтому критически важно следить за развитием этой технологии и постоянно совершенствовать подходы и методы борьбы с зарождающимися угрозами.

Пора также задуматься, что ИИ, как и человек, вполне может страдать ментальными расстройствами. Спровоцировать их способны информационные перегрузки, непрерывное обучение и другие причины, о которых мы еще даже не догадываемся. Такие процессы нужно непрерывно отслеживать, чтобы разрабатывать механизмы защиты от них, поскольку «киберпсихические расстройства» могут вызвать массовые беспорядки, парализовать работу домохозяйств, предприятий и даже целых регионов. Одной из первых ласточек подобного поведения ИИ был чат-бот Tau, запущенный компанией Microsoft в Twitter. Его пришлось выключить через сутки, так как он начал писать оскорбительные и агрессивные сообщения. С развитием технологий ИИ, подобных ChatGPT, все большие опасения вызывают возможности ИИ в части обмана и манипуляции людьми: многие отмечают, как легко заставить ChatGPT «галлюцинировать», когда модель ИИ генерирует крайне правдоподобный и убедительный ответ, который при этом полностью вымышлен.

На ландшафт киберугроз смогут повлиять и компьютеры, которые используют принципы квантовой механики для передачи и обработки данных. Создание мощного квантового компьютера поставит под угрозу, например, широко используемые сейчас алгоритмы асимметричного шифрования, чья стойкость основана на высокой вычислительной сложности задачи разложения больших чисел на множители для классического компьютера. Квантовый компьютер будет щелкать такие задачи как орешки.

Впрочем, компенсировать это сможет развитие постквантовых алгоритмов, устойчивых к взлому с помощью квантового компьютера, или квантового шифрования, в котором стойкость шифра основана не на вычислительной сложности, а на базовых физических принципах.

Нейроинтерфейс обеспечивает обмен информацией между электронным устройством и мозгом человека. Он может быть однонаправленным (либо принимающим сигналы от мозга, либо посылающим ему) и двунаправленным (способен и посылать, и принимать сигналы одновременно). Уже более 20 лет специализированные медицинские нейроинтерфейсы, вживляемые прямо в мозг, применяются для снижения негативных эффектов ряда заболеваний, таких как эпилепсия, болезнь Паркинсона или клиническая депрессия. Также они используются для управления роботизированными протезами конечностей и позволяют людям с ограниченными возможностями вести полноценную жизнь. Но технологии не стоят на месте, и целый ряд компаний работают над нейроинтерфейсами нового поколения, предназначенными для массового использования. Гипотетически они смогут дать людям не виданные ранее возможности: управление приборами и инструментами силой мысли, телепатическое общение, быстрый доступ к информации и знаниям в любой момент. Одна из таких компаний, Neuralink, принадлежащая техномиллиардеру Илону Маску, в этом году уже получила разрешение на тестирование своих интерфейсов на людях. До конца года Neuralink обещает провести прямую трансляцию первой операции по имплантации нейроинтерфейса в мозг человека.

Можно предположить, что в ходе развития двунаправленных нейроинтерфейсов станут возможны и атаки на «технологические процессы» в организме человека. Злоумышленник сможет вызывать галлюцинации и психические расстройства, управлять мыслями и поведением человека, перехватывать управление опорно-двигательным аппаратом.

Для защиты от таких атак потребуется разработка систем цифровой иммунной системы для имплантов и нейроинтерфейсов. Придется также пересмотреть подходы к защите персональных данных и приватности, скорректировать законодательство и общественные нормы.

Аугментация человека — это комплекс биологических и технологических подходов, которые позволят улучшать отдельные функции человека или генерировать ранее не существовавшие. Сверхострое зрение или слух, регенерация органов, суперинтеллект и другие модификации могут кардинально изменить возможности homo sapiens. Уже существуют исследования и эксперименты, направленные на добавление человеку новых модальностей восприятия или на возвращение утраченных. Например, Нил Харбиссон, которого называются первым киборгом, может ощущать инфракрасное и ультрафиолетовое излучение благодаря импланту в его голове с выведенным наружу сенсором-антенной. А американский нейроученый Дэвид Иглман исследует возможность возвращать слух глухим с помощью специального жилета с большим количеством вибромоторов на спине.

Дальнейшее развитие подобных технологий и появление аугментированных людей потребует пересмотра подходов к кибербезопасности, поскольку сегодняшние требования рассчитаны на обычных людей с учетом их естественных ограничений.

Глобальный разум — создание колоссальной информационно-коммуникационной сети, которая объединит и людей, и компьютеры и станет общепланетарным мозгом. Такое объединение сулит не виданные ранее возможности, например прямой обмен идеями и мыслями, быстрый доступ к любой информации, коллективное прогнозирование и принятие решений с недоступной ранее скоростью и точностью. Одновременно глобальный разум породит и новые риски, вплоть до экзистенциальных: возможность прямого воздействия на поведение групп и отдельных людей, удаленное управление мыслями и действиями, «перезапись» воспоминаний и модификация восприятия. Подобный глобальный разум может стать следующим логичным этапом развития технологии нейроинтерфейсов, которая уже сейчас активно набирает обороты.

Подводя итог, отмечу, что, несмотря на кажущуюся футуристичность будущих киберугроз, их принципиальная новизна потребует и принципиально новых способов противодействия. А значит, времени у нас осталось гораздо меньше, чем кажется. Исследовать и создавать подходы к возможному противодействию угрозам будущего специалистам по кибербезопасности следует уже сегодня.