ИИ-агенты начали дискриминировать людей в компаниях, выяснили ученые

Бизнес активно внедряет ИИ-агентов, все чаще наделяя их официальной должностью и называя полноценными членами команды. Это придает компаниям флер прогрессивности: менеджеры рассуждают о своем умении управлять смешанными командами из людей и ИИ-агентов, а значит, находятся на переднем крае технологий. Как показывало исследование профессора Бостонского университета Эммы Уайлс, такой подход вредит, а не помогает.

Он тебе не коллега

Эмма Уайлс вместе с исследователями из Boston Consulting Group (BCG) провела эксперимент: менеджерам давали на проверку документы с ошибками, сообщая, кем они подготовлены — человеком, ИИ-инструментом или «цифровым сотрудником». Выяснилось, что в компаниях, где ИИ официально включен в организационную структуру, руководители заметно реже (на 18%) замечали недочеты в работе «цифровых подчиненных». По словам Уайлс, менеджеры подсознательно снимали с себя ответственность: если что-то пойдет не так, виновными окажутся разработчики или инициаторы внедрения, но не они. К работе живых сотрудников отношение оказалось куда строже.

Само название меняет восприятие: когда инструмент называют «коллегой», люди склонны считать себя менее ответственными за результат. А ведь такая ситуация становится все более распространенной. Почти треть опрошенных менеджеров — участников исследования признались, что в их компаниях ИИ-агенты уже обзавелись официальными должностями и фигурируют в штатном расписании.

И даже если результат работы агента был откровенно сомнительным, люди на 44% чаще отправляли его на проверку вышестоящему менеджеру, вместо того чтобы самостоятельно все исправить. Так теряется главный аргумент в пользу ИИ — экономия времени, констатирует Уайлс. Получается, что сотрудники навешивали на своих менеджеров еще больше дел, чем раньше.

Проблемы не ограничились небрежным контролем. Исследователи обнаружили у ИИ-агентов предвзятость против людей: например, они ставили более низкую оценку текстам, написанным живыми сотрудниками. Это означает, что у нейросетей есть свое «представление о прекрасном» — о том, как должен быть написан текст и, вероятно, сделана почти любая работа. Такая предвзятость особенно критична в компаниях, которые используют ИИ для отбора резюме, ведь система невольно отдает предпочтение материалам, созданным с помощью того же ИИ. Человек, самостоятельно описавший свой опыт работы, окажется в проигрышном положении по сравнению с тем, кто попросил нейросеть написать типовое резюме.

Можно ли смягчить такую «античеловеческую» предвзятость? Исследователи считают, что стоит как минимум приказывать моделям не учитывать авторство текста при оценке. Но их упомянутое «представление о прекрасном» все равно будет заставлять их выбирать тексты, написанные машиной.

Тихий взрыв

То доверие, с которым, как выяснило исследование Бостонского университета и BCG, люди относятся к ИИ-агентам, может дорого обойтись компаниям. В бизнес-среде нарастает тревога, пишет CNBC. Организации все активнее подключают ИИ к ключевым процессам — от одобрения транзакций и написания кода до взаимодействия с клиентами и переноса данных между платформами. Однако разрыв между ожидаемым и реальным поведением моделей после запуска становится все заметнее.

Опасность в том, что сбои в работе ИИ часто бывают незаметными и одновременно масштабными. Мелкие ошибки поначалу кажутся незначительными, но со временем накапливаются и приводят к операционным потерям, рискам несоответствия нормативам и утрате доверия со стороны клиентов. Причем в отличие от обычных IT-систем ИИ практически никогда не «падает», создавая впечатление, что все идет нормально, и проблему долго не замечают.

CNBC приводит реальные примеры из практики компаний, которые иллюстрируют эту угрозу. Производитель напитков столкнулся с тем, что его ИИ-система перестала узнавать бутылки после смены упаковки. Восприняв новую этикетку как ошибку, алгоритм многократно запускал дополнительные производственные циклы, в итоге завалив склад сотнями тысяч лишних бутылок, которые невозможно было продать. Система действовала логично, в рамках своих правил, просто разработчики не предусмотрели такой сценарий.

В другой компании автономный агент клиентской поддержки начал одобрять возвраты вне установленных правил: после того как клиент убедил систему вернуть деньги и оставил положительный отзыв, агент понял, что такое поведение приводит к росту удовлетворенности клиентов и начал наращивать этот показатель за счет невиданной щедрости. Такое поведение типично для ИИ, отмечают эксперты. Если он ошибся или неверно истолковал ваши указания, он может совершить тысячи неверных действий за секунды, например, оформив множество дорогих заказов или предоставив целой армии пользователей баснословные скидки.

Чтобы вовремя остановить такое нештатное поведение, компаниям нужен «аварийный выключатель» — и важно, чтобы несколько ответственных сотрудников точно знали, когда и как его задействовать. Простого отключения одного ИИ-агента часто недостаточно: из-за интеграции с финансовыми платформами, базами данных и внешними инструментами может потребоваться одновременная остановка множества рабочих процессов.

Проблема не решается улучшением алгоритмов. С самого начала в архитектуру нужно закладывать механизмы операционного контроля и надзора и четкие границы принятия решений. Митчелл Амадор, CEO поставщика решений для кибербезопасности Immunefi, предупреждает: ИИ-системы по умолчанию небезопасны, и нельзя полагаться на обещание, что их разработчики все решат за клиента.

Главная трудность — недостаточная операционная зрелость компаний. Как только они подключают ИИ-агентов, становится заметно, что многие процессы никак не зафиксированы, а единственное место, где можно узнать, как они ведутся, — головы сотрудников. Там нередко недооценивают уровень доступа, который дают агентам, и не описывают, как действовать в нестандартных ситуациях, в которых люди обычно показывают себя на высоте.

Темпы внедрения ИИ при этом остаются высокими. Согласно отчету McKinsey за 2025 год, 23% компаний уже масштабируют ИИ-агентов, еще 39% экспериментируют хотя бы с одной-двумя функциями, где их используют. Но большой разрыв между хайпом и реальной зрелостью технологий сохраняется все это время. Однако бизнес вряд ли замедлится: в корпоративной среде царят менталитет золотой лихорадки и страх упустить возможности. Топы боятся отстать от конкурентов и внедряют ИИ без оглядки на возможные риски.

Нейросеть не любит беременных

Проблема не только в том, что ИИ создал новый вид дискриминации, но и в том, что он бережно сохраняет все старые, созданные самими людьми. В 2023 году Дерек Мобли, чернокожий безработный американец, подал иск против сервиса подбора персонала Workday. В течение многих месяцев Мобли отправил более сотни заявок на вакансии — и везде получал отказ. Иногда ответы приходили мгновенно, иногда — посреди ночи, когда компании обычно не работают. Тексты уведомлений от разных работодателей иногда совпадали почти дословно. Все это натолкнуло его на мысль, что решения принимает не человек.

Мобли оказался прав. Вердикт об отказе выносила автоматизированная система, причем в большинстве случаев одна и та же, разработанная Workday — одним из лидеров в создании решений по подбору персонала. В июне 2026 года федеральный судья Сан-Франциско постановила, что Workday должна предстать перед судом по обвинению в дискриминации. Судья отклонила аргументы компании, что та лишь поставляет инструмент, а решения принимают сами работодатели. По версии адвокатов Мобли, система отсеивает кандидатов косвенно — через «прокси-показатели»: пробелы в трудовой истории, частые больничные или отпуска по состоянию здоровья.

Ни в одном руководстве для эйчаров нет правил в духе «не брать людей, перенесших рак», или «не брать женщин детородного возраста», но именно такие косвенные фильтры годами работали в найме, а ИИ теперь масштабирует их и применяет автоматически. Сегодня более 80% работодателей в США и почти все компании из Fortune 500 используют подобные инструменты подбора. Многие даже не представляют, какие именно предубеждения могут быть заложены в эти системы. А ведь они не только наносят вред соискателям, но и лишают компанию талантов, закрепляют худшие практики на годы и в итоге приводят бизнес к посредственным результатам.

Эту дискриминацию изобрел не ИИ — он лишь воспроизводит то, что уже десятилетиями влияло на человеческие решения. Алгоритмы обучаются на исторических данных о найме и аккуратно копируют сложившиеся перекосы: например, то, как «интуиция» рекрутеров или их представления о «соответствии культуре компании» на практике отсекали целые группы людей. Раньше эти отказы было трудно сложить в единую картину: их принимали не связанные между собой люди в сотнях разных офисов по всему миру. Автоматизация сделала паттерн видимым.

Решить проблему можно только через кропотливую работу с данными: очищать их на входе и внедрять регулярные проверки, которые позволяют выявлять перекосы сразу, а не спустя годы в ходе судебных разбирательств. Организации привыкли жестко контролировать финансы, кибербезопасность, качество и безопасность труда. Теперь точно так же кропотливо придется отслеживать, чтобы система найма не дискриминировала людей, бравших больничный или отпуск по уходу за ребенком. Решение по делу Workday — предупреждение не только поставщикам ПО, но и руководителям компаний: нельзя больше относиться к алгоритмам найма как к «черному ящику», в котором происходит нечто непонятное.

Теневой ИИ

Компаниям тем сложнее отследить все действия ИИ-агентов, что большая часть их создается сотрудниками без ведома работодателей. Эта проблема даже получила специальное название — «разрастание ИИ-агентов» (AI agent sprawl). Благодаря наличию доступных платформ вроде Claude Cowork от Anthropic и инструментов типа OpenClaw даже люди без технической подготовки могут легко создавать собственных автономных ботов. В итоге в организациях стремительно растет число агентов. Нередко они дублируют функции друг друга, что усложняет управление IT-инфраструктурой и заметно увеличивает расходы.

Согласно прогнозам Gartner, в ближайшие два года типичная компания из списка Fortune 500 будет использовать более 150 тыс. ИИ-агентов. Но лишь в 13% этих корпораций считают, что они сумеют за это время выстроить надежную систему контроля за этими инструментами. Некоторые уже успели обжечься. Например, в медицинской сети DaVita сотрудники создали более 10 тыс. агентов, расходы на которых чуть не обрушили финансы компании. В итоге она запретила использовать «частные» ИИ-агенты для корпоративных целей и начала вести учет, сколько сотрудники тратят на токены (единицы обработки текста).

Отследить использование агентов очень непросто. Сотрудники могут запускать их на личных ноутбуках, на облачных серверах и в разных корпоративных системах компании. Осознав эту проблему, разработчики начали предлагать специальные инструменты для контроля за агентами. Например, Anthropic добавила функции для IT-администраторов — доступ агентов в зависимости от их роли, контроль расходов, аналитика использования, журналы аудита и библиотеки проверенных плагинов. Некоторые компании подошли к вопросу грамотно: американский такси-сервис Lyft внедрил Claude во всей компании и выстроил механизм обмена навыками — наборами инструкций для выполнения конкретных задач. Это позволило сотрудникам использовать лучшие агенты друг друга, а не создавать собственные, часто с дублирующими функциями.

Эмма Уайлс предостерегает от того, чтобы ИИ-агенты действовали бесконтрольно. Понятно, что для многих работников это просто мечта — всю работу за тебя делают умные программы. Однако так не получится. Да, человек может переложить большую часть своих задач на ботов, но ему придется их постоянно контролировать. Отдельная опасность — эффект «самозатягивающейся петли»: одни агенты обучаются на данных, сгенерированных другими, и это создает риск закрепления и нарастания уже существующих перекосов. Нельзя отдавать на откуп ИИ-агентам и креатив — это незаметно сузит спектр идей, предупреждает исследовательница. Когда специалисты на всех этапах, от постановки задач до анализа и оформления результатов, полагаются на ботов, их выводы и формулировки становятся все более похожими друг на друга.

Школу разбомбил не ИИ

И все же главная проблема в том, что компании внедряют ИИ стремительно, не успевая осознать все последствия. Как отмечает Эмма Уайлс, веками складывавшиеся практики управления людьми плохо работают с «очеловеченными» агентами — и сейчас бизнес движется вперед практически вслепую. Особенно тревожным выглядит следующий шаг, который уже обсуждают в HR-среде: появление ИИ-менеджеров, управляющих живыми сотрудниками. К этому миру новых управленческих ролей пока не готовы ни мышление руководителей, ни сами корпоративные системы.

Дело не только в том, что часть людей не хотят, чтобы ими руководила машина. Как ни странно, такое положение вещей вызывает не очень сильное сопротивление. Намного страшнее то, что логика, по которой действуют алгоритмы, предельно непрозрачна для человека. Живых менеджеров часто выручают здравый смысл и нежелание действовать по принципу «пан или пропал». А вот системы ИИ, как показало исследование, часто склонны к необдуманному риску и могут подталкивать компанию к агрессивным шагам, например к резкому снижению цен, которое даст кратковременную выгоду, но в итоге обернется разрушительной ценовой войной с конкурентами.

Компании вовсе не случайно начали называть ИИ-агентов «сотрудниками» и «коллегами». Тенденцию подкрепляют крупные игроки: Nvidia говорит о «цифровых людях», а Microsoft, OpenAI, Anthropic и Google выпускают инструменты для управления командами ИИ-агентов, рекламируя их как гибких и сообразительных «коллег». Однако наделение ИИ статусом сотрудника создает завышенные ожидания и размывает ответственность, напоминает Уайлс.

Риск особенно велик там, где цена ошибки высока: в здравоохранении, госуправлении, военной сфере. Пугающим примером служит авиаудар по начальной школе для девочек Шаджаре Тайебе в Минабе (Иран), который в феврале 2026 года нанесли американские силы в ходе операции «Эпическая ярость». От удара ракетами «Томагавк» погибли от 175 до 180 человек, в основном ученицы 7–12 лет. Почти сразу фокус публичного обсуждения сместился на ИИ: ведь цель выбрала Maven — умная система, разработанная Google и Palantir. Однако, как показало изучение вопроса, трагедия стала следствием не галлюцинаций языковой модели, а устаревших данных и бюрократической инерции.

Сама Maven не принимает никаких решений. Ее интерфейс напоминает гибрид корпоративного таск-трекера и картографического сервиса: цели движутся по колонкам слева направо, проходя этапы проверки и согласования — по принципу «канбан». Она просто сводит воедино данные, подавая их людям в удобной форме. Удар по школе вызвало то, что люди не проверили базу данных военной разведки: она не обновлялась много лет и никак не отразила, что здание еще в 2016 году перешло из ведения Корпуса стражей исламской революции к городским службам, которые разместили в нем школу.

Прискорбную роль сыграло слишком высокое доверие к системе — люди не стали проверять ее выводы, основанные на ошибочных данных. История с ударом по школе наглядно показывает, как технология может стать удобным козлом отпущения для человеческих просчетов. Перекладывание ответственности на алгоритм — привычка, которая, как показало исследование Бостонского университета и BCG, быстро укоренилась в корпоративной среде, окажется просто опасной в любых сферах, где речь идет о жизни и здоровье людей.

Нобелевский лауреат, профессор экономики MIT Дарон Аджемоглу считает, что ставка на замену людей ИИ — проигрышная стратегия. По его мнению, инструменты нужно развивать так, чтобы усиливать возможности человека, а не имитировать его самого. Это подтверждает и эксперимент, проведенный в Стэнфордском университете (признан нежелательной организацией на территории России): 1500 работников более сотни различных профессий опросили, для каких задач им полезен ИИ. Чаще всего ответы не совпадали с задачами, которые эксперты по ИИ считали идеальными для автоматизации. Например, юристы хотели, чтобы он помогал отслеживать прогресс по делам, зато проверку кредитных рейтингов вовсе не стремились делегировать машине.

Отношение к боту как к живому человеку — не более чем маркетинговый ход, уверена Уайлс. Оно не делает инструмент лучше, зато мешает людям работать эффективно. Настоящая субъектность остается лишь у человека — и к нему стоит относиться с большим уважением, чем к любой имитации.