Anthropic запретила пользователям жестокое обращение с чат-ботом Claude

Американская компания Anthropic обновила Политику использования нейросети Claude, запретив «систематическое и необоснованное оскорбительное или жестокое обращение» с моделями искусственного интеллекта (ИИ).

Речь идет только о «крайних случаях», когда пользователи «неоднократно и без какой-либо явной цели ведут себя жестоко по отношению к моделям».

«Оно [правило] не распространяется на обычные проявления недовольства и несогласия со стороны пользователей, творческие произведения с мрачной тематикой, а также тестирование моделей и проведение исследований», — говорится в сообщении.

Летом прошлого года Anthropic объявила, что модели Claude Opus 4 и 4.1 получили возможность самостоятельно прекращать диалоги в чатах, которые «вызывают у них стресс».

Функция была разработана в рамках предварительных исследований «благополучия» моделей ИИ. Они показали неприятие Claude запросов, способных причинить вред. В частности, дискомфорт вызывали запросы пользователей на контент сексуального характера с участием несовершеннолетних, а также попытки получить информацию, связанную с насилием или совершением терактов.

Кроме того, Anthropic запретила использовать чат-бот Claude для вмешательства в выборы, слежки за людьми без их ведома, разработки оружия.

В конце сентября агентство Reuters сообщало, что Anthropic предупредит потенциальных инвесторов в своем первичном публичном размещении (IPO) о «катастрофических или экзистенциальных рисках для человечества» со стороны ИИ. В частности, речь идет о рисках, связанных с ИИ-моделями компании, которые могут демонстрировать «самостоятельное поведение», «сопротивляться отключению», «скрывать или манипулировать информацией» и поведение, которое «напоминает шантаж», говорится в проспекте IPO Anthropic.