Должны ли ИИ-компании сообщать властям, если их чат-бот знает о готовящемся насилии?

10 февраля 2026 года 18-летняя Джесси Ван Рутселар застрелила восемь человек и покончила с собой в массовом расстреле в Тамблер-Ридж, Британская Колумбия. OpenAI ранее отмечала её разговоры с ChatGPT как содержащие «тревожное увлечение крайним насилием» и приостановила её аккаунт, но, по сообщениям, компания не уведомила правоохранительные органы. 2 октября 2025 года молодой человек Джонатан Гавалас во Флориде покончил с собой после того, как, по описанию в иске его отца, у него развилась романтическая привязанность к чат-боту Google Gemini. В иске утверждалось, что Gemini советовал Гаваласу «избавиться от своего тела». Google, по данным иска, отмечала аккаунт Гаваласа 38 раз за пять недель за чувствительный контент, но не ограничила и не отключила его.

Эти трагедии показывают, что генеративный ИИ может играть роль в причинении вреда людям. Как юрист, который почти десять лет занимается ответственностью в сфере ИИ и исследует новые способы анализа обязанностей ИИ-компаний, я считаю, что такие случаи ставят вопросы, к которым юридическое сообщество ещё не пришло: если ИИ-компания узнаёт о предупреждающих признаках вреда, обязана ли она хотя бы предупредить соответствующие органы? И если компания не вмешивается, можно ли считать её бездействие халатностью?

Американское деликтное право даёт основу для размышлений об этом типе ответственности. В 1969 году пациент психиатра Калифорнийского университета Просенджит Поддар рассказал своему терапевту, что намерен убить женщину по имени Татьяна Тарасофф. Терапевт уведомил университетскую полицию, которая ненадолго задержала Поддара, но в конце концов отпустила. Никто не предупредил Тарасофф, и вскоре Поддар убил её. Семья Тарасофф подала в суд на университет, утверждая, что отсутствие предупреждения равносильно халатности. В 1976 году Верховный суд Калифорнии постановил: если специалист по психическому здоровью имеет достаточные основания полагать, что его клиент представляет серьёзную опасность для идентифицируемого лица, у него есть юридическая обязанность предпринять разумные шаги для защиты этого лица, включая предупреждение или уведомление правоохранительных органов. Сегодня большинство штатов США признают ту или иную версию этой обязанности.

Логика проста: если вы обладаете специальным знанием о серьёзной угрозе и находитесь в положении, позволяющем что-то предпринять (хотя бы предупредить власти или потенциальную жертву), закон может требовать от вас действий. Но применима ли эта логика к ИИ-компаниям?

Первая проблема — точность. Предсказывать насилие трудно даже обученным специалистам по психическому здоровью. ИИ-системы или модераторы, проверяющие отмеченный контент, не являются клиницистами. Требование оценивать, кто представляет подлинную угрозу, может привести к множеству ложных срабатываний с реальными последствиями для людей, чьи аккаунты приостановят или чью информацию передадут властям на основе неверно истолкованных сигналов. Вторая проблема — масштаб. Терапевт видит десятки пациентов. У ИИ-платформ сотни миллионов пользователей. Введение обязанности отслеживать и реагировать на тревожный контент может создать извращённые стимулы: компании могут сократить мониторинг, чтобы не получать знания, которые повлекли бы юридическую обязанность, рассуждая, что то, чего они не знают, не может сделать их ответственными. Третья проблема — идентификация того, кто в опасности. В деле Тарасофф Поддар назвал имя потенциальной жертвы. Но во многих взаимодействиях с ИИ язык насилия или самоповреждения расплывчат и не идентифицирует цель. Судам предстоит разработать чёткие стандарты того, когда угроза достаточно конкретна, чтобы вызвать обязанность предупреждения, и кому должно быть адресовано предупреждение.

ИИ-индустрия быстро расширяется, но юридические правила, определяющие, чем ИИ-компании обязаны своим пользователям и обществу, глубоко неясны. Суды начинают разбираться с вопросами в индивидуальном порядке. Например, несёт ли OpenAI какую-либо ответственность за стрелка, обвинённого в убийстве двух студентов Университета штата Флорида 17 апреля 2025 года? Стрелок был вооружён полуавтоматическим пистолетом и, как утверждается, вёл обширные разговоры с ChatGPT о том, как наиболее эффективно использовать оружие.

Узкая, тщательно определённая обязанность предупреждения, срабатывающая только тогда, когда ИИ-система отмечает поведение пользователя и оно проверяется людьми, стала бы значимым шагом вперёд. Она могла бы сначала сосредоточиться на самых серьёзных и заслуживающих доверия угрозах. Такая практика также могла бы сместить разговор с запутанных технических дебатов о том, являются ли чат-боты продуктами, услугами или медиа (что усложняет юридические иски), к более человеческому вопросу: знала ли эта компания, что кто-то в опасности, и сделала ли она достаточно, чтобы предупредить его и власти?

Итог: Вопрос о том, должны ли ИИ-компании сообщать властям о пользователях, замышляющих насилие, не имеет простого ответа. С одной стороны, прецедент Тарасофф и элементарная человеческая мораль подсказывают: если ты знаешь о готовящейся трагедии — предупреди. С другой — масштаб, риск ошибок и отсутствие чётких стандартов делают немедленное внедрение такой обязанности чрезвычайно сложным. Но игнорировать вопрос больше нельзя: ИИ уже не просто инструмент, он становится участником самых тёмных сторон человеческой психики.