Искусственный интеллект AI-редактора Cursor «сочинил» несуществующую политику безопасности, спровоцировав массовый отток подписчиков

20.04.2025 18:27:00 | iXBT.com

Пользователи редактора кода Cursor, основанного на ИИ, столкнулись с неожиданной проблемой: переключение между устройствами моментально завершало текущий сеанс работы. Этот баг нарушил рабочий процесс разработчиков, привыкших работать одновременно на нескольких рабочих станциях. Обратившийся в поддержку пользователь получил от агента по имени «Сэм» утверждение о новой политике безопасности, ограничивающей использование одной подписки на одном устройстве. Однако выяснилось, что политика была выдумана ИИ, что привело к волне возмущения в сообществе и массовым отказам от подписок.

Первым тревогу подал пользователь Reddit под ником BrokenToasterOven, описавший проблему с аннулированием сеансов. Его запрос в поддержку Cursor был обработан ботом «Сэмом», который уверенно сослался на несуществующие правила. Ответ, оформленный как официальное заявление, спровоцировал цепную реакцию: десятки программистов заявили об отмене подписок, посчитав изменения неприемлемыми для рабочих процессов.

Иллюстрация: Leonardo

Инцидент стал ярким примером конфабуляций ИИ — явления, при котором нейросети «додумывают» недостающую информацию, выдавая её за достоверную. Подобные случаи уже имели последствия для бизнеса: в феврале 2024 года компания Air Canada по решению суда была вынуждена выполнить условия возврата средств, сформулированные её чат-ботом. Тогда компания пыталась оспорить ответственность, заявив, что ИИ является «отдельным юридическим лицом», но суд отклонил этот аргумент.

Cursor, в отличие от Air Canada, оперативно признал ошибку. Соучредитель проекта Майкл Труэлл извинился перед пользователями, пояснив, что сбой возник из-за обновления безопасности на бэкенде, случайно повлиявшего на управление сеансами. Пострадавшему пользователю компенсировали ущерб, а все автоматические ответы поддержки теперь чётко маркируются как сгенерированные ИИ.

Однако сообщество осталось недовольно тем, что бот «Сэм» изначально не был обозначен как ИИ. «Назвать его человеческим именем и не предупредить — это введение в заблуждение», — прокомментировал один из пользователей. Ситуация также высветила иронию: компания, продвигающая ИИ-инструменты для разработчиков, пострадала из-за собственной системы на основе той же технологии.

Эксперты подчёркивают, что инцидент с Cursor — не просто технический сбой, а системная проблема внедрения ИИ без должного контроля. «Галлюцинации моделей остаются серьёзным риском, особенно когда компании пытаются минимизировать человеческое участие в критически важных процессах», — отметил аналитик из MIT Tech Review.

Подробнее