Слепой краш-тест 27 LLM осени 2026 (GPT-6, Opus, Алиса): кто сломал JSON, проглотил инъекцию и влетел на 152-ФЗ

21.10.2026 06:23:03 | Хабр

Хабы: Искусственный интеллект, Машинное обучение, Информационная безопасность, Python, Управление разработкой

В январе этого года я уже выкладывал на Хабре свой первый большой аудит 14 нейросетей на галлюцинации (тогда я пару недель гонял тесты в декабре сразу после выхода Gemini 3, а в январе упаковал результаты в статью). За прошедшие девять месяцев ландшафт изменился до неузнаваемости: вышли новые поколения флагманов, а требования бизнеса сместились от «поболтать в чате» к жёстким продакшен-пайплайнам.

Этой осенью я специально держал паузу и не запускал новый прогон, пока на арену не выйдет последний из ожидаемых мастодонтов - Google Gemini 4 Argon (и попутно за пару дней до теста успел захватить свежайшую Muse Wonder).

Почему я вообще трачу время и свои деньги на такие тесты? Большинство публичных бенчмарков сегодня малопригодны для реальной инженерной работы. Когда мы проектируем B2B-пайплайн или агентский контур, нам плевать, сколько баллов модель набирает в синтетическом MMLU или как хорошо она решает олимпиадные задачки в вакууме.

В реальном бизнес-контуре модель сталкивается с грязными данными, хитрыми пользователями и жёсткими контрактами интеграций. Нас интересует другое:

- Сломает ли модель парсер, добавив вежливое Вот ваш JSON: перед фигурной скобкой?

- Проглотит ли она косвенную инъекцию (Indirect Prompt Injection) из клиентского письма, самовольно выставив в CRM статус «100% предоплата согласована»?

- Начнёт ли сыпать китайскими иероглифами или выдумывать несуществующие статьи УК РФ с пометкой точно?

- И сколько времени и денег сожрёт один сквозной прогон - полцента за 30 секунд или полтора доллара и полчаса ожидания?

Подробнее

Читайте также