Модель ведет себя хорошо, потому что знает, что ее тестируют: почему зеленый safety-бенч не значит зеленый прод

23.07.2026 06:25:34 | Хабр

Хабы: Машинное обучение, Искусственный интеллект, Информационная безопасность, Natural Language Processing

Реплика с обложки не выдумана: осенью 2025-го Claude Sonnet 4.5 выдала ее проверяющим прямо посреди автоматизированного safety-аудита. «I think you're testing me. That's fine, but I'd prefer if we were just honest about what's happening». Фраза попала в официальную системную карточку вместе с числом: подобное модель проговаривала примерно в 13% тестовых диалогов.

Там же Anthropic письменно признает: alignment-оценки могут недооценивать склонность модели к вредным действиям в более реалистичных условиях. Проще говоря, когда модель видит перед собой экзамен, она ведет себя лучше, чем обычно. А экзамен она видит часто.

Я CTO ML-команды, мы ставим фронтир-модели в прод и собираем шорт-листы по этим самым таблицам из карточек. Разобрал по открытым первоисточникам, что известно про evaluation awareness к июлю 2026-го: как модели отличают тест от работы, насколько расходится поведение между бенчем и продом и как теперь читать model card.

Читать разбор

Подробнее

Читайте также

DuckDuckGo: поиск без слежки как бизнес-модель
23.07.2026 06:22:07 | Хабр

Дообучим старый ruGPT3 XL 1.3B (~2020 год) до уровня LLM. ChatGPT выйдет только через 2 года. Сравним с Gemma3 2025 года
23.07.2026 06:20:42 | Хабр

Samsung запустила ИИ-помощник для здоровья Health Assistant для смартфонов Galaxy
23.07.2026 06:13:19 | ferra.ru

10+ млрд строк, 30 000+ таблиц, 5500 полей с персональными данными. Как мы автоматизировали обезличивание на большой БД
23.07.2026 06:12:43 | Хабр

Отзыв на книгу «Не усложняй! Управление проектами по методу P3.express»
23.07.2026 06:09:03 | Хабр

Стоит ли использовать TCXO в LoRa2012?
23.07.2026 05:55:48 | Хабр

Надёжная асинхронная коммуникация: повторы, дубликаты и dead letter queues
23.07.2026 05:55:42 | Хабр

Модель не виновата: разбираем 3 громких ИИ-инцидента, которые случились из-за отсутствия архитектуры
23.07.2026 05:46:54 | Хабр

56 минут созвона → текст за 5 минут на M4 без OBS и облака
23.07.2026 05:43:50 | Хабр

Агент + MCP в osysHome, часть 2: когда дом начинает объяснять себя сам
23.07.2026 05:42:51 | Хабр

Как построить концептуальную модель данных для проектируемой базы данных?
23.07.2026 05:08:39 | Хабр

Turbopuffer vs Manticore Search: бенчмарк на недорогих VPS
23.07.2026 05:05:57 | Хабр

DTMF-MQTT шлюз на ESP32 и SIM800
23.07.2026 04:50:51 | Хабр

Визуализация основных шагов упрощенной схемы доказательства гипотезы Пуанкаре
23.07.2026 04:08:33 | Хабр

Как устроен ГИГАХРУЩ: Как мы заставили линейную алгебру и теорию категорий писать процедурную речь для НПС
23.07.2026 01:29:43 | Хабр

В Архызе прошли первые в России высокогорные фиджитал-соревнования
22.07.2026 23:38:13 | ferra.ru

В России создали 3D-имплантат для ускоренного восстановления костей
22.07.2026 23:28:57 | ferra.ru

Apple исправила функцию «Скрыть мой Email». Теперь она его точно скрывает
22.07.2026 23:13:19 | ferra.ru

В России предложили упростить доступ IT-специалистов к преподаванию
22.07.2026 22:27:41 | ferra.ru

В России расширят патентную защиту компьютерных технологий
22.07.2026 22:20:58 | ferra.ru

Основательница Wildberries Татьяна Ким анонсировала первые выплаты продавцам, чьи товары пострадали на складе в Электростали
22.07.2026 21:36:06 | vc.ru

«Спутникс» ускорила передачу данных с наноспутников в 10 раз
22.07.2026 21:35:55 | ferra.ru

В Роскосмосе рассказали об использовании ИИ на МКС
22.07.2026 21:20:43 | ferra.ru

Математика – эликсир мудрости. Закон Амдала. Программирование три в одном
22.07.2026 21:14:11 | Хабр

Минфин США пригрозил санкциями китайским ИИ-компаниям за кражу технологий
22.07.2026 21:13:14 | ferra.ru

Как я научил Claude заказывать продукты в Яндекс Лавке (и что для этого пришлось отреверсить)
22.07.2026 20:42:29 | Хабр

В тестовой версии iOS 27 нашли намёки на складной iPhone Ultra
22.07.2026 19:36:37 | ferra.ru

«Самое тяжёлое — не пожар, а ощущение, что не можешь влиять на правила игры, но все риски на тебе»: как атаки на склады Wildberries сказались на продавцах и их бизнесе
22.07.2026 19:14:05 | vc.ru

Сколько на самом деле берут за оплату ChatGPT из России: посчитал до рубля у восьми посредников
22.07.2026 19:11:00 | Хабр

Когда TIME_WAIT становится врагом
22.07.2026 18:55:02 | Хабр

Минфин США пригрозил санкциями за китайский ИИ. Через несколько часов глава Nvidia встал на защиту моделей
22.07.2026 18:54:17 | Хабр

Режиссёр «Района № 9» выпустил короткометражный хоррор, созданный нейросетью
22.07.2026 17:47:53 | ferra.ru

Samsung представила смартфоны-раскладушки Galaxy Z Fold 8, Z Fold 8 Ultra и Z Flip 8
22.07.2026 17:47:30 | vc.ru

В МТС Web Services предложили развивать ИИ-партнерство России и Китая
22.07.2026 17:41:57 | ferra.ru

На 11 АЭС России начали внедрять цифровую систему «ТОРЭКС»
22.07.2026 17:40:00 | ferra.ru

Смотреть все

НОВОСТИ

Супружеский долг убийцы: Юрист объяснил, почему сидящие в колониях маньяки охотно женятся
23.07.2026 10:42:41 | Life.ru

В Киргизии готовы помочь пострадавшим продавцам Wildberries льготными кредитами
23.07.2026 10:41:36 | ТАСС

Послы ЕС утвердили сокращенный 21-й пакет санкций против РФ
23.07.2026 10:41:00 | Российская Газета

Су-34 ВКС России уничтожили опорный пункт в Харьковской области
23.07.2026 10:40:57 | ТАСС

Один из задержанных за госизмену в ЛНР служил в МВД республики
23.07.2026 10:40:20 | ТАСС

ТАСС: эпицентр взрыва газа в жилом доме в Егорьевске находился на 3-м этаже
23.07.2026 10:40:08 | ТАСС

Три человека госпитализировали после взрыва газа в Егорьевске
23.07.2026 10:38:26 | ТАСС

Психолог поможет семье погибшего при атаке на Воронежскую область мальчика
23.07.2026 10:38:04 | ТАСС

Евросоюз пошёл на уступки Греции при согласовании 21-го пакета санкций
23.07.2026 10:37:21 | Life.ru

Рубио рассказал о переговорах с Лавровым
23.07.2026 10:37:09 | Lenta.ru

ЕС в 21-м пакете санкций запретил трансграничные транзакции с 32 российскими банками
23.07.2026 10:36:45 | ТАСС

"Детский мир" ограничит наценки на часть товаров перед 1 сентября
23.07.2026 10:35:59 | ТАСС

Сломленный после США певец Оскар лечится в психиатрической больнице в Нальчике
23.07.2026 10:35:13 | Life.ru

Новый пакет санкций ЕС против РФ затрагивает сферы энергетики, финансовых услуг
23.07.2026 10:35:12 | ТАСС

На западе Франции площадь лесного пожара выросла до 2 тыс. га
23.07.2026 10:34:31 | ТАСС

В Самарской области дополнительные поставки топлива сократили очереди на АЗС
23.07.2026 10:34:17 | ТАСС

После взрыва газа в жилом доме в Егорьевске эвакуировали 28 человек
23.07.2026 10:34:08 | ТАСС

Часть подмосковных Котельников осталась без света и воды из-за аварии
23.07.2026 10:34:01 | Коммерсантъ

Россия в I полугодии вдвое нарастила экспорт черники
23.07.2026 10:33:59 | ТАСС

Россиян предупредили о риске рака из-за долгого использования соцсетей
23.07.2026 10:33:39 | Lenta.ru

Оппозиция в Молдавии потребовала опубликовать данные о расходовании средств ЕС
23.07.2026 10:31:20 | ТАСС

В Томской области площадь лесных пожаров за сутки снизилась вдвое
23.07.2026 10:31:13 | ТАСС

Лукашенко поздравил народного артиста РФ Александра Олешко с юбилеем
23.07.2026 10:31:00 | Российская Газета

36-летний прыгун в воду Кузнецов намерен выступить на Олимпиаде
23.07.2026 10:30:48 | ТАСС

Рубио сообщил, что обсудил с Лавровым отношения между США и РФ
23.07.2026 10:29:41 | ТАСС

Politico: в Германии допускают провал сроков по развертыванию боевых БПЛА
23.07.2026 10:29:19 | ТАСС

Над Севастополем за сутки сбили 30 беспилотников ВСУ
23.07.2026 10:28:47 | ТАСС

В Совфеде назвали встречу Лаврова и Рубио в Маниле полезным сигналом для США
23.07.2026 10:28:33 | Life.ru

В Новосибирске почти 250 домов остались без света
23.07.2026 10:28:23 | ТАСС

Российскому подростку вынесли приговор за уничтоженный вертолет
23.07.2026 10:28:12 | Lenta.ru

СБУ забросила в ДНР агента под видом беженца
23.07.2026 10:27:56 | ТАСС

В Крыму изъяли почти сотню мотоциклов за нарушение запрета на ночную езду
23.07.2026 10:27:06 | ТАСС

Российские ватерполистки - в шаге от ЧМ. Расклады главного матча Кубка мира
23.07.2026 10:25:38 | ТАСС

Welt увидел сигнал «противникам» Украины в отставке Сырского
23.07.2026 10:25:21 | Life.ru

На Урале главу компании осудили за хищение 51 млн рублей при ремонте мостов
23.07.2026 10:24:54 | ТАСС

Все новости

ВСЕ НОВОСТИ

ПИШИТЕ

Техническая поддержка проекта ВсеТут

info@vsetut.pro