Как измерить LLM для задач кибербеза: обзор открытых бенчмарков

16.04.2026 07:51:18 | Хабр

Хабы: Блог компании Positive Technologies, Машинное обучение, Искусственный интеллект, Информационная безопасность

Привет, Хабр!

Меня зовут Андрей Кузнецов, я ML-директор в Positive Technologies. Недавно я решил разобраться, какие бенчмарки измеряют способности языковых моделей в контексте задач кибербезопасности. Думал, что это займет вечер, — увы! Все оказалось куда хаотичнее, чем предполагалось. Поэтому делюсь тем, что собрал сам.

Первое, что бросилось в глаза, — полный бардак и отсутствие системы. Бенчи, про которые все пишут в 2024-м, могут вообще не упоминаться в свежих статьях 2025-го. А некоторые широко цитируемые датасеты при ближайшем рассмотрении оказываются сделанными очень небрежно, из-за чего непонятно, что они вообще измеряют. Поэтому, прежде чем лезть в конкретные примеры, давайте определимся, какими они бывают.

Подробнее

Читайте также

Где хранить код? Сравнение GitHub, GitLab и Bitbucket
16.04.2026 07:30:15 | Хабр

[Перевод] Математика объясняет, почему нормальное распределение встречается повсюду
16.04.2026 07:30:07 | Хабр

Почему ваш FinOps не работает: 12 тезисов от практиков
16.04.2026 07:29:59 | Хабр

Как подписать проектную документацию УКЭП с использованием бесплатных лицензий Pilot
16.04.2026 07:26:22 | Хабр

Samsung придумала более широкий складывающийся втрое смартфон
16.04.2026 07:16:38 | ferra.ru

Адаптивное администрирование Sigla Vision / FineBI
16.04.2026 07:16:09 | Хабр

Я грузил уран в бочки, а потом 20 лет строил ИТ в атомной отрасли
16.04.2026 07:14:50 | Хабр

Чем позвонить с Эвереста? История и обзор спутниковой связи. Часть 2
16.04.2026 07:05:03 | Хабр

Как языковая модель помогает контролировать качество инструктажей по охране труда в металлургии
16.04.2026 07:05:00 | Хабр

Обновлённый токенизатор видео K-VAE 2.0 от Сбера
16.04.2026 07:00:56 | Хабр

Как сделать диспетчеризацию дома на 1284 квартиры почти бесплатно
16.04.2026 07:00:56 | Хабр

Как мы разогнали железную дорогу
16.04.2026 07:00:04 | Хабр

Мы дали агентам рутину. Теперь надо решить — что делать с освободившимся временем
16.04.2026 06:50:57 | Хабр

Токсичный контент, промпт-хакинг и защита ИИ — всё о Guardrails для LLM
16.04.2026 06:48:00 | Хабр

Умный город начинается с точного взгляда: как Фалькон Тех меняет пространство к лучшему
16.04.2026 06:47:49 | Хабр

[Перевод] Убийцы OpenAI, Google и Anthropic уже здесь
16.04.2026 06:29:50 | Хабр

unFix — оргструктура, как Лего. Как собрать, разобрать и обратно собрать компанию
16.04.2026 06:28:46 | Хабр

Искусственный архитектор: как нейросети справляются с проектированием ПО
16.04.2026 06:22:37 | Хабр

[Перевод] Full-stack верификация: как Playwright-агент тестирует UI, затем проверяет базу данных без единой строки SQL
16.04.2026 06:00:43 | Хабр

[Перевод] Пишем свой текстовый 3D движок в браузере
16.04.2026 05:28:31 | Хабр

[Перевод] Unitree R1 на AliExpress по цене Mac Pro: что на самом деле скрывается за $8150
16.04.2026 05:16:07 | Хабр

Почему сложные задачи висели неделями: я думал, проблема в дисциплине, а оказалось — в избегании когнитивной нагрузки
16.04.2026 05:12:27 | Хабр

Что умеет таск-трекер в 2026 году: обзор российских сервисов
16.04.2026 05:01:25 | Хабр

Как я заставил ИИ писать код по книжке: Clean Architecture + TDD на автопилоте
16.04.2026 05:00:23 | Хабр

Часть 6: Безопасность и приватность в голосовом управлении — как защитить умный дом от утечек и взломов
16.04.2026 04:53:15 | Хабр

Навайбкодил приложение для анализа графов
16.04.2026 04:17:53 | Хабр

Почему Дюну так интересно читать?
16.04.2026 01:09:33 | Хабр

В России создадут импланты с белками для ускорения заживления кожи
15.04.2026 23:59:37 | ferra.ru

Российские ученые создали точный метод прогноза обрушения высотных труб
15.04.2026 23:57:40 | ferra.ru

«Росэл» запустил выпуск буферных усилителей для электроники
15.04.2026 22:58:59 | ferra.ru

На вулкане Шивелуч на Камчатке зафиксировали ночное свечение купола
15.04.2026 22:43:55 | ferra.ru

Россияне остались без мессенджеров, без банковских офисов и даже без нелегального майнинга
15.04.2026 22:24:32 | it-world

СМИ поделились характеристиками складного Motorola Razr 70 Ultra. Что изменилось
15.04.2026 22:18:28 | ferra.ru

Флагман Sony Xperia 1 VIII, похоже, обзаведется разъёмом для наушников
15.04.2026 22:16:37 | ferra.ru

РБК: операторы и маркетплейсы начали предупреждать россиян о проблемах с VPN
15.04.2026 20:25:00 | ferra.ru

Смотреть все

НОВОСТИ

Netflix приобрёл права на два новых сезона мультфильма «Маша и Медведь»
17.06.2026 00:30:40 | Life.ru

МИД: Россия не рассчитывает на посредническую роль ООН в украинском вопросе
17.06.2026 00:27:58 | ТАСС

Сенат США отклонил резолюцию о военных полномочиях Трампа в отношении Ирана
17.06.2026 00:23:28 | Life.ru

Ульянов прокомментировал слова командующего люфтваффе об ударах по Калининграду
17.06.2026 00:20:47 | Lenta.ru

На следующей неделе курс доллара попадёт под влияние двух факторов: Куда двинется рубль с 22 июня
17.06.2026 00:20:00 | Life.ru

Эффективность народных методов борьбы с вредителями на даче оценили
17.06.2026 00:19:53 | Lenta.ru

СП: в I квартале на оказание медпомощи онкобольным направили 113,4 млрд рублей
17.06.2026 00:15:48 | ТАСС

Германская компания Hensoldt стала партнером украинской Fire Point
17.06.2026 00:15:38 | ТАСС

Вэнс: сделка США и Ирана охватит Израиль, Ливан и страны Персидского залива
17.06.2026 00:14:31 | ТАСС

Премьер Ирака перенёс начало рабочего дня ради матча сборной на ЧМ по футболу
17.06.2026 00:14:04 | Life.ru

Мбаппе вошел в топ-3 по количеству голов на чемпионатах мира, обогнав Месси
17.06.2026 00:13:41 | ТАСС

Поклонская: Киев мечтал избавиться от крымчан как от «неправильных украинцев»
17.06.2026 00:10:48 | Life.ru

Клинтон назвала решение Байдена баллотироваться на второй срок ужасной ошибкой
17.06.2026 00:10:41 | ТАСС

США вернули Мексике похищенный более 30 лет назад документ XVI века
17.06.2026 00:10:17 | ТАСС

Кыргызский нарколог решил передать государству духовно-архитектурный комплекс
17.06.2026 00:10:00 | Российская Газета

Сборная Франции с победы стартовала на ЧМ-2026
17.06.2026 00:08:14 | Lenta.ru

Счетная палата: Минобр получил из бюджета более 908,7 млрд рублей в 2025 году
17.06.2026 00:08:14 | ТАСС

Счетная палата: РАН получила около 6,9 млрд рублей из бюджета в 2025 году
17.06.2026 00:07:15 | ТАСС

Новости СВО 17 июня: Освобождён Новый Донбасс, блокада Краснополья, ВСУ горят в Бачевске, Трамп дал совет Москве после встречи с Зеленским
17.06.2026 00:07:00 | Life.ru

СФ обсудит второй пакет мер по противодействию телефонным и интернет-мошенникам
17.06.2026 00:06:57 | ТАСС

СП обнаружила нарушения у некоторых вузов во время проверки исполнения бюджета
17.06.2026 00:05:59 | ТАСС

Мишустин примет участие в Ташкентском международном инвестиционном форуме
17.06.2026 00:05:07 | ТАСС

17 июня: какой праздник отмечают в России и мире
17.06.2026 00:05:00 | Lenta.ru

Сборная Франции начала чемпионат мира с победы над сенегальцами
17.06.2026 00:04:46 | ТАСС

Шойгу обсудит с Фиданом укрепление безопасности в мире
17.06.2026 00:03:54 | ТАСС

Более 1000 проектов получат 4,3 млрд рублей от Фонда президентских грантов
17.06.2026 00:02:45 | Life.ru

В Крыму с 17 июня ввели ограничения на ночную езду на мототехнике
17.06.2026 00:02:22 | ТАСС

Бюджет Соцфонда в I квартале пополнен на 4,6 трлн рублей
17.06.2026 00:02:18 | ТАСС

В Петербурге запретят продавать алкоголь во время праздника "Алые паруса"
17.06.2026 00:02:14 | ТАСС

В Иванове пройдет восьмой фестиваль сериалов "Пилот"
17.06.2026 00:01:45 | ТАСС

Восьмой фестиваль сериалов "Пилот" пройдет в Иваново
17.06.2026 00:01:45 | ТАСС

Штурмовик Грумеза забросал гранатами огневую точку ВСУ
17.06.2026 00:01:20 | ТАСС

В Ираке сдвинули начало рабочего дня из-за матча сборной на ЧМ-2026
17.06.2026 00:01:19 | Lenta.ru

В Казани начинается юбилейный саммит Россия-АСЕАН с участием Путина
17.06.2026 00:00:42 | ТАСС

В Москву массово приехали китайские прокуроры
17.06.2026 00:00:26 | Lenta.ru

Все новости

ВСЕ НОВОСТИ

ПИШИТЕ

Техническая поддержка проекта ВсеТут

info@vsetut.pro