[Перевод] Бенчмарк для оценки LLM в задачах триажа security-находок

31.05.2026 11:07:14 | Хабр

Хабы: Информационная безопасность, Иконки, Анализ и проектирование систем, Системное администрирование, DevOps

Я создал собственный бенчмарк для оценки языковых моделей, потому что стандартные публичные тесты не отвечают на мой главный вопрос: какая модель лучше справляется с триажем security-находок. Эта задача отличается от оценки общей сообразительности модели.

Подробнее

Читайте также

Академик РАН: искусственный интеллект никогда не обретет сознание
31.05.2026 10:59:56 | ferra.ru

Визуальный поиск: Новый подход к обнаружению объектов
31.05.2026 10:48:12 | Хабр

QPSK HDL приёмопередатчик
31.05.2026 10:36:43 | Хабр

Ищем разработчика в Synaps — приложение для научного нетворкинга
31.05.2026 09:58:12 | Хабр

Новая эра ПК или старая боль Windows on Arm
31.05.2026 09:53:02 | it-world

3D Stereo Home Cinema, эргономичный домашний кинотеатр с иммерсивным звуком
31.05.2026 09:45:55 | Хабр

Встречайте: muenvsubst — улучшенный envsubst
31.05.2026 09:32:10 | Хабр

Живые обои на Mac своими руками: Metal, окна на уровне рабочего стола и немного математики
31.05.2026 09:26:21 | Хабр

Россия вымирает: что говорят данные
31.05.2026 09:19:17 | Хабр

CNN подала в суд на ИИ-поисковик Perplexity за кражу контента
31.05.2026 09:09:00 | ferra.ru

Тегирование людей на изображениях и Генерация заголовков для видеороликов
31.05.2026 09:03:11 | Хабр

[Перевод] Квантовые компьютеры не угроза 128-битным симметричным ключам
31.05.2026 09:01:10 | Хабр

Navidrome: поднимаем свой стриминговый сервер за один вечер
31.05.2026 09:00:05 | Хабр

Зачем мне фото- и видеоредакторы с GUI, когда есть FFmpeg?
31.05.2026 09:00:01 | Хабр

[Перевод] Астрономы разглядели галактику, возникшую всего через 800 млн лет после Большого взрыва
31.05.2026 08:54:59 | Хабр

Как решить конфликт в Git: merge, rebase, cherry-pick conflict
31.05.2026 08:25:15 | Хабр

DNSSEC validation на Go: написал свой validator и не до конца сошёл с ума
31.05.2026 08:22:56 | Хабр

Про «случайных» людей в ИТ
31.05.2026 08:22:15 | Хабр

Пять одноплатников мая 2026 года: Intel N300, RISC-V с AI и невыпущенный Raspberry Pi 6
31.05.2026 08:01:42 | Хабр

Как я заработал 400 тысяч рублей на боте, который нарезает картинки на квадратики
31.05.2026 07:49:29 | Хабр

Telegram вернулся на часы с Wear OS
31.05.2026 07:08:58 | ferra.ru

Простая аналитическая плафторма для 1С-ов и не только
31.05.2026 07:05:42 | Хабр

(Не)безопасный eBPF: что маркетологи забыли упомянуть об уязвимостях
31.05.2026 07:00:23 | Хабр

AMD вложит 10 млрд долларов в Тайвань ради гонки ИИ с Nvidia. Что происходит?
31.05.2026 07:00:10 | Хабр

Перепрошивка системы вознаграждения. Мой друг Никотин Никотиныч
31.05.2026 01:59:33 | Хабр

Российские ученые проверили неизменность законов физики в космосе
30.05.2026 23:49:01 | ferra.ru

Острова и несколько личностей на одном устройстве: как мы делаем приватность частью архитектуры
30.05.2026 23:29:14 | Хабр

Как я научил Home Assistant передавать показания счётчиков и напоминать об оплате ЖКХ
30.05.2026 22:39:25 | Хабр

Microsoft пригрозила «уголовкой» кибербезопаснику, что раскрыл её ошибки
30.05.2026 22:08:56 | ferra.ru

Intel и 3DGS построят в индийском штате Одиша завод за $3,3 млрд
30.05.2026 22:07:43 | ferra.ru

Российские ученые расширили диапазон лазерных кристаллов
30.05.2026 21:36:37 | ferra.ru

Российские ученые впервые составили карту морских вихрей Баренцева моря
30.05.2026 20:38:22 | ferra.ru

ИИ-агент Google Gemini Spark работает даже при выключенном телефоне
30.05.2026 20:08:54 | ferra.ru

ИИ-фото нейросети для создания изображений: ТОП-14 моделей ИИ для летней фотосессии
30.05.2026 19:29:37 | Хабр

Reset — прохождение сложной машины от Tryhackme
30.05.2026 19:26:38 | Хабр

Смотреть все

НОВОСТИ

Рамные «долгожители»: какими внедорожниками в России дорожат больше всего
29.06.2026 19:25:00 | За рулем

В Приморье водолазы МЧС нашли тело утонувшего 9-летнего мальчика
29.06.2026 05:41:14 | Life.ru

LSM: Латвия вместе с Украиной начнут собирать БПЛА на границе с РФ
29.06.2026 05:33:00 | Российская Газета

Ветеран СВО рассказал о пользе охотничьего опыта на фронте
29.06.2026 05:32:22 | Lenta.ru

В Забайкалье Lexus улетел в кювет: двое погибли, шестеро в больнице
29.06.2026 05:32:19 | Life.ru

Освобожденный курянин рассказал, что ВСУ выжгли трезубец на лбу у пленного
29.06.2026 05:31:28 | ТАСС

В Забайкалье в ДТП погибли два человека
29.06.2026 05:29:49 | ТАСС

Россиян предупредили о последствиях употребления кофе натощак
29.06.2026 05:27:53 | Lenta.ru

Ирландец описал россиянок фразой «умудряются сочетать в себе силу тигра и нежность розы»
29.06.2026 05:27:43 | Lenta.ru

«Готовы были убить»: Освобождённый курянин пережил ад в тюрьме Винницы
29.06.2026 05:26:51 | Life.ru

Солдат ВСУ выжигал на теле россиянина букву «Z»
29.06.2026 05:21:38 | Lenta.ru

Названы регионы России, где пенсии работающих выше 35 тысяч рублей
29.06.2026 05:21:36 | Life.ru

Сомнолог Полуэктов объяснил сны с падениями "вестибулярными галлюцинациями"
29.06.2026 05:20:41 | ТАСС

Сомнолог Полуэктов рассказал, почему человеку снится сон, где он падает
29.06.2026 05:20:41 | ТАСС

Приоритет — своим: Правительство может расширить нацрежим ещё на три категории стройматериалов
29.06.2026 05:19:33 | Life.ru

В ГД предложили указывать на упаковке, подвергался ли продукт разморозке
29.06.2026 05:18:14 | ТАСС

Житель Курской области рассказал, что в плену на Украине их готовы были убить
29.06.2026 05:16:00 | Российская Газета

Южная группировка ударила по отступающей из Константиновке пехоте ВСУ
29.06.2026 05:15:35 | ТАСС

Командир Икона: ВСУ потерпели поражение в стрелковых боях в Новоскелеватом
29.06.2026 05:14:05 | ТАСС

Боец Шир: ВСУ в Новоскелеватом использовали и минометы на базе пикапов
29.06.2026 05:12:53 | ТАСС

Боец Шар: ВСУ в Новоскелеватом использовали и минометы на базе пикапов
29.06.2026 05:12:53 | ТАСС

В Хабаровском крае по иску прокуратуры аннулировали брак погибшего участника СВО
29.06.2026 05:11:12 | ТАСС

В Хабаровском крае суд аннулировал брак погибшего участника СВО по иску прокуратуры
29.06.2026 05:11:12 | ТАСС

Командир Икона: ВСУ в Новоскелеватом использовали подвалы в качестве укреплений
29.06.2026 05:11:06 | ТАСС

Сборная Канады вышла в 1/8 финала ЧМ, несмотря на «проклятие» Дрейка
29.06.2026 05:10:34 | Life.ru

Врач Авиценна: пулевые ранения очень редко встречаются в ходе СВО
29.06.2026 05:09:38 | ТАСС

Командир Икона: ВС РФ уничтожили опорный пункт ВСУ, забросив туда кирпич
29.06.2026 05:07:47 | ТАСС

Путин рассказал об успехах российских военных у Доброполья
29.06.2026 05:06:00 | Lenta.ru

Путин рассказа об успехах российских военных у Доброполья
29.06.2026 05:06:00 | Lenta.ru

РСЗО "Град" поразили позиции ВСУ в Запорожской области
29.06.2026 05:05:21 | ТАСС

Потомок Бисмарка: в России люди чувствуют себя в безопасности
29.06.2026 05:04:28 | ТАСС

Гадают в бессильной злобе: В Европе раскрыли, как закрытые переговоры Путина и Лукашенко взбесили Киев
29.06.2026 05:04:25 | Life.ru

Группировка "Запад" поразила пункт управления БПЛА ВСУ
29.06.2026 05:03:44 | ТАСС

Россиянам рассказали, сколько можно не пользоваться сим-картой без риска потерять номер
29.06.2026 05:02:40 | Life.ru

ВС РФ поразили пункт управления дронами ВСУ на Запорожье
29.06.2026 05:02:12 | ТАСС

Все новости

ВСЕ НОВОСТИ

ПИШИТЕ

Техническая поддержка проекта ВсеТут

info@vsetut.pro