Открытые модели функцией «саморефлексии» стартапа Cogito обошли LLaMA и DeepSeek

10.04.2025 15:04:00 | iXBT.com

Стартап Deep Cogito представил семейство открытых языковых моделей Cogito v1. Проект, основанный на архитектуре Llama 3.2 от Meta*, сочетает мгновенные ответы с функцией «саморефлексии» — способностью перепроверять и улучшать собственные выводы, аналогично моделям OpenAI «o»-серии и DeepSeek R1. Все модели компании доступны под открытой лицензией Llama, разрешающей коммерческое использование до 700 млн пользователей в месяц.

Основатель и CEO Deep Cogito Дришан Арора, ранее участвовавший в разработке LLM для генеративного поиска Google, заявил в X: «Наши модели стали сильнейшими в своём классе среди открытых решений, включая LLaMA, DeepSeek и Qwen». Линейка Cogito включает пять вариантов: 3 млрд, 8 млрд, 14 млрд, 32 млрд и 70 млрд параметров, доступных через Hugging Face, Ollama, а также API Fireworks и Together AI. Уже в ближайшие месяцы ожидаются релизы моделей до 671 млрд параметров.

Изображение: Leonardo

Ключевое отличие подхода Deep Cogito — метод «итерированной дистилляции и усиления» (IDA), заменяющий традиционное обучение с обратной связью от людей (RLHF). Алгоритм, вдохновлённый стратегией самообучения AlphaGo, позволяет моделям генерировать улучшенные решения, а затем «впитывать» эти паттерны в собственные параметры, создавая петлю саморазвития.

Результаты тестирования подтверждают заявленные преимущества. Cogito 3B в стандартном режиме превосходит LLaMA 3.2 3B на 6,7% в тесте MMLU (Massive Multitask Language Understanding) — стандартизированный тест для оценки способностей языковых моделей обрабатывать информацию из 57 различных дисциплин, включая естественные науки, гуманитарные предметы, математику, медицину, право и профессиональные навыки — (65,4% против 58,7%), а в режиме рассуждений достигает 72,6%. Cogito 8B демонстрирует 80,5% на MMLU, обходя LLaMA 3.1 8B на 12,8 пунктов. Флагманская Cogito 70B (Standard) с 91,7% на MMLU опережает LLaMA 3.3 70B на 6,4%, а в мультиязычных тестах (MGSM) показывает 92,7% против 89,0% у DeepSeek R1. Однако в математических задачах (MATH) модель отстаёт: 83,3% против 89,0% у конкурента, что разработчики связывают с компромиссами при оптимизации.

Отдельный фокус — поддержка инструментальных вызовов (tool-calling) для интеграции в API и агентские системы. Cogito 3B обрабатывает четыре типа задач (включая параллельные и множественные) с точностью до 92,8%, тогда как LLaMA 3.2 3B не поддерживает эту функцию. Cogito 8B демонстрирует 89% точности против 35-54% у аналогичной модели Meta.

Грядущие планы включают выпуск моделей с архитектурой mixture-of-experts (109B, 400B, 671B параметров) и регулярное обновление существующих чекпойнтов. Партнёрами проекта стали Hugging Face, RunPod, Fireworks AI и другие ключевые игроки экосистемы.

* Компания Meta (Facebook и Instagram) признана в России экстремистской и запрещена

Подробнее