Rapt AI и AMD сократили настройку GPU-инфраструктуры до 3 минут и увеличили запуск моделей в 10 раз на платформе Instinct

27.03.2025 11:48:00 | iXBT.com

Компания Rapt AI, разрабатывающая решения для автоматизации AI-нагрузок на GPU, заключила долгосрочное соглашение с AMD. Цель сотрудничества — повысить эффективность управления ресурсами при обучении и запуске AI-моделей на графических процессорах AMD Instinct, включая серии MI300X, MI325X и будущие MI350. Интеграция платформы Rapt AI с оборудованием AMD призвана решить ключевые проблемы отрасли: нерациональное использование вычислительных мощностей, сложности в управлении распределёнными системами и рост затрат на инфраструктуру.

«Современные AI-модели стали настолько сложными и непредсказуемыми, что традиционные методы оптимизации уже не работают, — заявил на пресс-брифинге CEO Rapt AI Чарли Лиминг. — Компании вкладывают десятки миллионов, а иногда миллиарды долларов в GPU-инфраструктуру и команды специалистов, но CFO и CIO всё чаще требуют доказательств окупаемости». По его словам, прорывное решение предложил CTO Rapt AI Анил Равиндранат, разработавший систему мониторинга, которая анализирует нагрузку на оборудование в реальном времени.

Изображение: Rapt AI

Платформа Rapt AI, анонсированная в конце 2023 года, уже внедрена в нескольких компаниях из списка Fortune 100, включая двух крупных облачных провайдеров. Алгоритмы автоматически распределяют задачи между GPU, сокращая время настройки инфраструктуры с девяти часов до трёх минут. Система позволяет увеличить количество запусков моделей в десять раз без роста затрат на вычисления, сокращая общие расходы до 90% — и всё это без модификации кода или участия человека.

«При ручном управлении простаивает до 30% мощностей GPU, — подчеркнул Лиминг. — Наш инструментарий обеспечивает почти 100% утилизацию, что особенно важно для клиентов, запрашивающих поддержку AMD. Их GPU, например MI300X, выделяются огромным объёмом памяти, который критичен для динамичных нагрузок». Платформа Rapt адаптируется к изменениям «на лету», анализируя поведение моделей непосредственно во время выполнения.

Совместное решение автоматически масштабирует ресурсы в зависимости от спроса, увеличивая плотность задач на AMD Instinct и сокращая задержки. Единая платформа поддерживает гибридные среды — локальные и облачные GPU разных производителей. Это избавляет инженеров от ручной настройки и позволяет сосредоточиться на разработке моделей.

В планах партнёров — дальнейшая оптимизация планирования задач, управления памятью и других параметров для подготовки инфраструктуры к будущим вызовам, включая переход к моделям с триллионами параметров к 2026 году.

Согласно прогнозам, к 2027 году до 80% корпоративных AI-проектов будут требовать автоматизации управления ресурсами — и альянс двух компаний позиционирует себя как ответ на этот тренд.

Подробнее