Операция выполнена!
Закрыть

В суперкомпьютерном кластере Colossus 2 запущен параллельный тренинг семи крупных языковых и мультимодальных моделей, о чем рассказал Илон Маск.

В настоящий момент в процессе обучения находятся:

  • Imagine V2 (улучшенная генеративная модель изображений и видео);
  • Два варианта модели объёмом 1 трлн параметров;
  • Два варианта модели объёмом 1,5 трлн параметров;
  • Модель объёмом 6 трлн  параметров;
  • Модель объёмом 10 трлн  параметров.
Изображение Grok

На вопрос о том, сколько по времени займет обучение самой большой модели с 10 трлн  параметров, Илон Маск заявил, что предварительный этап обучения длится около 2 месяцев.

Компания xAI уже ввела в эксплуатацию суперкомпьютер Colossus 2, предназначенный для обучения Grok и других задач. Установка стала первым в мире ИИ-кластером с энергопотреблением на уровне 1 ГВт. Для сравнения, это больше пикового энергопотребления такого крупного города, как Сан-Франциско.

Читайте также
ЛЕНТА

ПИШИТЕ

Техническая поддержка проекта ВсеТут

info@vsetut.pro