Тонкая настройка больших языковых моделей (LLM) становится всё более важной для адаптации к конкретным задачам, но её высокая требовательность к памяти превышает возможности большинства современных GPU. Разработчики из Гонконгского университета науки и технологий (Hong Kong University of Science and Technology, HKUST) представили SlideFormer — систему, которая позволяет выполнять тонкую настройку моделей с более чем 123 миллиардами параметров на одном GPU, таком как Nvidia RTX 4090. SlideFormer предлагает решения для преодоления ограничений памяти и повышения производительности.
Решение использует архитектуру скользящих слоёв, которая позволяет GPU работать как окно, совмещая вычисления на GPU с обновлениями на CPU и многоуровневым вводом-выводом. Система снижает пиковое использование памяти за счёт предварительно выделенных GPU-кэшей и буферов на CPU, что уменьшает фрагментацию и перераспределение памяти. Интеграция методов ввода-вывода и оптимизированных вычислительных ядер Triton устраняет узкие места в вычислениях.
Это решение позволяет SlideFormer достигать следующих результатов: увеличение пропускной способности от 1,40 до 6,27 раз по сравнению с существующими решениями, такими как ZeRO-Offload и ColossalAI, снижение использования памяти GPU более чем на 50% и уменьшение потребления памяти CPU на 40%. Например, SlideFormer позволяет тонко настраивать модели с 123 миллиардами параметров на одном RTX 4090, а также обрабатывать пакеты данных в 8 раз больше. На высокопроизводительном ПК с 256 ГБ оперативной памяти система может обрабатывать модели до 24 миллиардов параметров без потери производительности.
SlideFormer открывает новые возможности для демократизации тонкой настройки LLM, позволяя пользователям и небольшим организациям использовать мощь больших моделей без необходимости в дорогих кластерных решениях.
-
ИИ выявил апноэ сна после многолетних ошибок диагностики у пациента с тяжёлыми заболеваниями
30.03.2026 21:52:00 | iXBT.com
Раньше это могла быть новая Nokia. В Сети засветился HMD Crest 2 Pro в розовом цвете на новой платформе Qualcomm
30.03.2026 21:24:00 | iXBT.com
Windows 11 теперь будет поддерживать мониторы с кадровой частотой до 5000 Гц
30.03.2026 21:02:00 | iXBT.com
Apple оштрафовали в Великобритании за платежи находящейся под санкциями российской компании Okko
30.03.2026 20:48:00 | iXBT.com
«Я знал, что подобная чушь рано или поздно случится». Разработчик пожаловался на Copilot: ИИ более 11 000 раз добавил саморекламу в описаниях предложенных правок кода на GitHub
30.03.2026 20:18:00 | iXBT.com
Apple хочет выпустить iMac OLED, но проблема в том, что у Samsung и LG попросту нет подходящих по плотности пикселей панелей
30.03.2026 20:05:00 | iXBT.com
Ещё одна жертва ситуации на рынке памяти. Ayaneo откажется от консоли Pocket FIT 8Elite из-за роста цен на компоненты
30.03.2026 19:29:00 | iXBT.com
Третий год Google будет использовать всё тот же дизайн. Появились качественные рендеры Pixel 11
30.03.2026 19:16:00 | iXBT.com
В Госдуме предложили запрет на создание ИИ-изображения человека без его согласия
30.03.2026 18:39:32 | Ведомости
Руди Хуин возглавит новую команду Microsoft, которая будет разрабатывать нативные приложения Windows вместо PWA
30.03.2026 18:17:00 | iXBT.com
Фотографии демонстрируют уменьшенный Dynamic Island, который ожидается в iPhone 18 Pro
30.03.2026 18:01:00 | iXBT.com
Прототип iPhone 18 Pro: фотографии демонстрируют уменьшенный Dynamic Island
30.03.2026 18:01:00 | iXBT.com
На долю потребительских ПК в США приходится менее половины всего рынка. Аналитики Omdia опубликовали отчёт за прошлый квартал
30.03.2026 18:00:00 | iXBT.com
В Европе вышел мощный очиститель воздуха Xiaomi Mijia Smart Air Purifier Max —он справляется с вирусами, аллергенами, клещами и формальдегидом
30.03.2026 17:57:00 | iXBT.com
В Европе вышел мощный очиститель воздуха Xiaomi Mijia Smart Air Purifier Max — он справляется с вирусами, аллергенами, клещами и формальдегидом
30.03.2026 17:57:00 | iXBT.com
Только что анонсированный Vivo X300 Ultra сравнили по камере с iPhone 17 Pro Max, и разница порой катастрофически огромна
30.03.2026 17:51:00 | iXBT.com
Не только флагманы Samsung получат поддержку AirDrop — функцию добавят в Galaxy A56, Galaxy A55 и Galaxy A36
30.03.2026 17:46:00 | iXBT.com
А память для игровых видеокарт вообще останется? Micron собирается использовать чипы GDDR, чтобы создать более доступный аналог HBM
30.03.2026 17:41:00 | iXBT.com
RTX 5070 Laptop, Ryzen AI 9, тонкий и лёгкий корпус и богатый набор портов в ноутбуке за 1800 евро. Представлен обновлённый Slimbook Creative
30.03.2026 17:33:00 | iXBT.com
Китайские производители чипов отмечают нехватку специалистов и отставание от западных лидеров на пять-десять лет в области ИИ-ускорителей
30.03.2026 17:20:00 | iXBT.com
В России готовят новые меры против VPN: операторам предложили ввести плату за использование VPN-сервисов
30.03.2026 17:13:00 | iXBT.com
Intel не хочет давать такие CPU обычным пользователям, но энтузиазм побеждает. Core 9 273PQE с 12 большими ядрами заработал на обычной плате Asus
30.03.2026 17:11:00 | iXBT.com
Будьте осторожны: новая видеокарта Asus GeForce RTX 5080 Prime Evo визуально неотличима от обычной Prime, но лишена испарительной камеры
30.03.2026 17:03:00 | iXBT.com
Siri в устройствах Apple превратится в отдельное приложение, в которое можно будет интегрировать другие чат-боты или ИИ-агенты
30.03.2026 16:57:00 | iXBT.com
Экран 4К 13,2 дюйма, 13 000 мАч, 90 Вт и топовая Snapdragon 8 Elite Gen5. Представлен очень мощный планшет Vivo Pad 6 Pro
30.03.2026 16:44:00 | iXBT.com
У Xiaomi появилась новая умная рисоварка Mijia Smart IH Rice Cooker P1 4L с титановым покрытием чаши — 16 порций риса за раз и цена 160 долларов
30.03.2026 16:20:00 | iXBT.com
MSI представила 27-дюймовый 2K-монитор с заботой о глазах пользователя
30.03.2026 16:01:00 | iXBT.com
Galaxy S26 Ultra, подвинься. Представлен Vivo X300 Ultra: камера Zeiss с двумя 200-мегапиксельными сенсорами, 6600 мАч, 100 Вт, IP69 — 1000 долларов
30.03.2026 16:00:00 | iXBT.com
Камера Zeiss 200 Мп, 100-кратный зум, топовая SoC Dimensity 9500, 7100 мАч, 90 Вт — 725 долларов. Представлен Vivo X300s
30.03.2026 15:23:00 | iXBT.com
Для производства микросхем: в России создают первую 8-модульную кластерную установку магнетронного напыления
30.03.2026 15:23:00 | iXBT.com
Китай впервые запустил новую мощную ракету Kinetica-2, она сходу вывела на орбиту 3 спутника
30.03.2026 15:01:00 | iXBT.com
-
Литовский онлайн-секонд-хенд Vinted оценили в €8 млрд в ходе вторичной продажи акций на €880 млн
27.04.2026 16:47:32 | vc.ru
«Ozon Банк» исключили из списка компаний, которым нужно разрешение президента на операции с акциями
27.04.2026 15:50:21 | vc.ru
ПРОЕКТЫ В СПОРТЕ И БИЗНЕСЕ: ПЯТЬ УРОКОВ, О КОТОРЫХ ВАМ НЕ РАССКАЖУТ НА MBA
27.04.2026 13:46:11 | Хабр
«Я заработал 500 000 рублей на одном видео»: кейс одного из первых ИИ-специалистов SpeShu.AI
27.04.2026 13:38:41 | Хабр
OKX выпустила карту для оплаты зарубежных сервисов с кешбэком и процентом на остаток
27.04.2026 13:35:08 | it-world
Что внутри ноутбука Maibenben X16F? Разборка игровой модели на базе AMD Ryzen-9 8940HX и RTX 5070 Ti
27.04.2026 13:27:46 | Хабр
Миллион в месяц за блокировки интернета, или чем отличается капитализм от социализма
27.04.2026 13:25:25 | Хабр
oosmetrics.com — когда публикация на строннем сайте может навредить вашему проекту
27.04.2026 13:20:30 | Хабр
[Перевод] Арифметика резкого повышения продуктивности: почему «рост на 40%» — это почти всегда неправда?
27.04.2026 13:20:07 | Хабр
Шашлык из свинины на сковороде, пошаговый рецепт с фото на 447 ккал
27.04.2026 13:00:00 | ГАСТРОНОМЪ
СМИ: OpenAI работает с Qualcomm и MediaTek над чипами для «ИИ-смартфонов»
27.04.2026 12:55:43 | vc.ru
В норковой шубе до пят и темных очках: Ольга Погодина на видео с похорон мужа
27.04.2026 12:40:31 | Woman.ru
Эффективная комбинация ML и ручной разметки при проверке результатов статического анализа кода на C и C++
27.04.2026 12:33:53 | Хабр
Банковский сервис X Money, встроенный в соцсеть X, запустят до конца апреля 2026 года — Bloomberg
27.04.2026 12:02:26 | vc.ru
Android, iOS и немного Python: подходит ли Kivy для реальных кроссплатформенных задач?
27.04.2026 12:00:59 | Хабр
Кейс компании Selecty: как они закрыли вакансию Менеджер по развитию бизнеса за неделю
27.04.2026 11:59:59 | Хабр
Можно ли повторить салонный уход дома? Разбираемся в возможностях бьюти-гаджетов
27.04.2026 11:51:28 | Woman.ru
Agent Loop: почему одного вызова инструментов уже недостаточно для корпоративного AI-агента
27.04.2026 11:49:00 | Хабр
Техническая поддержка проекта ВсеТут