Microsoft и Чикагский университет создали новый математический язык для повышения эффективности LLM

24.11.2024 10:41:00 | iXBT.com

Команда инженеров и специалистов по искусственному интеллекту из Microsoft, в сотрудничестве с коллегами из Чикагского университета, разработала новый язык, который значительно повышает эффективность коммуникации между большими языковыми моделями (LLM). Исследование, опубликованное на сервере препринтов arXiv, представляетDroidSpeak — язык, основанный на математических принципах, лежащих в основе LLM, который позволяет им общаться более эффективно, чем при использовании английского языка.

Исследователи отмечают, что создание проблемно-ориентированных моделей ИИ, которые специализируются на решении конкретных задач, является перспективным направлением в разработке более мощных систем ИИ. Однако, когда эти модели взаимодействуют друг с другом, они обычно используют английский язык, что может быть не самым эффективным способом коммуникации.DroidSpeak призван решить эту проблему, позволяя LLM общаться на языке, который понимают только они.

Качество генерации против задержки предварительного заполнения для моделей Llama-3-8B, Mistrallite, Llama-3-70B и MAmmoTH2. Источник: arXiv (2024). DOI: 10.48550/arxiv.2411.02820

DroidSpeak основан на идее, что LLM могут общаться, используя математический язык, лежащий в основе их работы. Это позволяет им обмениваться только сгенерированными данными, а не всей информацией, связанной с каждым шагом обработки. Такой подход устраняет узкие места, возникающие при коммуникации LLM, когда они сообщают о каждом шаге, что приводит к необходимости обработки большого объёма информации на каждом этапе.

В ходе испытанийDroidSpeak показал значительное увеличение скорости коммуникации между двумя тестовыми LLM — в 2,78 раза быстрее, чем при использовании английского языка. Однако, для достижения оптимальной работыDroidSpeak, исследователи обнаружили, что необходимо использовать один и тот же тип модели LLM на каждом конце коммуникации. Это оставляет пространство для дальнейшего улучшения языка.

Исследовательская группа предполагает, чтоDroidSpeak, подобно человеческим языкам, будет развиваться со временем, становясь более надёжным и эффективным. Разработка DroidSpeak является важным шагом в создании более мощных и универсальных систем ИИ, способных решать сложные задачи путем взаимодействия специализированных моделей ИИ.

Подробнее