[Перевод] Использование ИИ и векторного поиска в Azure Cosmos DB для MongoDB vCore

info@vsetut.pro

Стать автором

Вернуться

16.08.2024 07:21:47 | Хабр

Хабы: Python, Машинное обучение, Искусственный интеллект, Microsoft Azure

Недавно Microsoft объявила о внедрении функциональности векторного поиска в Azure Cosmos DB для MongoDB vCore. Эта функция расширяет возможности Cosmos DB, позволяя разработчикам выполнять сложные поиски по сходству в многомерных данных, что особенно полезно в приложениях на основе RAG , системах рекомендаций, поиске изображений и документов и т. д.

В этой статье я рассмотрю детали этой новой функциональности, варианты ее использования и предоставим пример реализации с использованием Python .

Что такое векторный магазин?

Векторные хранилища (или векторные базы данных ) предназначены для хранения и управления векторными вложениями . Эти вложения являются математическими представлениями данных в многомерном пространстве. Каждое измерение соответствует свойству данных, и для представления сложных данных могут использоваться десятки тысяч измерений. Например, слова, фразы, целые документы, изображения, аудио и другие типы данных могут быть векторизованы. Проще говоря, векторные вложения — это список чисел, которые могут представлять внутри многомерного пространства любые сложные данные.

Пример

Pen: [0.6715,0.5562,0.3566,0.9787]

Теперь мы можем представить ручку внутри многомерного пространства, а затем использовать алгоритмы векторного поиска для выполнения поиска по сходству и извлечения наиболее совпадающих элементов.

Как работает векторный индекс?

В векторном хранилище алгоритмы векторного поиска используются для индексации и запроса вложений. Векторная индексация — это метод, используемый в машинном обучении и анализе данных для эффективного поиска и извлечения информации из больших наборов данных. Некоторые известные алгоритмы включают: