Операция выполнена!
Закрыть
info@vsetut.pro
Стать автором
Вернуться

Некорпоративный Хабр: семантический поиск и фильтрация по структурированным полям в браузере (wllama и duckdb wasm)

19.05.2026 03:11:42 | Хабр
Хабы: Искусственный интеллект, Поисковые технологии, Базы данных

Классический RAG индексирует исходный текст документа, предварительно разбивая на фрагменты. Потом рассчитывает векторное представление фрагментов и сохраняет их векторные представления в базу данных для поиска. Это дает возможность искать по сходству фрагментов текста и поискового запроса пользователя, но не дает возможность искать по более высокоуровневым резюме и смыслам, темам поднятым в тексте и прочему. Также не помогает с аналитикой по содержимому.

Бесплатный проект text-metadata-generator позволяет выполнять запросы к LLM по каждому документу из коллекции документов, результаты вывода LLM проверяются по JSON схеме.

Зачем может пригодиться эта программа и подход со структурированием текстовой информации:

Если нужна своя библиотека с каталогом - поиск по локальным документам с использованием комбинации SQL предикатов и семантического поиска

Аналитика по документам, возможность находить новое в текстах: комбинируя структурированные поля созданные LLM из исходного текста, и находя закономерности с уже существующими в документе метаданными. Например, связывая с рейтингом признак NSFW, тон повествования, полноту содержания итп.

Разгрести “авгиевы конюшни” личных заметок в Obsidian или git репозитарии с Markdown файлами

Рассмотрим как работает данный подход на 13275 статьях с Хабра, а также текстах трех песнен…

Читать далее
Подробнее
Читайте также
НОВОСТИ

ВСЕ НОВОСТИ
ПИШИТЕ

Техническая поддержка проекта ВсеТут

info@vsetut.pro

Copyright © 2026 - vsetut.pro