О том, как в МТУСИ предложили новый метод анализа юридических текстов с помощью дерева решений и технологии TF-IDF

info@vsetut.pro

Стать автором

Вернуться

16.01.2025 09:51:35 | Хабр

Хабы: Блог компании МТУСИ

В свете быстрого прогресса информационных технологий и неуклонного увеличения объемов текстовых данных, задача эффективной обработки и анализа текстов становится крайне актуальной, особенно в области юриспруденции.

Сфера права сталкивается с необходимостью мгновенного и точного анализа множества правовых документов, судебных решений и законодательных актов. Традиционные методы анализа часто оказывались недостаточно эффективными, что в свою очередь подчеркивает потребность в современных технологических решениях.

В частности, метод TF-IDF, используемый в качестве основы для построения дерева решений, представляет собой эффективный инструмент для выделения ключевых слов и понятий, что может быть ценно при обработке юридических текстов.

Дерево решений –метод машинного обучения, представляющий собой древовидную структуру, где каждый узел представляет собой вопрос или тест на определенное свойство данных, каждая ветвь соответствует возможному ответу на этот вопрос, а каждый лист дерева представляет собой прогноз или решение. Построение дерева решений на основе алгоритма TF-IDF позволяет учитывать важность слов, выделяя ключевые термины и фильтруя часто встречающиеся слова. Этот подход обеспечивает легкость работы с текстовыми данными, интерпретируемость результатов и минимальные требования к предварительной обработке, что делает его удобным для задач категоризации и тематического анализа.

В МТУСИ над разработкой новой методики применения дерева решений, основанного на методе TF-IDF для анализа естественного языка при решении задач в области гражданского права, работали: Скородумова Елена Александровна, доцент кафедры ТВиПМ, к.ф.-м.н., доцент, и Захарьева Диана, студентка МТУСИ.

Подробнее