Операция выполнена!
Закрыть
Хабы: Data Engineering, Big Data, Go, Apache, Open source

Если упростить, в Databricks с таблицами Unity Catalog работаюют двумя принципиально разными способами.

Streaming Tables и Materialized Views - принадлежат пайплайну. Схема таблицы наследуется из SQL запроса, а создаёт и обновляет её сам пайплайн. Для такой жизни у Databricks есть всё: SDP (до недавнего времени DLT), сам пайплайн лежит в git, выкатывается через Declarative Automation Bundles (бывшие Databrick Asset Bundles) на нужную среду, попутно проходя ревью и CI/CD.

Второе большое множество - это обычные таблицы, managed и external. У такой таблицы есть собственное определение: колонки, типы, комментарии, кластеризация. Ее создают отдельно через DDL-скрипт. Писать в неё может кто угодно - джобы, пайплайны, ноутбуки - да хоть просто в SQL-редакторе выполни INSERT (не является рекомнедацией). В списке ресурсов DAB такой таблицы нет (и скорее всего не предвидится в ближайшее время, так как весь мир ииб*улся занят ИИ-гонкой и релизит связаные с этим фичи). Поэтому на каждом проекте команде для них приходится придумывать что-то своё.

Я устал от этого и написал open source утилиту ucat: определения таблиц в YAML в git, команды plan и apply для деплоя.

Кому интересно - велкам под кат ===>
Читайте также
НОВОСТИ

ПИШИТЕ

Техническая поддержка проекта ВсеТут

info@vsetut.pro