Особенности Schema Evolution в Hadoop: как сделать alter table

20.02.2026 06:00:32 | Хабр

Хабы: Блог компании ИТ-холдинг Т1, IT-инфраструктура, Hadoop, Хранение данных

Привет, Хабр! Меня зовут Ольга Косарева, я инженер данных команды «Прогнозирование финансового результата» Центра разработки решений ALM в ИТ‑холдинге Т1, мы занимаемся созданием современной ALM‑системы (подробнее тут ).

Полтора года назад я пришла в команду и получила задачу дописать и внедрить инструмент для DDL‑операций над данными в экосистеме Hadoop. Моя первая реакция была: «А зачем так сложно? Какой инструмент? Почему нельзя просто выполнить команду ALTER TABLE через Hive?»

В этой статье мы с коллегами Никитой Королёвым и Алексеем Пожар расскажем, в каких случаях целесообразно именно так и сделать, а в каких это приведёт к различным проблемам с данными, что такое Schema Evolution и как мы решаем задачу периодического изменения структур таблиц с нашими отчётами.

Подробнее

Читайте также

[Перевод] Андрей Карпаты только что создал полноценный GPT на 243 строках Python
20.02.2026 05:56:38 | Хабр

System Design для QA: о чём вас спросят на собеседовании
20.02.2026 05:22:06 | Хабр

Почему IT-проекты жирные (опять)
20.02.2026 05:17:27 | Хабр

Prompt injection для смелых духом: от zero-click атаки на 1.4B устройств до философского джейлбрейка
20.02.2026 05:16:26 | Хабр

Рассуждения о страхах перед ИИ и какие причины могут лежать в их основе
20.02.2026 05:10:09 | Хабр

Технический разбор Greenwich: когда «полезное» расширение начинает видеть слишком много
20.02.2026 05:07:36 | Хабр

От гаданий к математике: Как PG_EXPECTO v.7 и DeepSeek превращают DBA-анализ из искусства в науку
20.02.2026 05:06:28 | Хабр

Как можно упростить исправление конфликтов в «git rebase»
20.02.2026 04:23:19 | Хабр

RAG Testing: как не сломать retrieval
20.02.2026 04:15:08 | Хабр

Доктор Джао
20.02.2026 04:06:56 | Хабр

Параллельная обработка Kafka сообщений с гарантией at-least-once в условиях медленного внешнего сервиса
20.02.2026 04:04:05 | Хабр

Лимит доверия: как ИИ решает, сколько денег вам можно дать (и почему это часто несправедливо)
20.02.2026 02:13:47 | Хабр

Строковые константы в MS SQL
19.02.2026 23:43:13 | Хабр

Концепт «Больцмановский Мозг» на квантово— волновой логике (QWL). Нейросеть. Численное моделирование
19.02.2026 23:12:34 | Хабр

Что жужжит над головой, куда исчезнут МФО и идеальный пинг Дмитрия Пескова
19.02.2026 22:45:18 | it-world

ИП и ООО за границей — налоги в РФ
19.02.2026 21:53:18 | Хабр

ИИ Google научился создавать музыку по текстовому описанию, но лишь на 30 секунд
19.02.2026 21:39:44 | ferra.ru

В Китае при поддержке правительства развивают конкурента Neuralink: компания NeuroXess провела 50 операций по имплантации нейроинтерфейсов
19.02.2026 21:38:58 | vc.ru

Пользователи рассказали, что Mail вводит плату за использование сторонних почтовых клиентов — в компании говорят, что это «эксперимент», который затронул менее 1%
19.02.2026 21:33:58 | vc.ru

Правительство отправляет дроны на замену инспекторам
19.02.2026 20:41:09 | it-world

Как скринридер «видит» сайт: DOM, accessibility tree и API простыми словами
19.02.2026 20:25:51 | Хабр

Распознавание изображений локальными LLM
19.02.2026 20:25:37 | Хабр

Kawai-Focus 2.3: логика приложения на TypeScript
19.02.2026 20:10:17 | Хабр

Научитесь слушать не жопой
19.02.2026 20:04:52 | Хабр

Без руля и педалей: Tesla собрала первый экземпляр Cybercab
19.02.2026 19:39:47 | ferra.ru

Охота за красным fps
19.02.2026 19:10:00 | Хабр

ФНС подала заявление о банкротстве майнинговой компании Bitriver
19.02.2026 19:03:34 | vc.ru

HackTheBox. Прохождение CrimeStoppers. Уровень — Сложный
19.02.2026 18:51:12 | Хабр

Очень большой аккумулятор в очень тонком смартфоне: Infinix Note Edge и его 6500 мАч
19.02.2026 18:38:04 | ferra.ru

Запуск модели gpt-oss на 20 и 120 миллиардов параметров, на процессоре Core I9 для решения непростой задачи без GPU
19.02.2026 18:36:28 | Хабр

Производитель Volga начнёт выпускать машины во втором квартале 2026 года, продавать — в третьем
19.02.2026 18:28:00 | vc.ru

[Перевод] Дрейф данных в машинном обучении
19.02.2026 17:49:24 | Хабр

Невышедший складной смартфон Honor Magic V6 заметили у олимпийской чемпионки
19.02.2026 17:39:45 | ferra.ru

Гайд-лонгрид: Как правильно читать User-Agent
19.02.2026 17:36:04 | Хабр

Объем тендеров на продукты с искусственным интеллектом достиг рекордных значений
19.02.2026 17:29:30 | it-world

Смотреть все

НОВОСТИ

ВСУ пытаются атаковать Сочи и Сириус, ПВО отражает воздушную атаку
07.05.2026 04:39:58 | Life.ru

Мендель заявила о коррупции при мобилизации на Украине
07.05.2026 04:34:23 | Life.ru

ВЦИОМ: половина россиян планируют принять участие в массовых торжествах 9 Мая
07.05.2026 04:31:11 | ТАСС

Эксперт Медякова предупредила о мошенниках, обманывающих про выплаты к 9 Мая
07.05.2026 04:30:31 | ТАСС

Обвиняемая по делу о хищениях у бойцов СВО в Шереметьево признала вину
07.05.2026 04:29:11 | Life.ru

Кабмин намерен усилить работу по выявлению замышляющих опасное подростков
07.05.2026 04:27:25 | ТАСС

Опасность атаки БПЛА объявлена в Ленинградской области
07.05.2026 04:24:55 | ТАСС

Силы ПВО сбили третий беспилотник ВСУ, летевший в сторону Москвы
07.05.2026 04:23:46 | Life.ru

В Германии раскрыли детали нового коррупционного скандала с Зеленским
07.05.2026 04:23:06 | Lenta.ru

Правительство Норвегии выделило $302 млн на военную помощь Украине
07.05.2026 04:21:07 | Life.ru

Мемориальная акция "Бессмертный полк" состоится во всех регионах России
07.05.2026 04:20:37 | ТАСС

Аэропорт Самары приостановил прием и выпуск самолетов
07.05.2026 04:19:56 | ТАСС

Иностранные наемники ВСУ жалуются на воровство своей экипировки в госпиталях
07.05.2026 04:19:47 | ТАСС

Глава МВД ФРГ заявил о планах расширить полномочия спецслужб
07.05.2026 04:18:31 | Life.ru

Bloomberg: Зеленский выразил опасения западным лидерам из-за наступления РФ
07.05.2026 04:15:32 | Life.ru

На ЗАЭС заявили, что Киеву не удалось посеять панику на станции и в Энергодаре
07.05.2026 04:13:48 | ТАСС

В ОП рассказали о мошенниках мимикрирующих под "Госуслуги"
07.05.2026 04:12:15 | ТАСС

Опубликована предсмертная записка Эпштейна
07.05.2026 04:12:00 | Lenta.ru

В Приморье 10 тыс. школьников почтили минутой молчания память погибших военных
07.05.2026 04:11:34 | ТАСС

Раскрыты последствия удара ВСУ по Брянску
07.05.2026 04:10:15 | Lenta.ru

В Брянске 13 человек пострадали при атаке ВСУ
07.05.2026 04:09:28 | Коммерсантъ

WSJ: США добиваются от Ирана моратория на обогащение урана на 20 лет
07.05.2026 04:09:13 | ТАСС

Описана текущая стратегия Трампа по Ирану
07.05.2026 04:08:15 | Lenta.ru

Японский индекс Nikkei вырос на 4,3% в ожидании соглашения США и Ирана
07.05.2026 04:07:40 | ТАСС

Парень разом отомстил всем соседям за грубость и высокомерность
07.05.2026 04:06:30 | Lenta.ru

Выявлена скрытая опасность средств для набора мышц
07.05.2026 04:05:42 | Lenta.ru

39 человек за две недели стали жертвами самосудов из-за обвинений в краже пенисов
07.05.2026 04:04:38 | Lenta.ru

13 человек, в том числе ребёнок, пострадали при ударе ВСУ по домам в Брянске
07.05.2026 04:04:38 | Life.ru

54-летняя Кармен Электра обнажила грудь на камеру и вызвала ажиотаж в сети
07.05.2026 04:04:33 | Lenta.ru

Бывшего главу города на Камчатке приговорили к 8 годам колонии
07.05.2026 04:03:33 | Коммерсантъ

Бывшего главу города на Камчатке приговорили к 8 годам колонии за взятки
07.05.2026 04:03:33 | Коммерсантъ

CNN: Иран может передать ответ на предложение США 7 мая
07.05.2026 04:02:59 | ТАСС

Более 20 квартир и 40 автомобилей повреждены при атаке ВСУ на Брянск
07.05.2026 04:01:53 | ТАСС

Марочко: ВС РФ вышли за пределы Корчаковки и на 1,5 км расшили зону контроля
07.05.2026 04:01:15 | ТАСС

Атаковать корреспондента ТАСС в Васильевке могли подразделения ГУР Украины
07.05.2026 04:00:50 | ТАСС

Все новости

ВСЕ НОВОСТИ

ПИШИТЕ

Техническая поддержка проекта ВсеТут

info@vsetut.pro