Особенности Schema Evolution в Hadoop: как сделать alter table

20.02.2026 06:00:32 | Хабр

Хабы: Блог компании ИТ-холдинг Т1, IT-инфраструктура, Hadoop, Хранение данных

Привет, Хабр! Меня зовут Ольга Косарева, я инженер данных команды «Прогнозирование финансового результата» Центра разработки решений ALM в ИТ‑холдинге Т1, мы занимаемся созданием современной ALM‑системы (подробнее тут ).

Полтора года назад я пришла в команду и получила задачу дописать и внедрить инструмент для DDL‑операций над данными в экосистеме Hadoop. Моя первая реакция была: «А зачем так сложно? Какой инструмент? Почему нельзя просто выполнить команду ALTER TABLE через Hive?»

В этой статье мы с коллегами Никитой Королёвым и Алексеем Пожар расскажем, в каких случаях целесообразно именно так и сделать, а в каких это приведёт к различным проблемам с данными, что такое Schema Evolution и как мы решаем задачу периодического изменения структур таблиц с нашими отчётами.

Подробнее

Читайте также

[Перевод] Андрей Карпаты только что создал полноценный GPT на 243 строках Python
20.02.2026 05:56:38 | Хабр

System Design для QA: о чём вас спросят на собеседовании
20.02.2026 05:22:06 | Хабр

Почему IT-проекты жирные (опять)
20.02.2026 05:17:27 | Хабр

Prompt injection для смелых духом: от zero-click атаки на 1.4B устройств до философского джейлбрейка
20.02.2026 05:16:26 | Хабр

Рассуждения о страхах перед ИИ и какие причины могут лежать в их основе
20.02.2026 05:10:09 | Хабр

Технический разбор Greenwich: когда «полезное» расширение начинает видеть слишком много
20.02.2026 05:07:36 | Хабр

От гаданий к математике: Как PG_EXPECTO v.7 и DeepSeek превращают DBA-анализ из искусства в науку
20.02.2026 05:06:28 | Хабр

Как можно упростить исправление конфликтов в «git rebase»
20.02.2026 04:23:19 | Хабр

RAG Testing: как не сломать retrieval
20.02.2026 04:15:08 | Хабр

Доктор Джао
20.02.2026 04:06:56 | Хабр

Параллельная обработка Kafka сообщений с гарантией at-least-once в условиях медленного внешнего сервиса
20.02.2026 04:04:05 | Хабр

Лимит доверия: как ИИ решает, сколько денег вам можно дать (и почему это часто несправедливо)
20.02.2026 02:13:47 | Хабр

Строковые константы в MS SQL
19.02.2026 23:43:13 | Хабр

Концепт «Больцмановский Мозг» на квантово— волновой логике (QWL). Нейросеть. Численное моделирование
19.02.2026 23:12:34 | Хабр

Что жужжит над головой, куда исчезнут МФО и идеальный пинг Дмитрия Пескова
19.02.2026 22:45:18 | it-world

ИП и ООО за границей — налоги в РФ
19.02.2026 21:53:18 | Хабр

ИИ Google научился создавать музыку по текстовому описанию, но лишь на 30 секунд
19.02.2026 21:39:44 | ferra.ru

В Китае при поддержке правительства развивают конкурента Neuralink: компания NeuroXess провела 50 операций по имплантации нейроинтерфейсов
19.02.2026 21:38:58 | vc.ru

Пользователи рассказали, что Mail вводит плату за использование сторонних почтовых клиентов — в компании говорят, что это «эксперимент», который затронул менее 1%
19.02.2026 21:33:58 | vc.ru

Правительство отправляет дроны на замену инспекторам
19.02.2026 20:41:09 | it-world

Как скринридер «видит» сайт: DOM, accessibility tree и API простыми словами
19.02.2026 20:25:51 | Хабр

Распознавание изображений локальными LLM
19.02.2026 20:25:37 | Хабр

Kawai-Focus 2.3: логика приложения на TypeScript
19.02.2026 20:10:17 | Хабр

Научитесь слушать не жопой
19.02.2026 20:04:52 | Хабр

Без руля и педалей: Tesla собрала первый экземпляр Cybercab
19.02.2026 19:39:47 | ferra.ru

Охота за красным fps
19.02.2026 19:10:00 | Хабр

ФНС подала заявление о банкротстве майнинговой компании Bitriver
19.02.2026 19:03:34 | vc.ru

HackTheBox. Прохождение CrimeStoppers. Уровень — Сложный
19.02.2026 18:51:12 | Хабр

Очень большой аккумулятор в очень тонком смартфоне: Infinix Note Edge и его 6500 мАч
19.02.2026 18:38:04 | ferra.ru

Запуск модели gpt-oss на 20 и 120 миллиардов параметров, на процессоре Core I9 для решения непростой задачи без GPU
19.02.2026 18:36:28 | Хабр

Производитель Volga начнёт выпускать машины во втором квартале 2026 года, продавать — в третьем
19.02.2026 18:28:00 | vc.ru

[Перевод] Дрейф данных в машинном обучении
19.02.2026 17:49:24 | Хабр

Невышедший складной смартфон Honor Magic V6 заметили у олимпийской чемпионки
19.02.2026 17:39:45 | ferra.ru

Гайд-лонгрид: Как правильно читать User-Agent
19.02.2026 17:36:04 | Хабр

Объем тендеров на продукты с искусственным интеллектом достиг рекордных значений
19.02.2026 17:29:30 | it-world

Смотреть все

НОВОСТИ

Артиллерия "Востока" уничтожила пункты управления БПЛА ВСУ
04.07.2026 05:32:22 | ТАСС

Южная группировка уничтожили три пункта управления БПЛА ВСУ под Константиновкой
04.07.2026 05:29:56 | ТАСС

Группировка "Восток" уничтожила пункт дислокации ВСУ в Запорожье
04.07.2026 05:29:40 | ТАСС

ВС РФ уничтожили артиллерию ВСУ в Запорожской области
04.07.2026 05:29:24 | ТАСС

В полевых лабораториях "Днепра" в месяц собирают свыше 1 тыс. дронов
04.07.2026 05:28:21 | ТАСС

Группировка "Север" уничтожила полевой пункт хранения ВСУ в Харьковской области
04.07.2026 05:27:54 | ТАСС

Дирижёра Спивакова выписали из больницы
04.07.2026 05:25:31 | Life.ru

Герасимов: ВСУ безуспешно пытаются вернуть позиции в Купянске
04.07.2026 05:21:23 | Life.ru

В аэропорту Иваново ввели временные ограничения
04.07.2026 05:19:33 | ТАСС

В МВД в целях безопасности советуют установить лимиты на снятие наличных
04.07.2026 05:17:33 | ТАСС

Раскрыто направление бегства ВСУ от Константиновки
04.07.2026 05:17:14 | Lenta.ru

Скачки напряжения и затопление: Россиянам раскрыли секрет, как уехать в отпуск и не переживать за квартиру
04.07.2026 05:16:22 | Life.ru

ТАСС: Украине удалось собрать лишь половину необходимых к зиме запасов газа
04.07.2026 05:15:20 | ТАСС

Бойцы "Севера" за сутки уничтожили более 210 военных ВСУ
04.07.2026 05:13:24 | ТАСС

В аэропорту Екатеринбурга ввели ограничения на прием и выпуск самолетов
04.07.2026 05:13:10 | ТАСС

Контрактники-операторы БПЛА "Центра" проходят боевую учебу в тыловом районе СВО
04.07.2026 05:12:21 | ТАСС

Группировка "Восток" за сутки уничтожила более 450 солдат ВСУ
04.07.2026 05:12:05 | ТАСС

Командир Никитин: бойцы "Центра" в ножевой схватке с ВСУ зачистили подъезд
04.07.2026 05:10:40 | ТАСС

ВСУ от действий Южной группировки потеряли за сутки до 215 военных
04.07.2026 05:10:21 | ТАСС

Группировка "Днепр" уничтожила за сутки до 70 военных ВСУ и 4 станции РЭБ
04.07.2026 05:08:47 | ТАСС

Группировка "Север" за сутки уничтожила более 20 боевиков ВСУ в Сумской области
04.07.2026 05:08:22 | ТАСС

FPV-дроны уничтожили роботизированные платформы ВСУ в районе Красного Лимана
04.07.2026 05:07:35 | ТАСС

ВСУ за сутки потеряли свыше 320 военных в зоне группировки "Центр"
04.07.2026 05:06:56 | ТАСС

Боец Леший: группировка "Центра" под атакой БПЛА высадила десант
04.07.2026 05:06:35 | ТАСС

Ракетная опасность отменена в Нижегородской области
04.07.2026 05:05:03 | ТАСС

ВСУ потеряли 215 военных и 125 квадракоптеров в результате действий "Запада"
04.07.2026 05:04:49 | ТАСС

Марочко: ВС РФ закрепляются на окраинах Белого Колодезя
04.07.2026 05:02:47 | ТАСС

Группировка "Запад" завершает уничтожение формирований украинской армии в Красном Лимане
04.07.2026 05:02:09 | ТАСС

Штурмовики "Запада" завершают уничтожение формирований ВСУ в Красном Лимане
04.07.2026 05:01:39 | ТАСС

Месси снова на пике. Аргентинцам пришлось помучиться в игре с командой Кабо-Верде
04.07.2026 05:01:08 | ТАСС

Группировка "Юг" завершает зачистку Константиновки ДНР
04.07.2026 05:01:05 | ТАСС

Египетский футболист Хани стал рекордсменом по автоголам на чемпионатах мира
04.07.2026 05:00:09 | Life.ru

Возможно, самый крутой автодом, что вы видели
04.07.2026 05:00:00 | За рулем

В Кузбассе нашли тело пропавшей девятилетней девочки
04.07.2026 04:59:34 | ТАСС

Тело пропавшей девятилетней девочки нашли в Кузбассе
04.07.2026 04:59:34 | ТАСС

Все новости

ВСЕ НОВОСТИ

ПИШИТЕ

Техническая поддержка проекта ВсеТут

info@vsetut.pro