Операция выполнена!

info@vsetut.pro

Стать автором

Вернуться

Особенности Schema Evolution в Hadoop: как сделать alter table

20.02.2026 06:00:32 | Хабр

Хабы: Блог компании ИТ-холдинг Т1, IT-инфраструктура, Hadoop, Хранение данных

Привет, Хабр! Меня зовут Ольга Косарева, я инженер данных команды «Прогнозирование финансового результата» Центра разработки решений ALM в ИТ‑холдинге Т1, мы занимаемся созданием современной ALM‑системы (подробнее тут ).

Полтора года назад я пришла в команду и получила задачу дописать и внедрить инструмент для DDL‑операций над данными в экосистеме Hadoop. Моя первая реакция была: «А зачем так сложно? Какой инструмент? Почему нельзя просто выполнить команду ALTER TABLE через Hive?»

В этой статье мы с коллегами Никитой Королёвым и Алексеем Пожар расскажем, в каких случаях целесообразно именно так и сделать, а в каких это приведёт к различным проблемам с данными, что такое Schema Evolution и как мы решаем задачу периодического изменения структур таблиц с нашими отчётами.

Читать далее

Подробнее

Читайте также

[Перевод] Андрей Карпаты только что создал полноценный GPT на 243 строках Python
20.02.2026 05:56:38 | Хабр

System Design для QA: о чём вас спросят на собеседовании
20.02.2026 05:22:06 | Хабр

Почему IT-проекты жирные (опять)
20.02.2026 05:17:27 | Хабр

Prompt injection для смелых духом: от zero-click атаки на 1.4B устройств до философского джейлбрейка
20.02.2026 05:16:26 | Хабр

Рассуждения о страхах перед ИИ и какие причины могут лежать в их основе
20.02.2026 05:10:09 | Хабр

Технический разбор Greenwich: когда «полезное» расширение начинает видеть слишком много
20.02.2026 05:07:36 | Хабр

От гаданий к математике: Как PG_EXPECTO v.7 и DeepSeek превращают DBA-анализ из искусства в науку
20.02.2026 05:06:28 | Хабр

Как можно упростить исправление конфликтов в «git rebase»
20.02.2026 04:23:19 | Хабр

RAG Testing: как не сломать retrieval
20.02.2026 04:15:08 | Хабр

Доктор Джао
20.02.2026 04:06:56 | Хабр

Параллельная обработка Kafka сообщений с гарантией at-least-once в условиях медленного внешнего сервиса
20.02.2026 04:04:05 | Хабр

Лимит доверия: как ИИ решает, сколько денег вам можно дать (и почему это часто несправедливо)
20.02.2026 02:13:47 | Хабр

Строковые константы в MS SQL
19.02.2026 23:43:13 | Хабр

Концепт «Больцмановский Мозг» на квантово— волновой логике (QWL). Нейросеть. Численное моделирование
19.02.2026 23:12:34 | Хабр

Что жужжит над головой, куда исчезнут МФО и идеальный пинг Дмитрия Пескова
19.02.2026 22:45:18 | it-world

ИП и ООО за границей — налоги в РФ
19.02.2026 21:53:18 | Хабр

ИИ Google научился создавать музыку по текстовому описанию, но лишь на 30 секунд
19.02.2026 21:39:44 | ferra.ru

В Китае при поддержке правительства развивают конкурента Neuralink: компания NeuroXess провела 50 операций по имплантации нейроинтерфейсов
19.02.2026 21:38:58 | vc.ru

Пользователи рассказали, что Mail вводит плату за использование сторонних почтовых клиентов — в компании говорят, что это «эксперимент», который затронул менее 1%
19.02.2026 21:33:58 | vc.ru

Правительство отправляет дроны на замену инспекторам
19.02.2026 20:41:09 | it-world

Как скринридер «видит» сайт: DOM, accessibility tree и API простыми словами
19.02.2026 20:25:51 | Хабр

Распознавание изображений локальными LLM
19.02.2026 20:25:37 | Хабр

Kawai-Focus 2.3: логика приложения на TypeScript
19.02.2026 20:10:17 | Хабр

Научитесь слушать не жопой
19.02.2026 20:04:52 | Хабр

Без руля и педалей: Tesla собрала первый экземпляр Cybercab
19.02.2026 19:39:47 | ferra.ru

Охота за красным fps
19.02.2026 19:10:00 | Хабр

ФНС подала заявление о банкротстве майнинговой компании Bitriver
19.02.2026 19:03:34 | vc.ru

HackTheBox. Прохождение CrimeStoppers. Уровень — Сложный
19.02.2026 18:51:12 | Хабр

Очень большой аккумулятор в очень тонком смартфоне: Infinix Note Edge и его 6500 мАч
19.02.2026 18:38:04 | ferra.ru

Запуск модели gpt-oss на 20 и 120 миллиардов параметров, на процессоре Core I9 для решения непростой задачи без GPU
19.02.2026 18:36:28 | Хабр

Производитель Volga начнёт выпускать машины во втором квартале 2026 года, продавать — в третьем
19.02.2026 18:28:00 | vc.ru

[Перевод] Дрейф данных в машинном обучении
19.02.2026 17:49:24 | Хабр

Невышедший складной смартфон Honor Magic V6 заметили у олимпийской чемпионки
19.02.2026 17:39:45 | ferra.ru

Гайд-лонгрид: Как правильно читать User-Agent
19.02.2026 17:36:04 | Хабр

Объем тендеров на продукты с искусственным интеллектом достиг рекордных значений
19.02.2026 17:29:30 | it-world

Смотреть все

НОВОСТИ

Правительство распорядилось продать доли Wintershall из ФРГ в «Ачимгазе»
17.04.2026 00:58:59 | РБК

Xiaomi выпустила умную вытяжку, которой можно управлять взмахом руки: Xiaomi Mijia Smart Range Hood 3C Side Suction стоит 140 долларов
17.04.2026 00:58:00 | iXBT.com

Арестован гендиректор организации, эксплуатировавшей Геджухское водохранилище
17.04.2026 00:56:39 | Life.ru

Генсек ООН призвал соблюдать перемирие между Израилем и Ливаном
17.04.2026 00:51:32 | ТАСС

Загадочный кусок льда упал с неба и пробил крышу жилого дома
17.04.2026 00:49:03 | Lenta.ru

Трамп высказался о возобновлении ударов по Ирану
17.04.2026 00:49:00 | Lenta.ru

Посол Ярахмедов: Россия и Замбия рассчитывают подписать соглашение о безвизе
17.04.2026 00:48:41 | ТАСС

«Дочка» «Роснано» должна была наладить выпуск в России памяти MRAM, но завершила 2025 год с убытком более 200 млн рублей
17.04.2026 00:48:00 | iXBT.com

Сбежавший из части военный после задержания зарезал конвоира в Петербурге
17.04.2026 00:47:14 | Lenta.ru

Три страны подтвердили участие в ПМЭФ
17.04.2026 00:46:01 | Life.ru

В Николаеве после удара по ВСУ заметили грузовики с надписью «груз 200»
17.04.2026 00:45:33 | Lenta.ru

Забудьте про ядерку в космосе: чем Россия реально расправится со спутниками НАТО
17.04.2026 00:45:00 | Life.ru

Расчёты ПВО сбили три украинских дрона в Севастополе
17.04.2026 00:43:09 | Life.ru

Бывшего топ-менеджера «Роснано» Вахтерова арестовали по делу о мошенничестве
17.04.2026 00:40:38 | Life.ru

Xiaomi выпустила фен с датчиком расстояния до головы и автонастройкой температуры: Xiaomi Mijia High-Speed Water Ion Hair Dryer Pro оценили в 120 долларов
17.04.2026 00:39:00 | iXBT.com

В Верховной раде заявили, что Украина не готова к вступлению в ЕС
17.04.2026 00:38:57 | Life.ru

Сбежавший из части военнослужащий убил конвоира в Петербурге
17.04.2026 00:38:18 | Коммерсантъ

Кабмин одобрил продажу долей «Газовым технологиям» в бывших активах Wintershall
17.04.2026 00:37:25 | Ведомости

Reuters: США откладывают поставки оружия странам ЕС из-за операции в Иране
17.04.2026 00:37:16 | ТАСС

Zaycev.net заняло 1-е место в рейтинге музыкальных приложений в App Store
17.04.2026 00:36:32 | РБК

Захарова высмеяла предложение заменить русский мат украинским аналогом
17.04.2026 00:35:09 | Life.ru

Назван замедляющий возрастное ухудшение памяти у женщин фактор
17.04.2026 00:32:54 | Lenta.ru

Рютте: Бельгия выделила Украине 1,1 млрд евро военной помощи
17.04.2026 00:32:29 | Life.ru

Стармер: Британия выступает за открытие Ормуза без предварительных условий
17.04.2026 00:32:26 | ТАСС

В Москве стартовал шестой сезон всероссийского проекта "ТопБЛОГ"
17.04.2026 00:32:24 | ТАСС

ЦАХАЛ заявил, что атаковал 380 целей в Ливане за 24 часа до прекращения огня
17.04.2026 00:30:12 | ТАСС

Определились все полуфиналисты Лиги Европы
17.04.2026 00:29:54 | Lenta.ru

Раскрыты военные расходы Украины
17.04.2026 00:28:00 | Lenta.ru

В Петербурге покинувший часть военный убил конвоира после задержания
17.04.2026 00:27:17 | РБК

План «Ковёр» вводился в двух аэропортах Краснодарского края на час
17.04.2026 00:27:01 | Life.ru

«Это был отличный туалет»: командир миссии Artemis 2 ответил на критику туалета в космическом корабле Orion
17.04.2026 00:26:00 | iXBT.com

Минобрнауки анонсировало дополнительные требования к практике студентов-медиков
17.04.2026 00:24:18 | Life.ru

В Израиле заявили о вступлении в силу перемирия с Ливаном
17.04.2026 00:24:05 | Lenta.ru

В аэропортах Геленджика и Сочи сняли ограничения
17.04.2026 00:24:04 | ТАСС

Ефрейтор ВС РФ помог уничтожить склад ВСУ с трехдневным запасом боеприпасов
17.04.2026 00:22:51 | ТАСС

Все новости

ВСЕ НОВОСТИ

ПИШИТЕ

Техническая поддержка проекта ВсеТут

info@vsetut.pro

Copyright © 2026 - vsetut.pro