Операция выполнена!

info@vsetut.pro

Стать автором

Вернуться

Особенности Schema Evolution в Hadoop: как сделать alter table

20.02.2026 06:00:32 | Хабр

Хабы: Блог компании ИТ-холдинг Т1, IT-инфраструктура, Hadoop, Хранение данных

Привет, Хабр! Меня зовут Ольга Косарева, я инженер данных команды «Прогнозирование финансового результата» Центра разработки решений ALM в ИТ‑холдинге Т1, мы занимаемся созданием современной ALM‑системы (подробнее тут ).

Полтора года назад я пришла в команду и получила задачу дописать и внедрить инструмент для DDL‑операций над данными в экосистеме Hadoop. Моя первая реакция была: «А зачем так сложно? Какой инструмент? Почему нельзя просто выполнить команду ALTER TABLE через Hive?»

В этой статье мы с коллегами Никитой Королёвым и Алексеем Пожар расскажем, в каких случаях целесообразно именно так и сделать, а в каких это приведёт к различным проблемам с данными, что такое Schema Evolution и как мы решаем задачу периодического изменения структур таблиц с нашими отчётами.

Читать далее

Подробнее

Читайте также

[Перевод] Андрей Карпаты только что создал полноценный GPT на 243 строках Python
20.02.2026 05:56:38 | Хабр

System Design для QA: о чём вас спросят на собеседовании
20.02.2026 05:22:06 | Хабр

Почему IT-проекты жирные (опять)
20.02.2026 05:17:27 | Хабр

Prompt injection для смелых духом: от zero-click атаки на 1.4B устройств до философского джейлбрейка
20.02.2026 05:16:26 | Хабр

Рассуждения о страхах перед ИИ и какие причины могут лежать в их основе
20.02.2026 05:10:09 | Хабр

Технический разбор Greenwich: когда «полезное» расширение начинает видеть слишком много
20.02.2026 05:07:36 | Хабр

От гаданий к математике: Как PG_EXPECTO v.7 и DeepSeek превращают DBA-анализ из искусства в науку
20.02.2026 05:06:28 | Хабр

Как можно упростить исправление конфликтов в «git rebase»
20.02.2026 04:23:19 | Хабр

RAG Testing: как не сломать retrieval
20.02.2026 04:15:08 | Хабр

Доктор Джао
20.02.2026 04:06:56 | Хабр

Параллельная обработка Kafka сообщений с гарантией at-least-once в условиях медленного внешнего сервиса
20.02.2026 04:04:05 | Хабр

Лимит доверия: как ИИ решает, сколько денег вам можно дать (и почему это часто несправедливо)
20.02.2026 02:13:47 | Хабр

Строковые константы в MS SQL
19.02.2026 23:43:13 | Хабр

Концепт «Больцмановский Мозг» на квантово— волновой логике (QWL). Нейросеть. Численное моделирование
19.02.2026 23:12:34 | Хабр

Что жужжит над головой, куда исчезнут МФО и идеальный пинг Дмитрия Пескова
19.02.2026 22:45:18 | it-world

ИП и ООО за границей — налоги в РФ
19.02.2026 21:53:18 | Хабр

ИИ Google научился создавать музыку по текстовому описанию, но лишь на 30 секунд
19.02.2026 21:39:44 | ferra.ru

В Китае при поддержке правительства развивают конкурента Neuralink: компания NeuroXess провела 50 операций по имплантации нейроинтерфейсов
19.02.2026 21:38:58 | vc.ru

Пользователи рассказали, что Mail вводит плату за использование сторонних почтовых клиентов — в компании говорят, что это «эксперимент», который затронул менее 1%
19.02.2026 21:33:58 | vc.ru

Правительство отправляет дроны на замену инспекторам
19.02.2026 20:41:09 | it-world

Как скринридер «видит» сайт: DOM, accessibility tree и API простыми словами
19.02.2026 20:25:51 | Хабр

Распознавание изображений локальными LLM
19.02.2026 20:25:37 | Хабр

Kawai-Focus 2.3: логика приложения на TypeScript
19.02.2026 20:10:17 | Хабр

Научитесь слушать не жопой
19.02.2026 20:04:52 | Хабр

Без руля и педалей: Tesla собрала первый экземпляр Cybercab
19.02.2026 19:39:47 | ferra.ru

Охота за красным fps
19.02.2026 19:10:00 | Хабр

ФНС подала заявление о банкротстве майнинговой компании Bitriver
19.02.2026 19:03:34 | vc.ru

HackTheBox. Прохождение CrimeStoppers. Уровень — Сложный
19.02.2026 18:51:12 | Хабр

Очень большой аккумулятор в очень тонком смартфоне: Infinix Note Edge и его 6500 мАч
19.02.2026 18:38:04 | ferra.ru

Запуск модели gpt-oss на 20 и 120 миллиардов параметров, на процессоре Core I9 для решения непростой задачи без GPU
19.02.2026 18:36:28 | Хабр

Производитель Volga начнёт выпускать машины во втором квартале 2026 года, продавать — в третьем
19.02.2026 18:28:00 | vc.ru

[Перевод] Дрейф данных в машинном обучении
19.02.2026 17:49:24 | Хабр

Невышедший складной смартфон Honor Magic V6 заметили у олимпийской чемпионки
19.02.2026 17:39:45 | ferra.ru

Гайд-лонгрид: Как правильно читать User-Agent
19.02.2026 17:36:04 | Хабр

Объем тендеров на продукты с искусственным интеллектом достиг рекордных значений
19.02.2026 17:29:30 | it-world

Смотреть все

НОВОСТИ

В Италии уличили Запад в попытке прикрыть ядерный терроризм ВСУ
31.05.2026 22:01:34 | Life.ru

Число пострадавших от атаки дрона в Херсонской области выросло до 11
31.05.2026 21:59:45 | РБК

Медведев: окончательные итоги праймериз "Единой России" подведут 1 июня
31.05.2026 21:59:29 | ТАСС

Вольфович: Запад закладывает начало войны против России и Беларуси на 2030 год
31.05.2026 21:58:00 | Российская Газета

Поиски двух человек с перевернувшегося судна под Астраханью приостановили до утра
31.05.2026 21:57:18 | ТАСС

Атомщик рассказал об ударе ВСУ по машзалу ЗАЭС
31.05.2026 21:55:44 | Lenta.ru

Израиль взял под контроль крепость Бофор на юге Ливана
31.05.2026 21:55:00 | Российская Газета

«Насколько безумным можно быть?»: Вагенкнехт потребовала отправить Мерца в отставку и не дарить миллиарды Киеву
31.05.2026 21:54:01 | Life.ru

В Москве и Подмосковье на праймериз ЕР проголосовали более 1 млн человек
31.05.2026 21:53:47 | ТАСС

На президентских выборах в Колумбии, согласно соцопросам, лидирует Иван Сепеда
31.05.2026 21:53:00 | Российская Газета

В ЕС забили тревогу после решения суда в России по Euroclear
31.05.2026 21:52:00 | Lenta.ru

ВСУ ударили по рейсовому автобусу из Старобельска
31.05.2026 21:51:50 | Lenta.ru

В Брянской области при атаке ВСУ пострадал сотрудник скорой помощи
31.05.2026 21:51:19 | ТАСС

Россияне выиграли два «золота» на этапе Кубка мира по спортивной акробатике
31.05.2026 21:48:47 | Life.ru

Во время автогонки в Монце произошла массовая авария
31.05.2026 21:47:56 | ТАСС

Смолов потерял крупную сумму из-за ставки на Сафонова
31.05.2026 21:44:57 | Lenta.ru

Медведев призвал не прошедших праймериз ЕР кандидатов не расстраиваться
31.05.2026 21:44:57 | ТАСС

Балицкий: в Запорожской области создали серьезный запас медикаментов
31.05.2026 21:44:55 | ТАСС

Большая часть Запорожья осталась без света из-за аварии
31.05.2026 21:44:06 | РБК

CNN: Иран восстановил доступ к большинству ракетных объектов
31.05.2026 21:44:06 | Life.ru

Dalsan: пираты захватили танкер у берегов Сомали
31.05.2026 21:43:54 | ТАСС

Bild: жители Гамбурга проголосовали против проведения ОИ в городе
31.05.2026 21:43:08 | ТАСС

Bild: жители Гамбурга проголосовали против проведения Олимпиады в городе
31.05.2026 21:43:08 | ТАСС

Балицкий: тысячи детей из прифронтовых поселений Запорожья проведут лето в Крыму
31.05.2026 21:42:58 | ТАСС

Эпичные удары авиабомбами ФАБ-500 попали на видео
31.05.2026 21:41:00 | Lenta.ru

Мирра Андреева вышла в четвертьфинал «Ролан Гаррос»
31.05.2026 21:39:52 | Life.ru

Медведев отметил высокую конкуренцию на праймериз ЕР по выборам в Госдуму
31.05.2026 21:37:25 | ТАСС

После отравления в кафе Пятигорска в больнице остаётся 31 человек
31.05.2026 21:36:43 | Life.ru

Запорожская и Херсонская области частично обесточены из-за аварий
31.05.2026 21:35:35 | Life.ru

В Пермском крае в ДТП с грузовиком погибли женщина и трое детей
31.05.2026 21:33:44 | ТАСС

В Пермском крае на трассе столкнулись два автомобиля
31.05.2026 21:33:44 | ТАСС

В Италии раскритиковали новую выходку Украину
31.05.2026 21:33:39 | Lenta.ru

В Италии раскритиковали новую выходку Украины
31.05.2026 21:33:00 | Lenta.ru

Weltwoche: Беседа Лаврова и Рубио стала предупреждением Западу на высоком уровне
31.05.2026 21:31:00 | Российская Газета

Отключение света в Херсонской области произошло из-за атаки украинских БПЛА
31.05.2026 21:30:38 | ТАСС

Все новости

ВСЕ НОВОСТИ

ПИШИТЕ

Техническая поддержка проекта ВсеТут

info@vsetut.pro

Copyright © 2026 - vsetut.pro