Airflow: XCOMs (Как работают данные: практические кейсы) #5
Это пятое видео из серии про Airflow. Сегодня на повестке дня – **Airflow**! И конкретно – **XCom**. Нет-нет, пока не та культовая серия тактических игр, где мы спасаем Землю от пришельцев (о ней, возможно, когда-нибудь расскажу, в своей юности принесла не мало радостных моментов). Речь о **XCom (Cross-Communication) в Airflow** – это такой встроенный "мессенджер" для задач внутри DAG'а! Как одна задача может шепнуть другой: "Эй, нужен результат моей работы, держи!"? Именно об этом механизме обмена данными и рассказал в новом видео! Материалы по видео (используемая реализация xcoms): https://github.com/MaratNotes/marat_notes/tree/master/how_data_works-practice_cases/airflow_xcom Подписывайтесь на телеграмм: Telegram https://t.me/marat_notes Видео из цикла - Как работают данные: практические кейсы. Если Вы когда-нибудь задумывались или хотите узнать как данные перемещаются внутри реальных продуктов, как строятся пайплайны, отслеживается их состояние и обеспечивается надёжная передача информации между системами - то этот цикл видео для Вас! Этот курс — гид в мир современных data-технологий. Я не буду просто теоретизировать, в результате мы вместе построим настоящую инфраструктуру обработки данных с нуля. - - - 00:00 Приветственное слово 00:18 XCOM :D 00:31 XCOMs в Airflow 02:40 TaskInstance 05:34 Реализуем даг с использованием XCOMs 16:11 Заключительное слово #DataEngineering #ApacheAirflow #ETL #TechTutorial #DataInfrastructure #HandsOnTutorial #YoutubeEducation
Название:
Airflow: XCOMs (Как работают данные: практические кейсы) #5
Категория:
Разное