Антипаттерны в Apache Spark

Сергей Гришаев (Сбермаркет) показал, как оптимизировать скорость обработки данных в Apache Spark с помощью неявных антипаттернов: - Использование оконных функций, приводящих к Exchange SinglePartition - Нарушение консистентности при использовании Partial Caching - Обработка null значений в Scala UDF - Повторный вызов Scala UDF при использовании сложных типов данных - Снижение параллелизма при использовании coalesce Наша программа Apache Spark Advanced: как ускорить обработку данных и писать кастомные коннекторы https://newprolab.com/spark-advanced Наш телеграм-канал https://t.me/newprolab_news