01. Предпосылки оптимизации SQL. SQL Optimization Background

12+
12+

3 просмотра

4 дня назад

ПожаловатьсяНарушение авторских прав
12+
12+

3 просмотра

4 дня назад

ПожаловатьсяНарушение авторских прав
12+
12+

3 просмотра

4 дня назад

Предпосылки оптимизации SQL. SQL Optimization Background Это видео — лекция «SQL Optimization Background (CMU Optimize!)», которая представляет собой вводное занятие специального курса по оптимизации запросов в системах баз данных в Университете Карнеги‑Меллон. Цель курса — научить студентов создавать оптимизатор запросов с нуля или модифицировать существующий. Что будут изучать студенты В ходе курса рассмотрят: -﹥современные методы и способы внедрения оптимизатора запросов; -﹥базовые материалы для оптимизаторов запросов, включая оригинальную работу IBM 1979 года; -﹥современную практику и ограничения в области оптимизации; -﹥алгоритмы и техники машинного обучения, которые ускоряют работу баз данных; -﹥особенности работы популярных систем (Snowflake, Databricks, Oracle и других). Подходы к оптимизации Особое внимание уделят двум подходам к построению оптимизатора: «снизу вверх» — начинают с пустого плана и постепенно добавляют операторы, а также «сверху вниз» — стартуют с желаемого результата и пошагово добавляют необходимые операторы. Разберут их преимущества и недостатки, а также способы расчёта затрат и оценки эффективности алгоритмов. Плэйлист: https://rutube.ru/plst/1911137 14 янв. 2025 г. CARNEGIE MELLON UNIVERSITY Andy Pavlo (https://www.cs.cmu.edu/~pavlo/) Slides: 15-799 Special Topics in Database: Query Optimization (Spring 2025) Carnegie Mellon University https://15799.courses.cs.cmu.edu/spring2025/ YouTube: https://www.youtube.com/@CMUDatabaseGroup YouTube Playlist: https://youtube.com/playlist?list=PLSE8ODhjZXjYCZfIbmEWH7f6MnYqyPwCE&si=2YncIrR6SGsjwwGm Таймкоды: Конечно! Вот таймкоды для публикации видео на RuTube — с краткими заголовками и временными метками: 00:00:00 — Вступление и цель курса Знакомство с курсом по оптимизации запросов в системах баз данных (CMU Optimize!). Цель: научиться создавать или модифицировать оптимизатор запросов. Акцент на корректность кода и важность документирования. 00:01:17 — Значимость оптимизации запросов Рост инвестиций в базы данных. Оптимизация запросов как ключевой фактор отличия систем (на примере Snowflake). Нерешённость проблемы оптимизации и её актуальность для промышленности. 00:03:47 — Требования к студентам и содержание курса Предпосылка: знание основ систем баз данных. Темы: SQL, реляционная алгебра, модели хранения и обработки данных. Краткий взгляд на использование методов машинного обучения для ускорения работы БД. 00:04:44 — Логистика и академическая честность Веб‑сайт курса и программа. Правила академической честности, в т.ч. использование ИИ. Рабочие часы преподавателя и возможность индивидуальных встреч. 00:05:42 — Оценка и задания Компоненты оценки: чтение, рецензии, конспекты лекций, проекты, итоговый экзамен. Список литературы для каждой лекции; «коронованный» источник — ключевой материал. Возможность пропустить одну рецензию за семестр. 00:10:15 — Проекты и итоговый экзамен Проект 1: работа с существующим оптимизатором запросов как с сервисом (например, Calcite). Проект 2: групповой проект на половину семестра. Этапы: предложение темы после весенних каникул, обновление статуса через месяц, презентация на неделе экзаменов. 00:15:25 — Семинары и дополнительные темы Серия семинаров по оптимизации запросов и альтернативам SQL (с февраля). Примеры альтернатив: Pipe SQL (Google), Molloy и другие. Выступления представителей MariaDB и других специалистов. 00:17:26 — Основы работы оптимизатора запросов Декларативный характер SQL: пользователь задаёт «что», а не «как». Задача оптимизатора: найти наиболее эффективный план выполнения запроса. «Стоимость» плана — внутренний показатель системы (не реальное время). Пример: преобразование SQL‑запроса в реляционную алгебру, выбор алгоритма соединения. 00:24:30 — Преимущества модели векторизации Сокращение объёма ввода‑вывода вдвое за счёт передачи данных в виде вектора кортежей (без записи на диск). Влияние выбора физического оператора и стратегии выполнения на объём iOS. Значение правильного определения внутренней и внешней таблиц при объединении. 00:26:38 — Общая архитектура системы баз данных Конвейер обработки запросов: от пользовательского кода (JavaScript, PHP, Python) до выполнения SQL. Синтаксический анализатор: разбор SQL‑запроса на токены. Связующее устройство: сопоставление токенов с реальными объектами БД. 00:27:33 — Системный каталог и связующее устройство 00:28:32 — Роль оптимизатора запросов и модели затрат 00:30:05 — Преобразование логического плана в физический 00:34:36 — План изучения оптимизатора запросов 00:36:26 — Подходы к созданию оптимизатора запросов 00:40:12 — Алгоритмы поиска и оптимизация . 00:41:50 — Целевая функция и модель затрат 00:44:11 — Оптимизация нескольких запросов (MQO) 00:46:03 — Важность выбора плана запросов 00:46:58 — Ограничения оптимизатора запросов 00:52:19 — Планы на следующее занятие .

Название:

01. Предпосылки оптимизации SQL. SQL Optimization Background