Дмитрий Фатов — Ускоряем вставку данных в PostrgeSQL | Java Rock Star Meetup

Вставка и обновление данных в PostgreSQL — задача, которая часто испытывает систему на прочность. В докладе Дмитрий Фатов рассказал, как можно ускорить процесс — от пакетных инсертов до распараллеливания — и при этом сохранить атомарность операций. Немного инженерии, немного экспериментов и никаких компромиссов в надежности. 🗣 Спикер: Дмитрий Фатов, Руководитель разработки Газпромбанка. Тайм-коды: 00:00-02:30 Вступление 02:30-05:00 О чем доклад 05:00-06:50 Insert basic 06:50-07:58 Insert prepared statement 07:58-08:51 Statement vs Prepared Statement 08:51-10:52 Server Prepared Statements 10:52-12:29 Prepared statement multi row 12:29-13:43 Параметр reWriteBatchedInserts 13:43-14:25 Manual vs reWriteBatchedInserts 14:25-16:14 Insert select from unnest 16:14-17:18 Copy 17:18-18:42 Copy binary 18:42-19:07 Copy binary. BigDecimal 19:07-20:32 Copy binary: результат 20:32-21:19 Итого. Однопоточная вставка данных 21:19-21:51 Что, если сделать вставку многопоточной? Copy binary. Где время? 21:51-22:40 Copy binary. Что сделаем? 22:40-23:31 Copy binary concurrent 23:31-24:19 Как сохранить атомарность? Атомарность через флаг 24:19-25:02 Update - это быстро? Set read by transaction id 25:02-25:37 Как работает PostgreSQL? 25:37-26:20 Обновление индексного поля 26:20-27:40 HOT (Heap-Only Tuple)-обновления 27:40-28:55 Fillfactor для HOT-обновлений 28:55-29:37 Атомарная вставка с fillfactor = 50 29:37-30:45 А что, если вынести transaction id в отдельную таблицу? 30:45-31:52 Как сделать чтение только актуальных данных? 31:52-32:59 Насколько дополнительные условия влияют на TPS? Выборка 1 записи по id 32:59-33:38 Выборка 10к записей по order_dt 33:38-34:22 Итоги. Реализация атомарности 34:22-38:26 Реализация атомарности параллельных вставок на стороне PostgreSQL возможна? Prepare translation 38:26-38:59 Как насчет TPS? Выборка 1 записи по id 38:59-39:35 Выборка 10к записей по order_dt 39:35-40:11 Итоги Prepared Transaction 40:11-41:10 Итоги доклада 41:10-49:16 Сессия вопросов и ответов 😎💻 Ты java-разработчик? Пишешь на Java/Kotlin, Spring Boot? Тогда мы предлагаем тебе ознакомиться с лучшей java-платформой от Axiom JDK – https://axiomjdk.ru/axiomjdk-dev/ Заглядывайте на наш сайт и присоединяйтесь к нам в соцсетях! Сайт Axiom JDK – https://axiomjdk.ru/ Telegram – https://t.me/+aiQP5N2e1Uk0ZWQy VK – https://vk.com/axiomjdk Habr – https://habr.com/ru/companies/axiomjdk/profile/ #Java #AxiomJDK #OpenJDK #JVM #доклад #программирование #postresql #газпромбанк