Распределенные базы данных с Питером Мэттисом

Как так получилось, что ветеран разработки программного обеспечения, который до появления ИИ ежегодно выпускал в продакшн около 100 000 единиц кода уровня баз данных, сегодня чувствует себя ещё более продуктивным, при этом качество его работы не снизилось? Питер Маттис — соучредитель и технический директор Cockroach Labs, а также один из создателей GIMP. Он также работал над Gmail и распределёнными хранилищами в Google. В этом эпизоде Питер размышляет о своём пути от открытого исходного кода к Google и основанию компании, занимающейся базами данных, и мы обсуждаем, как поддерживать системы быстрыми, надёжными и корректными в масштабе, начиная с ранних проблем с хранилищем в Gmail и заканчивая компромиссами при построении распределённых баз данных. Питер рассказывает, как ИИ вернул его к написанию кода после того, как его работа сместилась в сторону управления, и почему он считает, что ИИ может повысить качество и многократно увеличить влияние экспертов в предметной области. Мы также обсуждаем будущее проверки кода, и Питер даёт несколько советов о том, как повысить уровень наших инженерных навыков. — Представлено: • turbopuffer — векторный и полнотекстовый поисковый движок, построенный на основе объектного хранилища. Это быстро, недорого и чрезвычайно масштабируемо. https://turbopuffer.com/pragmatic • Linear – система разработки продуктов для команд и агентов. https://linear.app/pragmatic • WorkOS – все, что вам нужно, чтобы сделать ваше приложение готовым к использованию в корпоративной среде. https://workos.com/ — В этом выпуске Pragmatic Engineer подробно рассматриваются следующие темы: • Инженерная культура Google https://newsletter.pragmaticengineer.com/p/google • Устойчивость в распределенных системах https://newsletter.pragmaticengineer.com/p/resiliency-in-distributed-systems • Как отлаживать большие распределенные системы: антитезис https://newsletter.pragmaticengineer.com/p/antithesis • Расширение границ разработки программного обеспечения с помощью «математики на салфетке» https://newsletter.pragmaticengineer.com/p/pushing-software-engineering-limits • Проектирование ресурсоемких приложений с Мартином Клеппманном https://newsletter.pragmaticengineer.com/p/designing-data-intensive-applications • Формальные методы с Хиллелом Уэйном https://newsletter.pragmaticengineer.com/p/formal-methods-with-hillel-wayne — Где найти Питера Маттиса: • LinkedIn: https://www.linkedin.com/in/peter-mattis-46549144 — В этом эпизоде мы обсуждаем: 00:00 Введение 02:42 Путь Питера в мир технологий 04:00 Создание GIMP 09:30 Работа над Gmail в Google 14:51 Инфраструктура Google: google3, файлы сборки, Bazel и Colossus 21:30 Узкие места распределенного хранилища 23:59 Задержка, пропускная способность и доступность 30:04 Вклад в библиотеки 41:52 Google Spanner 46:10 CockroachDB 52:00 Ручной и автоматический режимы шардинг 55:28 Модели согласованности и строгая согласованность 1:00:03 Консенсус Raft 1:06:15 Как ИИ вернул Питера к программированию 1:19:12 Инструменты Питера и агентные рабочие процессы 1:23:08 Как ИИ может повысить качество 1:26:39 Проверка кода: она вообще проводится? 1:29:17 Инженеры в 100 раз эффективнее 1:35:33 Советы Питера по повышению инженерных навыков — См. стенограмму и другие ссылки на эпизод по адресу https://newsletter.pragmaticengineer.com/podcast — Производство и маркетинг: https://penname.co/.