Открытый интернет после LLM и агентов. Лекция 1: Как устроены поиск, кроулинг и индексирование

Это первая часть курса «Открытый интернет после LLM и агентов. Как теперь устроен поиск в интернете для тех, кто в нём ищет и для тех, кто хочет, чтобы вас нашли». Полный курс доступен на платформе Seeeds: https://seeeds.md/lectures/openweb/ Мы много говорим про модели и агентов — и незаслуженно мало о том, как из-за ИИ меняется сам интернет. А он меняется на глазах: привычные поисковые индексы закрываются, на смену им приходят инструменты с другой, не всегда прозрачной архитектурой. Вырастает параллельный веб — веб для агентов, в котором мы впервые за двадцать лет перестали быть основным пользователем. Этот цикл — о том, как разобраться в переходе: от того, как веб-поиск был устроен раньше, до того, что агенты теперь делают в вебе, — и что из этого следует для инструментов, рабочих сборок и SEO. Смотреть можно в любом порядке и добирать объяснения там, где непонятно. Задача цикла — дать долговременный фундамент и ментальные модели, соединив теорию с практикой.