Nodejs Scraper[parser] 🚀 - добавляем параллелизм (async/queue)

12+
12+

3 дня назад

ПожаловатьсяНарушение авторских прав
12+
12+

3 дня назад

ПожаловатьсяНарушение авторских прав
12+
12+

3 дня назад

Привет, друзья! в этом видео мы добавим параллельное выполнение запросов к нашему скраперу, который был написан в первом видео (ссылка ниже), и таким образом ускорим ускорим наш скрапер (в интернетах люди ищут parser node js или парсер на javascript, поэтому я тут это оставлю с вашего позволения). Будем использовать модуль async и его метод queue, он позволяет не только добавлять задания в очередь, но и указывать сколько именно таких заданий может выполняться одновременно (т.н. concurrency). Помимо этого мы немного доработаем работу puppeteer, а именно оптимизируем создание и закрытие браузера. Надуюсь видео вам понравится и у меня появятся новые подписчики, приятного просмотра! Ссылки: Первое видео, где я подробно все объясняю - https://www.youtube.com/watch?v=-SY5PP50aw0 Ссылка на документацию по модулю async - https://caolan.github.io/async/v3/ Ссылка на репозиторий с проектом - https://github.com/alexej3ajtsev/nodejs-scrapper

Название:

Nodejs Scraper[parser] 🚀 - добавляем параллелизм (async/queue)

Категория:

Разное