Nodejs Scraper[parser] 🚀 - добавляем параллелизм (async/queue)
Привет, друзья! в этом видео мы добавим параллельное выполнение запросов к нашему скраперу, который был написан в первом видео (ссылка ниже), и таким образом ускорим ускорим наш скрапер (в интернетах люди ищут parser node js или парсер на javascript, поэтому я тут это оставлю с вашего позволения). Будем использовать модуль async и его метод queue, он позволяет не только добавлять задания в очередь, но и указывать сколько именно таких заданий может выполняться одновременно (т.н. concurrency). Помимо этого мы немного доработаем работу puppeteer, а именно оптимизируем создание и закрытие браузера. Надуюсь видео вам понравится и у меня появятся новые подписчики, приятного просмотра! Ссылки: Первое видео, где я подробно все объясняю - https://www.youtube.com/watch?v=-SY5PP50aw0 Ссылка на документацию по модулю async - https://caolan.github.io/async/v3/ Ссылка на репозиторий с проектом - https://github.com/alexej3ajtsev/nodejs-scrapper
Название:
Nodejs Scraper[parser] 🚀 - добавляем параллелизм (async/queue)
Категория:
Разное