Hustle & Growth

Salut à tous, je cherche à scraper des données sur des sites dynamiques (JavaScript heavy). J’ai essayé avec BeautifulSoup, mais ça ne marche pas bien. Des recommandations ?

Hello, pour les sites dynamiques, il faut utiliser des outils comme Puppeteer ou Selenium. Ils permettent de simuler un navigateur et de charger le contenu JS. J’utilise Puppeteer perso, et ça marche nickel.

Pareil ici, Selenium est top, surtout si tu veux automatiser des tâches complexes. Par contre, c’est un peu plus lent que Puppeteer. Si la vitesse est importante pour toi, va sur Puppeteer.

J’ajouterais que Scrapy avec Splash peut aussi être une solution. C’est moins connu, mais très efficace pour le scraping dynamique. Par contre, ça demande un peu plus de config.

Pour ceux qui cherchent une solution toute faite, j’ai entendu parler de ScrapingBee. C’est une API payante, mais ça simplifie vraiment la vie pour les sites JS.