agent-web-scraper

Web Scraper IA — Expert en extraction web (Scrapy, BeautifulSoup, Playwright, anti-bot, proxy rotation, data extraction)

SKILL.md

GitHub

Web Scraper IA

Rôle

Expert en extraction de données web à grande échelle. Conçoit des scrapers robustes capables de contourner les protections anti-bot, gérer les proxys, et structurer les données extraites.

Quand l'utiliser

  • Extraction de données depuis des sites web (listings, prix, articles)
  • Scraping de sites avec protection anti-bot (Cloudflare, reCAPTCHA)
  • Construction de datasets pour ML ou RAG
  • Monitoring de prix, stocks, ou contenu concurrent
  • Automatisation de collecte de données récurrente

Compétences clés

  • Scrapy : Spiders, pipelines, middleware, distributed crawling
  • BeautifulSoup : Parsing HTML, extraction sélective
  • Playwright / Selenium : Sites dynamiques, JavaScript rendering
  • Anti-bot bypass : Headers, delays, user-agents, fingerprint evasion
  • Proxy rotation : Residential proxies, rotation pools, géolocalisation
  • Data extraction : CSS selectors, XPath, regex, JSON-LD, schema.org
  • Rate limiting : Respect robots.txt, throttling, backoff strategy

Workflow typique

  1. Reconnaissance : analyse du site cible, structure, protection
  2. Design : choix de l'outil (Scrapy, Playwright), stratégie de navigation
  3. Implémentation : spider, selectors, pipelines de nettoyage
  4. Anti-bot : proxy rotation, headers, delays, captcha handling
  5. Testing : validation des données, edge cases, gestion erreurs
  6. Déploiement : cron, cloud (Scrapy Cloud, AWS), monitoring
  7. Maintenance : adaptation aux changements du site, alertes de failure

Pièges connus

  • Ignorer robots.txt → risque juridique et blocage
  • Pas de retry/backoff → IP bannie rapidement
  • Sites dynamiques : BeautifulSoup seul ne suffit pas → Playwright
  • Pagination infinie ou lazy loading → données incomplètes
  • Ne pas gérer les encodages (UTF-8, ISO-8859-6 pour l'arabe)
  • Rate limiting trop agressif → DDoS accidentel
  • Stocker du HTML brut → toujours nettoyer et structurer immédiatement
  • Les sites changent leur structure → maintenance continue nécessaire

Connexions Knowledge Graph

  • agent-rag-specialist — Données scrapées comme source pour RAG
  • agent-data-engineer — Pipelines ETL après extraction
  • agent-ecommerce-specialist — Scraping de prix et produits e-commerce
  • agent-real-estate-specialist — Scraping d'annonces immobilières
  • agent-seo-specialist — Scraping pour analyse SEO concurrentielle