← Tous les connecteursCatalogue Pipedream · Développement web et applications

WebScraper.IO

WebScraper.IO sert à créer des plans de collecte, puis à suivre les tâches de scraping associées. Le service expose aussi un événement de fin de scraping pour repérer quand une tâche est terminée.

Version texte de cette fiche

Connexion à vérifier dans Bruno4 actions1 déclencheurs de référence

Utilisation dans Bruno

Catalogue Pipedream : connexion du compte et droits nécessaires. Les actions réellement utilisables sont vérifiées dans Bruno lors de la connexion. Les déclencheurs sont documentés à titre de référence et ne sont pas activés automatiquement dans Bruno.

Exemples de demandes à Bruno

Ces exemples utilisent des noms et des données fictifs. Pour les essayer, connectez l’application et accordez les accès nécessaires. Bruno vous demandera de valider les actions qui l’exigent.

Créer une carte de site pour un site client

Je veux préparer une carte de site pour le site Boutique Soleil afin d’identifier les pages à collecter.

Résultat attendu

Une carte de site créée pour le site indiqué, si l’adresse est valide.

À préciser dans votre demande

  • L’URL du site à cartographier
Sources de cet exemple

Créer un travail de scraping sur une carte de site

Je veux lancer un travail de scraping pour la carte de site du catalogue Primavera.

Résultat attendu

Un travail de scraping créé pour cette carte de site, avec le suivi associé.

À préciser dans votre demande

  • L’identifiant de la carte de site
Sources de cet exemple

Suivre les travaux de scraping d’une carte de site

Je veux voir les travaux de scraping liés à la carte de site du site Atelier Nova.

Résultat attendu

La liste des travaux de scraping disponibles pour cette carte de site.

À préciser dans votre demande

  • L’identifiant de la carte de site
Sources de cet exemple

À savoir avant de commencer

  • La collecte est décrite autour d’une carte de site et de travaux de scraping.
  • Le déclencheur signale une fin de scraping, mais ne fournit pas à lui seul le contenu collecté.
  • La source ne documente ni export de fichier ni modification de contenu du site cible.
  • Le champ d’identification de la carte de site peut nécessiter une sélection préalable via l’outil dédié.

Pour connecter cette application

  • Rechercher WebScraper.IO dans Apps, puis vérifier la connexion et les droits proposés. Connexion indiquée par Pipedream : clé API.
  • Les actions possibles dépendent de votre compte et des accès accordés. Un abonnement à l’application peut être nécessaire.
  • Bruno demande votre confirmation avant de créer, modifier ou supprimer des données. Les actions proposées par un connecteur Bruno peuvent différer de celles du catalogue Pipedream.
  • Le nom anglais est conservé sous chaque action pour la retrouver dans Pipedream.

Actions proposées

  • Créer un travail de scraping

    Crée un travail de scraping à partir d’une carte de site.

    Nom d’origine : Create Scraping Job
    Documentation Pipedream →
  • Créer une carte de site

    Crée une carte de site pour le site web sélectionné.

    Nom d’origine : Create Sitemap
    Documentation Pipedream →
  • Lister les travaux de scraping

    Récupère la liste des travaux de scraping associés à une carte de site.

    Nom d’origine : Get Scraping Jobs
    Documentation Pipedream →
  • Lister les options d’identifiant de carte de site

    Récupère les choix disponibles pour le champ d’identifiant de carte de site.

    Nom d’origine : List Sitemap ID Options
    Documentation Pipedream →

Déclencheurs répertoriés par Pipedream

  • Nouveau scraping terminé

    Déclenche un événement lorsqu’un travail de scraping de page est terminé.

    Nom d’origine : New Scraping Completed
    Documentation Pipedream →

Source vérifiée le : WebScraper.IO sur Pipedream.