Tuto : scraping d'extension chrome 🔥

Hello la team,

Cette semaine, je vous propose l’exploration d’une méthode de scraping peu connue: Celle des extensions Chrome pour découvrir l’adresse mail d’un profil LinkedIn.

AU MENU :

• Enjeux : Pourquoi le scraping d’extensions est un game changer

• Pas à pas : Entraînez-vous avec moi

• Bonus : Le blueprint est disponible

Bonne lecture !

TUTO
Scraper une extension chrome

Pourquoi apprendre le scraping ?

Lorsque j’ai débuté le consulting en growth hacking, apprendre le scraping a été l’une de mes meilleures décisions.

Cela m’a poussé à comprendre divers concepts du développement web tels que les API, le frontend, le backend, le scripting, ... Ces compétences m’ont permis de mener à bien des expérimentations et de surmonter des défis où beaucoup échouent.

Je vous propose donc une initiation à cette compétence, qui vous servira de future boîte à outils pour résoudre des challenges.

Thinking out of the box

Prenons l'exemple d'un défi rencontré par une équipe marketing qui dispose d'une liste de profils LinkedIn et cherche à obtenir leurs adresses email, sans disposer de budget pour des outils comme Dropcontact, Phantombuster, …

Beaucoup classeraient ce défi comme impossible. Je vous montrerai comment exploiter des concepts informatiques, le scraping et des outils no-code pour que cela ne soit pas un problème pour vous.

Selon votre niveau de maîtrise des concepts informatiques et d’automatisation, ce tuto sera plus ou moins facile à suivre. Une liste de ressources complémentaires est disponible dans la dernière section pour vous aider.

Pourquoi scraper les extensions ?

Les éditeurs mettent beaucoup d'efforts pour empêcher le scraping dans les applications web, mais beaucoup moins dans les extensions Chrome et les applications mobiles.

Nous exploiterons cette faiblesse pour atteindre notre objectif.

• Scraper une application mobile nécessite une installation complexe sur votre ordinateur et une maîtrise des langages de programmation.

• Les extensions, en revanche peuvent être manipulées avec des outils no-code pour des résultats équivalents.

Nous allons donc détailler cette seconde méthode.

Quels sont les enjeux où vous pourrez vous positionner ?

Comprendre comment interagir avec une extension vous permettra de :

• Contourner les blocages anti-scraping

• Réduire le coût de vos outils

• Passer à l’échelle votre scraping

• Améliorer la sécurité de votre application

Voici les compétences que vous développerez :

• Lire les requêtes

• Configurer un call API

• Effectuer des tests

• Formater les données pour dialoguer avec une extension

• Construire un workflow d’automatisation complet

Les outils à installer avant de démarrer :

• Insomnia

• L’extension Apollo

• Créer un compte sur make.com

Sommaire du tuto

Introduction

• Comparaison entre le scraping classique et d’une extension chrome.

Explication du fonctionnement du protocole HTTP 

• Comprendre comment les navigateurs et serveurs communiquent via HTTP.

• Utilisation de la console pour analyser l’activité du serveur.

Introduction d'Insomnia pour créer des requêtes sans navigateur

• Comment transférer des informations du navigateur vers Insomnia.

• Tester la connexion avec le serveur Apollo en envoyant une requête.

Intégration des éléments d'Insomnia dans le module HTTP de Make

• Configurer l’automatisation du scraping dans Make.

• Récapitulatif du workflow.

Les limitations de cette méthode :

Le workflow présenté prend en charge l’envoi de 80 enregistrements à Apollo. Si vous souhaitez augmenter cette capacité, il faudra créer une étape supplémentaire pour traiter les envois par batchs de 80 requêtes afin d’éviter une erreur.

N’oubliez pas de mettre à jour votre cookie si vous vous engagez dans une démarche à long terme.

Bonus 🎁 :

Le blueprint Make est disponible ici pour que vous puissiez directement charger le workflow dans votre espace Make.

Bonus
Ressources complémentaires 

1- RapidAPI : Un cours interactif sur les APIs

2- Recruitin : Outil en ligne pour trouver des URLs LinkedIn sans passer par LinkedIn

3- Post LinkedIn : Connaitre la délivrabilité d’un mail dans Google Sheets

4- Make Academy : Apprendre Make