Une équipe de recherche peut recueillir deux observations plausibles d’un même produit et malgré tout mal interpréter le marché. Un analyste voit une promotion régionale ; un autre, non. Les deux relevés peuvent être exacts pour leurs sessions respectives, mais aucun ne permet d’établir ce que voient les acheteurs sur le marché cible.
Les proxies pour les études de marché permettent aux chercheurs d’observer les prix, les publicités, les résultats de recherche et les pages de produits depuis un lieu et un réseau choisis. Le compromis pratique, c’est qu’un plus grand nombre de requêtes ne produit pas nécessairement de meilleures données : des vérifications répétées ou mal ciblées peuvent fausser l’échantillon et accroître les risques liés à la conformité. Une configuration de proxy bien conçue privilégie la représentativité des observations par rapport au marché, même si cela implique de recueillir moins de données et d’envoyer moins de requêtes.
Pourquoi les équipes d’études de marché utilisent des proxies
Une page produit peut proposer une livraison dans une zone postale, mais refuser la même commande depuis une autre. Pour une équipe de recherche qui évalue l’accès au marché, cette différence peut déterminer si un produit est disponible pour les acheteurs locaux, et pas seulement ce que la page affiche.
Un proxy relaie une requête afin que le site cible voie une adresse IP associée à un autre lieu et réseau. Cela peut aider les analystes à examiner les prix, la disponibilité des produits, la publicité et les résultats de recherche depuis un marché donné. Pour une collecte structurée de renseignements concurrentiels, l’objectif est d’obtenir des données sur le marché, pas seulement de réussir à charger une page.
Les équipes de recherche utilisent depuis longtemps des échantillons pour estimer des tendances générales. Les panels de consommateurs suivent un groupe sélectionné de ménages au fil du temps, et l’histoire du secteur des panels de consommateurs aux États-Unis retrace l’évolution de cette méthode. Les jeux de données modernes issus de cette tradition suivent les achats d’environ 40 000 à 60 000 ménages américains, avec des données longitudinales disponibles depuis 2004.
La même rigueur s’applique aux études réalisées avec des proxies : il faut recueillir les observations de manière systématique, répétée et en les étalonnant par rapport à la population étudiée. Une page récupérée via un proxy reste un échantillon, influencé par le lieu, le réseau et d’autres signaux susceptibles d’être utilisés par le site. Si ces conditions ne correspondent pas à la question de recherche, une requête qui aboutit peut tout de même produire des données trompeuses. Une conception rigoureuse définit à l’avance le lieu et le périmètre de l’échantillon requis, puis limite la collecte aux données utiles pour répondre à la question. Il faut donc évaluer les proxies selon leur capacité à produire des résultats qui éclairent des décisions valides, et non selon le seul volume de requêtes.
Comparaison des proxies mobiles, résidentiels et de centre de données
Commencez par l’origine du réseau, car c’est le premier élément évalué par un site cible. Les proxies mobiles utilisent des adresses attribuées par les opérateurs 4G, LTE et 5G. Les proxies résidentiels utilisent des plages d’adresses de FAI grand public, tandis que les proxies de centre de données utilisent des plages d’adresses de fournisseurs d’hébergement.
Comparaison des types de proxy pour les études de marché
| Type de proxy | Origine de l’adresse IP | Perception habituelle par les sites cibles | Études les mieux adaptées | Principal compromis |
|---|---|---|---|---|
| Mobile 4G/5G | Réseaux d’opérateurs, généralement derrière un NAT de niveau opérateur | Ressemble au trafic ordinaire d’un téléphone sur un ASN d’opérateur ; une même IP est partagée par de nombreux abonnés | Veille sur les réseaux sociaux, contrôle qualité du Web mobile, vérification des publicités dans les fils d’actualité mobiles | La vitesse et le renouvellement des IP dépendent des conditions de l’opérateur ; généralement plus coûteux |
| Résidentiel | Plage d’adresses d’un FAI grand public | Ressemble à une connexion Internet résidentielle ; la réputation varie selon le pool | Suivi des prix et des catalogues, vérification des contenus à l’échelle d’un pays | La qualité dépend du pool, il faut donc vérifier sa provenance |
| Centre de données | Plage d’adresses d’un fournisseur d’hébergement | Reconnaissable par son ASN d’hébergement ; plus souvent soumis à des limites de débit ou à des blocages, ou reçoit un contenu modifié | Vérifications à grande échelle de pages publiques autorisant l’accès automatisé ; tests où la vitesse est déterminante | Moins fiable aux yeux de nombreuses plateformes ; prévoyez davantage de blocages |
Pourquoi le trafic mobile est différent
Le NAT de niveau opérateur, ou CGN, permet à un opérateur mobile de placer de nombreux abonnés derrière une couche de traduction d’adresses, afin qu’ils partagent une adresse publique. Une seule IP peut donc représenter de nombreux téléphones réels à la fois. La RFC 6598 sur l’espace d’adressage partagé réserve 100.64.0.0/10 aux réseaux des fournisseurs de services qui relient les équipements des clients aux appareils CGN ; cette plage n’est pas routable à l’échelle mondiale.
Cette configuration explique pourquoi les IP mobiles sont plus difficiles à signaler. Le trafic ressemble à une utilisation ordinaire d’un téléphone, l’ASN, le numéro de système autonome qui identifie l’opérateur réseau, appartient à un opérateur mobile, et le blocage d’une adresse partagée risque de toucher de nombreux utilisateurs légitimes. C’est pourquoi les plateformes ont tendance à faire preuve de prudence. Cela ne garantit ni l’accès ni l’anonymat, et la réputation d’une IP doit toujours être interprétée en tenant compte de l’ASN, de l’opérateur, de la zone géographique et du comportement de la session.
Le trafic de centre de données se situe à l’autre extrémité du spectre. Un ASN d’hébergement est facile à reconnaître ; les requêtes sont donc plus souvent soumises à des limites de débit ou à des blocages, ou reçoivent sans avertissement un contenu modifié. Le trafic résidentiel se situe entre les deux. Il ressemble à une connexion Internet résidentielle, mais sa qualité dépend fortement de la manière dont le pool a été constitué et entretenu.
Règle pratique : commencez par le type de proxy le moins cher qui passe vos vérifications de validation, puis passez à une option supérieure uniquement si les données montrent que c’est nécessaire.
Adaptez le type de proxy à la tâche au lieu d’acheter un seul pool pour tout faire. Utilisez des proxies mobiles pour la veille sur les réseaux sociaux et le contrôle qualité du Web mobile, lorsque l’expérience sur téléphone est l’objet de l’étude. Utilisez des proxies résidentiels pour le suivi des catalogues et les vérifications par pays. Utilisez des proxies de centre de données pour les tâches à grande échelle sur des pages publiques, lorsque la vitesse et le coût sont prioritaires et que l’accès automatisé est autorisé. Un mauvais choix dans un sens comme dans l’autre a un coût : financier ou lié à une altération silencieuse des données.
Précision du ciblage géographique selon la question de recherche
Vérifier ce qu’un site affiche dans un pays n’est pas la même chose qu’estimer la demande dans ce pays. C’est confondre ces deux objectifs qui fait échouer bon nombre d’études basées sur des proxies. Les proxies sont adaptés au premier objectif et, à eux seuls, peu adaptés au second.
Le ciblage géographique désigne la diffusion par un site Web ou une plateforme de contenus selon le lieu où le visiteur semble se trouver. La géolocalisation par IP est une estimation de l’emplacement d’une adresse. Ni l’une ni l’autre ne correspond à la véritable localisation d’un client, et l’écart est plus important sur les réseaux mobiles.
Les recherches synthétisées par l’Internet Society indiquent des erreurs médianes de géolocalisation mobile d’environ 179 à 207 km chez les fournisseurs testés, avec des taux d’échec supérieurs à 50 % dans certaines régions d’Afrique et d’Asie et inférieurs à 20 % en Europe, selon l’analyse de l’Internet Society sur la géolocalisation des IP mobiles. Le NAT des opérateurs, les passerelles centralisées et le routage dynamique peuvent faire apparaître l’adresse IP publique d’un téléphone loin de l’appareil lui-même. La géolocalisation du haut débit fixe est nettement plus fiable.
Précision géographique nécessaire selon la question de recherche
| Question de recherche | Précision requise | Configuration du proxy | Comment valider |
|---|---|---|---|
| Vérification des prix ou de la devise d’un pays | Pays | IP résidentielle ou mobile dans le pays cible | Comparer la devise affichée et les lignes de taxes avec une navigation manuelle depuis le même pays |
| Disponibilité régionale ou admissibilité à la livraison | Région ou code postal, vérifié plutôt que supposé | IP mobile sur un opérateur cible, si disponible | Répéter les tests avec plusieurs IP et sessions ; consigner les variations |
| Estimation de la demande locale dans une ville | À l’échelle de la ville ; la géolocalisation par IP seule n’est pas assez fiable | Utiliser des proxies pour tester uniquement le contenu ; combiner avec des données de première partie ou de panel | Validation indépendante ; communiquer une plage d’incertitude |
| Vérification de la diffusion d’annonces sur un marché | Pays, parfois région | IP mobile ou résidentielle sur le marché | Comparer la création et l’emplacement diffusés avec les rapports de diffusion de la plateforme, lorsqu’ils sont disponibles |
| Assurance qualité des variantes linguistiques ou régionales | Pays et langue | Toute IP dans le pays | Vérifier la langue de la page, les paramètres régionaux et la devise à chaque exécution |
Les vérifications à l’échelle d’un pays pour la devise, la langue, les règles d’admissibilité et les promotions sont généralement assez fiables pour vérifier le contenu et les prix. Les conclusions à l’échelle d’une ville nécessitent une validation indépendante avant publication. Le choix entre les proxies géociblés à l’échelle d’un pays, d’une région ou d’un opérateur doit dépendre de l’affirmation que vous comptez faire, et non de l’option la plus précise proposée.
Validez les résultats à l’aide d’une procédure fixe. Effectuez plusieurs tests avec différentes IP et réseaux d’accès. Comparez les métadonnées de localisation renvoyées avec celles de points de terminaison connus, et consignez les variations selon l’opérateur et la session. Déterminez le niveau de précision avant l’achat afin que la configuration corresponde à l’affirmation que vous prévoyez de défendre par la suite.
Fonctionnalités de proxy qui valent leur prix
Choisissez les fonctionnalités de proxy en fonction de leur effet sur la validité de la recherche. La précision géographique et le contrôle des sessions déterminent les pages de marché et les prix que vous pouvez observer, tandis que la qualité du pool influe sur la fréquence à laquelle vous rencontrez des IP réutilisées ou signalées. Pour les recherches axées sur le texte, la bande passante peut être moins prioritaire que ces contrôles.
Les sessions persistantes et la rotation répondent à des besoins de collecte différents. La rotation change l’IP sortante entre les tâches distinctes. Une session persistante conserve une même identité pendant une durée déterminée, ce qui aide à préserver les cookies, les filtres, les paniers et les processus en plusieurs étapes. Les cookies HTTP relient les requêtes à l’état côté serveur. Conservez une seule identité tout au long d’un processus autorisé, puis changez d’identité entre les processus indépendants pour éviter de mélanger leur état.
Fonctionnalités de proxy et points à vérifier pour chacune
| Fonctionnalité | Ce qu’elle contrôle | Points à vérifier |
|---|---|---|
| Taille du pool d’IP | Le nombre d’IP et de sous-réseaux distincts auxquels vous avez accès | Le nombre d’IP uniques par pays cible et le caractère partagé ou non du pool |
| Rotation | La fréquence de changement de l’IP de sortie | Changements fixes, temporisés ou à la demande, ainsi que les paramètres d’intervalle |
| Sessions persistantes | La durée pendant laquelle une IP conserve les cookies et l’état de connexion | La durée maximale d’une session par rapport à la durée d’un processus |
| Score de fiabilité | La probabilité qu’une IP soit déjà signalée | La méthode déclarée par le fournisseur et un test sur une page connue |
| Bande passante | La quantité de données que vous pouvez transférer par mois | Le plafond mensuel par rapport au poids moyen des pages multiplié par le nombre de pages par exécution |
| Couverture géographique | Les pays et opérateurs que vous pouvez cibler | Les pays proposés et la disponibilité d’opérateurs mobiles spécifiques |
Considérez un score de fiabilité comme une affirmation du fournisseur à vérifier lors de vos propres tests. Demandez comment il est mesuré, puis comparez le résultat obtenu sur une page connue avec celui d’une navigation ordinaire. Un grand pool peut réduire la réutilisation des IP, mais ne permet pas de savoir si les adresses de votre marché cible sont adaptées. Demandez le nombre d’adresses par pays et évaluez les pages auxquelles votre recherche doit accéder.
Estimez la bande passante avant de vous engager. Multipliez le poids moyen des pages par le nombre de pages par exécution et le nombre d’exécutions par mois, puis comparez l’estimation au plafond. Les recherches de catalogues riches en images peuvent consommer beaucoup plus de données que la collecte de textes de prix seuls ; adaptez donc le forfait aux pages que vous prévoyez de récupérer.
Utilisez le tableau pour obtenir des réponses précises du fournisseur : emplacements disponibles, limites de session, paramètres de rotation, composition du pool et conditions de bande passante. Évaluez ensuite séparément la légitimité de la collecte. Concevez votre approche en fonction des accès autorisés et de la question de recherche ; éviter les requêtes inutiles peut améliorer la validité en réduisant les changements d’état et les artefacts de collecte. Une connexion réussie ne suffit pas à établir que les résultats observés représentent le marché.
Comment mettre en place un processus de recherche reposant sur des proxies
Une collecte peut renvoyer des pages sans erreur tout en donnant une image inexacte du marché. Définissez le processus en fonction de la population à mesurer, puis vérifiez si l’échantillon collecté étaye l’affirmation que vous comptez formuler. En pratique, un nombre réduit de requêtes assorti d’une règle d’échantillonnage claire peut produire des résultats plus défendables qu’une collecte vaste et non structurée.
Les huit étapes
Définissez la question et la population. Précisez quelles annonces, quels prix ou quels posts font partie du marché que vous mesurez. Cette délimitation détermine la manière dont vous évaluez la couverture et les conclusions que l’échantillon peut étayer.
Choisissez le type de proxy et le niveau de précision géographique. Adaptez la configuration à la question de recherche. Une comparaison des prix à l’échelle d’un pays et une estimation de la demande à l’échelle d’une ville nécessitent des niveaux de précision géographique différents.
Sélectionnez le protocole. Les clients Web standards peuvent utiliser un proxy HTTP ou HTTPS, les requêtes HTTPS étant transmises via la méthode CONNECT. Choisissez SOCKS5 si votre configuration de collecte nécessite un tunnel plus général orienté TCP. Mozilla les présente comme des types de proxy distincts, SOCKS fonctionnant à un niveau inférieur à HTTP.
Testez la connexion avant la collecte. Sur une page connue, vérifiez l’IP publique apparente, l’ASN, le pays, le comportement DNS, TLS et la compatibilité du navigateur, l’authentification et les réponses d’erreur. Résolvez les problèmes d’identité avant une collecte complète.
Utilisez des sessions persistantes au sein d’un processus et des identités distinctes entre les tâches. Conservez la même session pour une vérification de produit, du chargement de la page aux filtres et à la disponibilité. Attribuez des identités distinctes aux tâches indépendantes afin que les cookies et les autres éléments d’état ne soient pas partagés entre elles.
Consignez les requêtes et fixez une limite de fréquence. Enregistrez l’horodatage de chaque requête, le point de terminaison, l’IP observée, l’ASN, le pays, le code de réponse et l’ID de session. Dédupliquez les annonces entre les exécutions et limitez le volume de requêtes.
Comparez les résultats avec une navigation ordinaire. Testez un échantillon contrôlé de pages connues à partir d’une session humaine. Suivez la couverture par pays et par appareil, ainsi que les taux de pages bloquées, de CAPTCHA et de doublons. Vérifiez si la configuration modifie les annonces incluses dans l’échantillon, et pas seulement le nombre de pages chargées.
Signalez l’incertitude. Distinguez les nombres observés des totaux extrapolés et indiquez les limites de couverture. Un processus de collecte fonctionnel ne suffit pas, à lui seul, à établir que le jeu de données représente le marché.
La validation est importante, car les lacunes de collecte peuvent fausser les estimations. Dans une étude USENIX Security comparant des extractions de places de marché à une base de données de back-end saisie, les extractions ont manqué environ 46 % des objets. Les annonces capturées et non capturées différaient également de manière significative en matière de prix, de vues et de catégorie de produit. Les estimations fondées sur les avis et les données des annonces sous-estimaient le chiffre d’affaires total d’un facteur quatre.
Dans cette étude, la fréquence de collecte avait une incidence sur la couverture : une ou deux extractions ne couvraient généralement qu’environ 14 % à 30 % de la population sous-jacente. Répétez la collecte si la question l’exige, conservez les horodatages et segmentez les résultats selon la popularité, la catégorie et l’activité des vendeurs. Avant toute extrapolation, comparez l’échantillon à un total connu.
Trois scénarios de recherche détaillés
Une équipe du secteur de la vente au détail suit les prix du catalogue d’un concurrent en France. Elle choisit des IP résidentielles en France, car la question porte sur les prix à l’échelle nationale, conserve une session persistante par liste de catégories pour que les filtres restent cohérents et échantillonne d’abord les annonces populaires, car une collecte sans limite entraîne une couverture biaisée. Elle peut indiquer les prix affichés en France pour les catégories échantillonnées. Elle ne peut pas prétendre établir un indice national des prix.
Une acheteuse média vérifie une campagne PPC en Belgique. Elle utilise des IP mobiles 4G d’un opérateur local pour voir la publicité comme le ferait un utilisateur de téléphone, en vérifiant à chaque test le placement, la localisation de la page de destination et la devise, puis compare ce qui a été diffusé aux rapports de diffusion de la plateforme. Elle peut confirmer que la création publicitaire a été diffusée en Belgique sur cet opérateur. Elle ne peut pas dire combien de consommateurs belges l’ont vue.
Une équipe de marque examine les mentions dans les fils d’actualité mobiles d’un marché à l’aide de comptes qu’elle est autorisée à utiliser. Elle attribue une identité à chaque flux de travail, maintient des taux de requêtes modérés et tient une liste écrite des fils d’actualité vérifiés. Elle peut décrire le sentiment dans les fils d’actualité examinés. Elle ne peut pas décrire l’ensemble des conversations sur le marché.
Vérifiez la conformité avant de déployer votre projet pilote à grande échelle
Avant de collecter des données de marché, définissez ce que l’équipe doit apprendre et ce qu’elle n’a pas besoin de conserver. Les pages accessibles au public peuvent tout de même contenir des renseignements personnels ; une méthodologie de recherche rigoureuse limite donc la collecte aux indicateurs nécessaires à la prise de décision. En pratique, moins de requêtes peuvent produire un jeu de données plus défendable qu’une rotation large et intensive.
Intégrez la conformité à la méthodologie de collecte. Le RGPD et le CCPA exigent de la transparence dans les pratiques de traitement des données concernées, et le seul fait qu’elles soient accessibles au public ne détermine pas ce qu’une équipe peut collecter ou conserver. Consultez les exigences de conformité avant le début du projet pilote, tant que le périmètre et les méthodes de collecte peuvent encore être modifiés.
Le point de contrôle avant le déploiement à grande échelle
- Objectif consigné par écrit : Notez la question de recherche et la décision commerciale qu’elle éclaire. Les responsables de la protection de la vie privée pourront ainsi évaluer si la collecte est proportionnée.
- Minimisation des données personnelles : Excluez les noms des personnes qui publient des commentaires, les identifiants de compte et les profils des employés lorsqu’ils ne sont pas nécessaires à la mesure de l’indicateur du marché.
- Base légale et durée de conservation : Documentez la base applicable au traitement et fixez une date de suppression des données brutes.
- Restrictions d’accès : Respectez les directives robots applicables, les conditions des plateformes et les limites techniques. N’utilisez pas la rotation de proxies pour les contourner.
- Piste d’audit : Consignez les sources, les taux de requêtes, les identités des proxies et les horodatages afin que les responsables juridiques, des achats ou de la sécurité puissent reconstituer la collecte.
Ce point de contrôle est important pour la veille concurrentielle, la vérification publicitaire et la recherche sur les réseaux sociaux. Une collecte portant sur les prix ou les créations publicitaires peut également saisir des commentaires, des identifiants de compte ou des renseignements sur les employés. Définissez les limites avant d’envoyer les requêtes et distinguez la mesure du marché de la surveillance des données personnelles. Mettre en place cette séparation après coup peut être difficile.
Menez un projet pilote à périmètre limité avant d’augmenter le volume. Choisissez une question, un pays et un type de proxy, puis comparez les résultats à ceux d’une navigation classique. Si le test nécessite une connexion locale 4G ou LTE, envisagez des proxies mobiles 4G comme Evoproxy. Évaluez si l’échantillon représente le public visé et si la collecte est documentée, plutôt que de mesurer la quantité de données recueillies.
Si la recherche nécessite de vérifier les prix, les publicités ou les fils d’actualité mobiles tels qu’un utilisateur local les verrait sur son téléphone, Evoproxy propose des proxies mobiles 4G avec des sessions rotatives et persistantes pour un test à périmètre limité. Commencez par un marché et une question, évaluez la représentativité des résultats, puis rendez-vous sur Evoproxy pour mettre en place un test.
