研究团队即使收集到同一产品的两种看似合理的展示结果，仍可能误判市场。一位分析师看到某个地区促销，另一位却没有看到。两条记录可能都准确反映了各自会话中的情况，但都无法证明目标市场的消费者实际看到什么。
用于市场研究的代理让研究人员能够通过指定地点和网络查看价格、广告、搜索结果和商品页面。实际需要权衡的是：更多请求并不一定意味着证据更充分。重复检查或目标不明确的检查可能会扭曲样本，并增加合规风险。合理的代理配置应优先确保观察结果能够代表市场，即使这意味着收集更少的数据、发出更少的请求。
市场研究团队为何使用代理
某个商品页面可能允许配送到一个邮政区域，却拒绝来自另一个区域的同一订单。对于评估市场准入的研究团队来说，这种差异可能影响当地消费者能否买到该商品，而不只是页面上显示了什么。
代理会转发请求，使目标网站看到一个与其他地点和网络相关联的 IP 地址。这有助于分析师从特定市场查看价格、商品供应情况、广告和搜索结果。对于结构化的竞争情报收集，有用的产出是有关市场的证据，而不只是成功请求到页面。
研究团队长期以来一直通过抽样来估算更广泛的行为。消费者面板会随着时间推移跟踪一组选定的家庭，而美国消费者面板行业的历史记录了这一方法的发展历程。沿袭这一传统的现代数据集会跟踪约4万至6万户美国家庭的购买情况，纵向记录始于2004年。
代理研究同样需要遵循这种严谨的方法：以与目标总体相匹配的方式，系统地、持续地收集观察结果，并进行校准。通过代理获取的页面仍然只是一个样本，受地点、网络以及网站可能使用的其他信号影响。如果这些条件与研究问题不匹配，即使请求本身没有问题，也仍可能产生误导性证据。合理的研究设计应预先设定所需地点和样本范围，然后将收集限制在能够回答问题的范围内。这意味着评估代理性能时，应看结果能否支持有效决策，而不只是看请求量。
移动、住宅和数据中心代理对比
首先看网络来源，因为这是目标网站首先评估的因素。移动代理使用由 4G、LTE 和 5G 运营商分配的地址。住宅代理使用消费者 ISP 的地址空间，而数据中心代理使用托管服务提供商的地址空间。
适用于市场研究的代理类型对比
| 代理类型 | IP 来源 | 目标网站通常如何识别 | 最适合的研究场景 | 主要权衡 |
|---|---|---|---|---|
| 移动 4G/5G | 运营商网络，通常位于运营商级 NAT 之后 | 看起来像运营商网络 ASN 上的普通手机流量；一个 IP 由许多用户共享 | 社交聆听、移动网页 QA、移动信息流广告检查 | 速度和 IP 变化取决于运营商状况；成本通常更高 |
| 住宅 | 消费者 ISP 的地址空间 | 看起来像家庭宽带；信誉因地址池而异 | 价格和商品目录监测、国家级内容检查 | 质量取决于地址池，因此要核实来源 |
| 数据中心 | 托管服务提供商的地址空间 | 容易通过托管 ASN 识别；更常受到速率限制、封锁或被提供经过修改的内容 | 对允许自动访问的公开页面进行大量检查；对速度敏感的测试 | 许多平台对其信任度较低；应预期会遇到更多封锁 |
移动流量为何有所不同
运营商级 NAT，简称 CGN，可让移动运营商将许多用户置于一个转换层之后，使他们共享一个公共地址。因此，一个 IP 可能同时代表许多真实手机。关于共享地址空间的 RFC 6598为连接客户设备与 CGN 设备的服务提供商网络保留了100.64.0.0/10，该范围无法在全球范围内路由。
这种结构解释了为什么移动 IP 更难被标记。其流量看起来像普通手机使用情况，ASN（用于标识网络运营商的自治系统号）属于移动运营商，而且封锁一个共享地址可能会影响许多真实用户。因此，平台通常会谨慎处理。这并不能保证一定能访问或保持匿名；IP 信誉仍需结合 ASN、运营商、地理位置和会话行为来判断。
数据中心流量则处于另一端。托管 ASN 很容易识别，因此请求更常在没有警告的情况下受到速率限制、被封锁或收到经过修改的内容。住宅流量介于两者之间。它看起来像家庭宽带，但质量很大程度上取决于地址池的来源和维护方式。
实用原则：先从能够通过验证检查的最便宜代理类型开始，只有当数据表明确有需要时再升级。
应根据任务选择代理类型，而不是为所有用途购买同一个地址池。如果研究对象是手机端体验，就用移动代理进行社交聆听和移动网页 QA。使用住宅代理进行商品目录监测和国家级检查。如果允许自动访问，且速度和成本最重要，则使用数据中心代理处理大量公开页面。无论哪种方向的匹配不当都会造成损失，要么浪费资金，要么导致数据在不知不觉中失真。
不同研究问题所需的地理定位精度
测试某个网站在一个国家展示什么，与估算该国的需求，是两项不同的工作。许多基于代理的研究出错，正是因为混淆了这两者。代理擅长前者，但仅靠代理很难完成后者。
地理定位是指网站或平台根据访客看起来所在的位置来提供内容。IP 地理定位是对某个地址所在位置的估算。两者都不等同于客户的真实位置，而在移动网络上，这种差距最大。
互联网协会汇总的研究显示，根据互联网协会对移动 IP 地理定位的分析，受测服务提供商的移动地理定位误差中位数约为179 至 207 公里；非洲和亚洲部分地区的失败率超过50%，而欧洲则低于20%。运营商 NAT、集中式网关和动态路由可能使手机的公共 IP 与手机本身相距甚远。固定宽带的地理定位可靠性明显更高。
不同研究问题所需的位置精度
| 研究问题 | 所需精度 | 代理设置 | 验证方法 |
|---|---|---|---|
| 国家级价格或货币检查 | 国家 | 目标国家的住宅或移动 IP | 将显示的货币和税费项目与从同一国家手动浏览的结果进行比较 |
| 区域可用性或配送资格 | 区域或邮政编码，需验证而非假定 | 在提供相关服务的情况下，使用目标运营商的移动 IP | 使用多个 IP 和会话重复测试；记录结果差异 |
| 某个城市的本地需求估算 | 城市级；仅靠 IP 地理定位并不够可靠 | 仅使用代理测试内容；结合第一方数据或面板数据 | 进行独立验证；报告不确定性范围 |
| 某个市场的广告投放检查 | 国家，有时是区域 | 该市场的移动或住宅 IP | 在条件允许时，将投放的创意内容和广告位与平台投放报告进行比较 |
| 语言或区域设置变体 QA | 国家和语言 | 任何该国境内的 IP | 每次运行时检查页面语言、区域设置和货币 |
针对货币、语言、资格规则和促销活动的国家级检查，通常足以可靠地用于内容和价格验证。发布城市级结论前，需要进行独立验证。选择国家、区域或运营商级别的地理定位代理，应根据你打算提出的主张，而不是根据所提供的最精细选项来决定。
使用固定流程进行验证。通过多个 IP 和接入网络重复测试。将返回的位置元数据与已知端点进行比较，并记录结果是否因运营商和会话而异。购买前先确定精度级别，使设置与你之后计划要论证的陈述相匹配。
值得付费购买的代理功能
根据代理功能对研究有效性的影响来进行选择。地理位置准确性和会话控制决定你能查看哪些市场页面和价格，而 IP 池质量会影响你遇到重复使用或被标记 IP 的频率。对于以文本为主的研究，带宽的优先级可以低于这些控制功能。
粘性会话和轮换适用于不同的采集需求。轮换会在不同任务之间更改出口 IP。粘性会话会在一段时间内保持同一身份，有助于保留 Cookie、筛选条件、购物车和多步骤工作流。HTTP Cookie 会将请求与服务器端状态关联起来。在单个授权工作流中始终使用同一身份，然后在彼此独立的工作流之间轮换，以避免状态混杂。
代理功能及各项检查要点
| 功能 | 控制内容 | 检查要点 |
|---|---|---|
| IP 池规模 | 可用的不同 IP 和子网数量 | 每个目标国家的唯一 IP 数量，以及该 IP 池是否为共享池 |
| 轮换 | 出口 IP 的更换频率 | 固定、定时或按需更换，以及相应的间隔设置 |
| 粘性会话 | 单个 IP 保留 Cookie 和登录状态的时长 | 最长会话时长是否与单个工作流的持续时间相符 |
| 信任评分 | IP 已被标记的可能性 | 服务商声明的评估方法，以及针对已知页面进行的测试 |
| 带宽 | 每月可传输的数据量 | 每月上限是否满足平均页面大小乘以每次运行的页面数 |
| 地理覆盖范围 | 可定位的国家和运营商 | 明确列出的国家，以及是否提供特定移动运营商 |
将信任评分视为需要通过自己的测试验证的服务商声明。询问其测量方法，然后将已知页面的测试结果与普通浏览进行比较。庞大的 IP 池可以减少 IP 重复使用，但无法说明目标市场中的地址是否适用。询问各国家的 IP 数量，并评估研究所需访问的页面。
在承诺购买前估算带宽。将平均页面大小乘以每次运行的页面数和每月运行次数，再与带宽上限进行比较。采集图片较多的商品目录可能比单纯收集价格文本消耗更多数据，因此应根据计划抓取的页面选择相应的流量额度。
使用此表向服务商询问具体信息：可用位置、会话限制、轮换设置、IP 池构成和带宽条款。然后单独评估采集行为的合法性。围绕授权访问和研究问题设计流程；避免不必要的请求有助于减少状态变化和采集伪影，从而提高有效性。连接成功本身并不能证明观察到的结果具有市场代表性。
如何运行基于代理的研究工作流
研究过程即便返回了干净的页面，也仍可能无法准确反映市场。围绕需要测量的总体设计工作流，然后检查所收集的样本是否足以支持你打算提出的主张。实际上，与大范围、无结构的采集相比，按照明确的抽样规则发出较少的请求，往往能得出更站得住脚的结果。
八个步骤
定义问题和总体。明确哪些商品列表、价格或帖子属于你要测量的市场。这个范围决定了你如何评估覆盖率，以及样本能够支持哪些结论。
选择代理类型和位置精度。根据研究问题匹配设置。国家级价格比较和城市级需求估算需要不同级别的位置精度。
选择协议。标准 Web 客户端可以使用 HTTP 或 HTTPS 代理，其中 HTTPS 请求通过 CONNECT 方法传递。如果采集设置需要更通用的、面向 TCP 的隧道，请选择 SOCKS5。Mozilla 将它们列为不同的代理类型，其中 SOCKS 的工作层级低于 HTTP。
采集前测试连接。在已知页面上检查表面显示的公共 IP、ASN、国家、DNS 行为、TLS 和浏览器兼容性、身份验证以及错误响应。全面运行前先解决身份问题。
在工作流中使用粘性会话，并在不同任务间分开身份。从页面加载到筛选和可用性检查，都在同一会话中完成同一商品的检查。为独立任务分配不同身份，避免 Cookie 和其他状态在任务之间交叉。
记录请求并设置速率上限。记录每个请求的时间戳、端点、观察到的 IP、ASN、国家、响应代码和会话 ID。对不同运行中重复出现的商品列表去重，并控制请求量。
将结果与普通浏览进行比较。针对一组受控的已知页面，与人工浏览会话进行测试。跟踪按国家和设备划分的覆盖率，以及页面拦截率、CAPTCHA 出现率和重复率。检查设置是否改变了哪些商品列表进入样本，而不仅仅是加载了多少页面。
报告不确定性。区分观察到的数量和推算出的总量，并说明覆盖范围的局限。采集流程正常运行本身并不能证明数据集具有市场代表性。
验证很重要，因为采集缺口会扭曲估算。在一项比较市场抓取数据与查获的后端数据库的 USENIX Security 研究中，抓取数据遗漏了约46% 的对象。已捕获和未捕获的商品列表在价格、浏览量和商品类别方面也存在显著差异。基于评论和商品列表数据的估算将总收入低估了四倍。
该研究中的采集频率会影响覆盖率：抓取一次或两次通常只能覆盖底层总体的约14% 到 30%。如果研究问题有此需要，请重复采集并保留时间戳，再按热门程度、类别和卖家活跃度对结果进行细分。在进行外推之前，请将样本与已知总量进行比较。
三个研究场景详解
某零售团队追踪竞争对手在法国的商品目录价格。由于研究问题关注的是国家层面的定价，该团队选择法国住宅 IP，并为每个类别列表保留一个粘性会话，以确保筛选条件一致；由于不设上限的采集会导致覆盖偏差，该团队优先抽样热门商品列表。团队可以说明所抽样类别的法国零售价，但不能声称得出了全国价格指数。
某媒体买手在比利时验证 PPC 广告系列。她使用本地运营商的移动 4G IP，以手机用户的视角查看广告，并在每次运行时检查广告位置、着陆页区域设置和货币，然后将实际投放内容与平台的投放报告进行比较。她可以确认该广告创意通过该运营商在比利时投放过，但无法说明有多少比利时消费者看到了它。
某品牌团队使用获准使用的账号，查看某个市场的移动信息流中的提及内容。团队为每个工作流分配一个身份，将请求速率保持在适度水平，并保留一份已检查的信息流清单。团队可以描述所查看信息流中的情绪倾向，但不能代表整个市场的讨论情况。
扩大试点规模前确认合规性
在采集市场数据之前，请明确团队需要了解什么，以及无需保留什么。即使是公开访问的页面，也可能包含个人信息，因此合理的研究设计应将采集范围限制在决策所需的信号内。实践中，与广泛且激进地轮换相比，减少请求可能更有助于获得站得住脚的数据集。
将合规性纳入采集设计。在相关数据实践中，GDPR 和 CCPA 要求保持透明；仅仅能够公开访问，并不能决定团队可以采集或保留哪些数据。请在试点开始前查看合规要求，此时仍可调整采集范围和方法。
扩大规模前的关卡
- 书面记录目的：记录研究问题及其所依据的业务决策。这能为隐私审查人员评估采集是否适度提供依据。
- 尽量减少个人数据：如果衡量市场信号并不需要，请排除评论者姓名、账号标识符和员工档案。
- 合法依据与保留期限：记录适用的数据处理依据，并为原始数据设定删除日期。
- 访问限制：遵循适用的 robots 指令、平台条款和技术限制。不要通过轮换代理来规避这些限制。
- 审计跟踪：记录来源、请求速率、代理身份和时间戳，以便法务、采购或安全审查人员还原采集过程。
这一关卡对竞争情报、广告验证和社交研究都很重要。旨在采集价格或广告创意的数据，也可能包含评论、账号标识符或员工信息。请在发起请求前设定边界，并将市场衡量与个人数据监控分开。事后再补上这种区分可能很困难。
在增加采集量之前，先开展范围明确的试点。选择一个问题、一个国家和一种代理类型，然后将结果与常规浏览进行比较。如果测试需要本地 4G 或 LTE 连接，可以考虑使用 Evoproxy 等移动 4G 代理。评估样本是否能反映目标受众，以及采集过程是否有记录，而不是看采集了多少数据。
如果研究需要像本地手机用户一样查看价格、广告或移动信息流，Evoproxy 提供带轮换和粘性会话的移动 4G 代理，适用于范围明确的测试。从一个市场和一个问题开始，评估结果的代表性，然后访问Evoproxy设置测试。
