Một nhóm nghiên cứu có thể thu thập hai góc nhìn có vẻ hợp lý về cùng một sản phẩm nhưng vẫn hiểu sai thị trường. Một nhà phân tích thấy chương trình khuyến mãi theo khu vực; người khác thì không. Cả hai bản ghi có thể đều chính xác trong phiên tương ứng, nhưng không bản nào xác định được người mua sắm ở thị trường mục tiêu nhìn thấy gì.
Proxy phục vụ nghiên cứu thị trường cho phép nhà nghiên cứu quan sát giá cả, quảng cáo, kết quả tìm kiếm và trang sản phẩm thông qua một vị trí và mạng được chọn. Đánh đổi trên thực tế là nhiều yêu cầu hơn không nhất thiết tạo ra bằng chứng tốt hơn: các lượt kiểm tra lặp lại hoặc nhắm mục tiêu kém có thể làm sai lệch mẫu và tăng rủi ro tuân thủ. Một cấu hình proxy hợp lý ưu tiên tính đại diện của các quan sát đối với thị trường, ngay cả khi điều đó đồng nghĩa với việc thu thập ít dữ liệu hơn và gửi ít yêu cầu hơn.
Vì sao các nhóm nghiên cứu thị trường sử dụng proxy
Một trang sản phẩm có thể giao hàng đến khu vực mã bưu chính này nhưng từ chối cùng đơn hàng đó từ khu vực khác. Với nhóm nghiên cứu đang đánh giá khả năng tiếp cận thị trường, khác biệt này có thể ảnh hưởng đến việc sản phẩm có sẵn cho người mua sắm địa phương hay không, chứ không chỉ là nội dung hiển thị trên trang.
Proxy chuyển tiếp một yêu cầu để trang web mục tiêu thấy địa chỉ IP gắn với một vị trí và mạng khác. Điều đó có thể giúp nhà phân tích kiểm tra giá cả, tình trạng hàng hóa, quảng cáo và kết quả tìm kiếm từ một thị trường xác định. Đối với hoạt động thu thập thông tin tình báo cạnh tranh có cấu trúc, đầu ra hữu ích là bằng chứng về thị trường, chứ không chỉ là một yêu cầu tải trang thành công.
Từ lâu, các nhóm nghiên cứu đã sử dụng mẫu để ước tính hành vi trên diện rộng. Nhóm người tiêu dùng tham gia khảo sát theo dõi một nhóm hộ gia đình được chọn theo thời gian, và lịch sử ngành nhóm người tiêu dùng tham gia khảo sát tại Hoa Kỳ ghi lại quá trình phát triển của phương pháp này. Các bộ dữ liệu hiện đại theo hướng này theo dõi giao dịch mua hàng của khoảng 40.000 đến 60.000 hộ gia đình Hoa Kỳ, với hồ sơ theo chiều dọc có từ năm 2004 trở đi.
Nguyên tắc tương tự cũng áp dụng cho nghiên cứu bằng proxy: thu thập các quan sát một cách có hệ thống, lặp lại và có hiệu chỉnh theo nhóm đối tượng đang xem xét. Một trang được truy xuất qua proxy vẫn chỉ là một mẫu, chịu ảnh hưởng của vị trí, mạng và các tín hiệu khác mà trang web có thể sử dụng. Nếu những điều kiện đó không phù hợp với câu hỏi nghiên cứu, ngay cả một yêu cầu được thực hiện trơn tru vẫn có thể tạo ra bằng chứng sai lệch. Một thiết kế hợp lý xác định trước vị trí và phạm vi mẫu cần thiết, sau đó giới hạn việc thu thập ở mức đủ để trả lời câu hỏi. Điều đó có nghĩa là đánh giá hiệu quả proxy dựa trên việc kết quả có hỗ trợ các quyết định đúng đắn hay không, chứ không chỉ dựa vào số lượng yêu cầu.
So sánh proxy di động, proxy dân cư và proxy trung tâm dữ liệu
Hãy bắt đầu với nguồn gốc mạng, vì đó là điều đầu tiên trang web mục tiêu đánh giá. Proxy di động sử dụng các địa chỉ do nhà mạng 4G, LTE và 5G cấp. Proxy dân cư sử dụng không gian địa chỉ của ISP dành cho người tiêu dùng, còn proxy trung tâm dữ liệu sử dụng không gian địa chỉ của nhà cung cấp dịch vụ lưu trữ.
So sánh các loại proxy dùng cho nghiên cứu thị trường
| Loại proxy | IP bắt nguồn từ đâu | Trang web đích thường nhìn nhận như thế nào | Phù hợp nhất với hoạt động nghiên cứu nào | Đánh đổi chính |
|---|---|---|---|---|
| Di động 4G/5G | Mạng nhà mạng, thường nằm sau NAT cấp nhà mạng | Trông giống lưu lượng điện thoại thông thường trên ASN của nhà mạng; một IP được nhiều thuê bao dùng chung | Theo dõi mạng xã hội, kiểm thử QA web di động, kiểm tra quảng cáo trên bảng tin di động | Tốc độ và việc thay đổi IP phụ thuộc vào điều kiện của nhà mạng; thường tốn kém hơn |
| Dân cư | Không gian địa chỉ của ISP dành cho người tiêu dùng | Trông giống băng thông rộng tại nhà; mức độ uy tín thay đổi tùy nhóm IP | Theo dõi giá và danh mục sản phẩm, kiểm tra nội dung theo quốc gia | Chất lượng phụ thuộc vào nhóm IP, vì vậy hãy kiểm tra nguồn gốc |
| Trung tâm dữ liệu | Không gian địa chỉ của nhà cung cấp dịch vụ lưu trữ | Dễ nhận diện qua ASN của nhà cung cấp dịch vụ lưu trữ; thường bị giới hạn tốc độ, chặn hoặc phân phối nội dung đã bị thay đổi | Kiểm tra khối lượng lớn trên các trang công khai cho phép truy cập tự động; kiểm thử cần tốc độ cao | Mức độ tin cậy thấp hơn trên nhiều nền tảng; hãy dự kiến sẽ gặp nhiều lượt chặn hơn |
Vì sao lưu lượng di động có vẻ khác biệt
NAT cấp nhà mạng, hay CGN, cho phép nhà mạng di động đặt nhiều thuê bao sau một lớp chuyển đổi địa chỉ để họ dùng chung một địa chỉ công khai. Vì vậy, một IP có thể đại diện cho nhiều điện thoại thực cùng lúc. RFC 6598 về không gian địa chỉ dùng chung dành riêng 100.64.0.0/10 cho các mạng của nhà cung cấp dịch vụ kết nối thiết bị của khách hàng với thiết bị CGN; dải địa chỉ này không thể định tuyến trên toàn cầu.
Cấu trúc đó lý giải vì sao IP di động khó bị đánh dấu hơn. Lưu lượng trông giống hoạt động điện thoại thông thường, ASN, tức số hiệu hệ thống tự trị nhận diện nhà khai thác mạng, thuộc về một nhà mạng di động, và việc chặn một địa chỉ dùng chung có nguy cơ ảnh hưởng đến nhiều người dùng thật. Vì lý do đó, các nền tảng thường thận trọng. Điều này không đảm bảo khả năng truy cập hay tính ẩn danh, và uy tín IP vẫn cần được xem xét trong bối cảnh ASN, nhà mạng, khu vực địa lý và hành vi phiên.
Lưu lượng trung tâm dữ liệu nằm ở đầu kia. ASN của nhà cung cấp dịch vụ lưu trữ rất dễ nhận diện, vì vậy các yêu cầu thường bị giới hạn tốc độ, chặn hoặc phân phối nội dung đã bị thay đổi mà không có cảnh báo. Lưu lượng dân cư nằm ở giữa hai loại này. Nó trông giống băng thông rộng tại nhà, nhưng chất lượng phụ thuộc rất nhiều vào cách nhóm IP được tạo lập và duy trì.
Quy tắc thực tế: Hãy bắt đầu với loại proxy rẻ nhất vượt qua các bước kiểm định của bạn, rồi chỉ nâng cấp khi dữ liệu cho thấy bạn cần làm vậy.
Hãy chọn loại proxy phù hợp với từng tác vụ thay vì mua một nhóm IP dùng cho mọi việc. Dùng proxy di động để theo dõi mạng xã hội và kiểm thử QA web di động khi trải nghiệm trên điện thoại là đối tượng nghiên cứu. Dùng proxy dân cư để theo dõi danh mục sản phẩm và kiểm tra theo quốc gia. Dùng proxy trung tâm dữ liệu cho các tác vụ khối lượng lớn trên trang công khai, khi tốc độ và chi phí là ưu tiên hàng đầu và được phép truy cập tự động. Chọn sai loại theo bất kỳ hướng nào đều gây tốn kém, dù là mất tiền hay âm thầm làm sai lệch dữ liệu.
Độ chính xác của nhắm mục tiêu địa lý theo câu hỏi nghiên cứu
Kiểm tra nội dung một trang web hiển thị ở một quốc gia là công việc khác với ước tính nhu cầu tại quốc gia đó. Nhầm lẫn hai việc này là nguyên nhân khiến nhiều nghiên cứu dựa trên proxy đi sai hướng. Proxy hữu ích cho công việc thứ nhất nhưng bản thân chúng không đủ mạnh cho công việc thứ hai.
Nhắm mục tiêu địa lý có nghĩa là một trang web hoặc nền tảng phân phối nội dung dựa trên vị trí mà khách truy cập có vẻ đang ở. Định vị địa lý IP là ước tính vị trí của một địa chỉ. Cả hai đều không tương đương với vị trí thực của khách hàng, và khoảng cách này lớn nhất trên mạng di động.
Nghiên cứu được Hiệp hội Internet tổng hợp báo cáo sai số định vị địa lý di động trung vị khoảng 179 đến 207 km giữa các nhà cung cấp được thử nghiệm, với tỷ lệ thất bại vượt quá 50% ở một số khu vực châu Phi và châu Á, trong khi vẫn dưới 20% ở châu Âu, theo phân tích của Hiệp hội Internet về định vị địa lý IP di động. NAT của nhà mạng, các cổng kết nối tập trung và định tuyến động có thể khiến IP công khai của thiết bị di động cách xa vị trí thực của điện thoại. Định vị địa lý của băng thông rộng cố định đáng tin cậy hơn đáng kể.
Độ chính xác vị trí cần thiết theo câu hỏi nghiên cứu
| Câu hỏi nghiên cứu | Độ chính xác cần thiết | Cấu hình proxy | Cách xác thực |
|---|---|---|---|
| Kiểm tra giá hoặc đơn vị tiền tệ theo quốc gia | Quốc gia | IP dân cư hoặc IP di động tại quốc gia mục tiêu | So sánh đơn vị tiền tệ và các khoản thuế hiển thị với lần duyệt web thủ công từ cùng quốc gia |
| Khả năng cung cấp hoặc điều kiện giao hàng theo khu vực | Khu vực hoặc mã bưu chính, cần xác minh thay vì mặc định | IP di động trên nhà mạng mục tiêu nếu có | Lặp lại trên một số IP và phiên; ghi nhận mức độ khác biệt |
| Ước tính nhu cầu tại địa phương cho một thành phố | Cấp thành phố; riêng định vị địa lý IP chưa đủ tin cậy | Chỉ dùng proxy để kiểm tra nội dung; kết hợp với dữ liệu bên thứ nhất hoặc dữ liệu từ nhóm khảo sát | Xác thực độc lập; báo cáo khoảng bất định |
| Kiểm tra phân phối quảng cáo tại một thị trường | Quốc gia, đôi khi là khu vực | IP di động hoặc IP dân cư tại thị trường đó | So sánh mẫu quảng cáo và vị trí hiển thị được phân phối với báo cáo phân phối của nền tảng nếu có |
| Kiểm tra chất lượng biến thể ngôn ngữ hoặc thiết lập vùng | Quốc gia và ngôn ngữ | Bất kỳ IP nào trong quốc gia đó | Kiểm tra ngôn ngữ trang, thiết lập vùng và đơn vị tiền tệ trong mỗi lần chạy |
Các kiểm tra cấp quốc gia về đơn vị tiền tệ, ngôn ngữ, quy tắc đủ điều kiện và khuyến mãi thường đủ tin cậy để xác minh nội dung và giá cả. Các kết luận cấp thành phố cần được xác thực độc lập trước khi công bố. Việc chọn proxy nhắm mục tiêu theo địa lý ở cấp quốc gia, khu vực hay nhà mạng nên dựa trên tuyên bố bạn định đưa ra, chứ không phải lựa chọn chi tiết nhất được cung cấp.
Xác thực bằng một quy trình cố định. Chạy các bài kiểm tra lặp lại trên một số IP và mạng truy cập. So sánh siêu dữ liệu vị trí trả về với các điểm cuối đã biết, đồng thời ghi nhận kết quả có khác nhau theo nhà mạng và phiên hay không. Xác định mức độ chính xác trước khi mua để cấu hình phù hợp với tuyên bố bạn dự định bảo vệ sau này.
Các tính năng proxy đáng để chi trả
Chọn tính năng proxy dựa trên ảnh hưởng của chúng đến tính hợp lệ của nghiên cứu. Độ chính xác địa lý và khả năng kiểm soát phiên quyết định bạn có thể quan sát trang và giá ở thị trường nào, trong khi chất lượng nhóm IP ảnh hưởng đến tần suất gặp IP đã được sử dụng lại hoặc bị gắn cờ. Với nghiên cứu tập trung vào văn bản, băng thông có thể ít quan trọng hơn những yếu tố kiểm soát này.
Phiên cố định và xoay vòng đáp ứng các nhu cầu thu thập dữ liệu khác nhau. Xoay vòng thay đổi IP đi ra giữa các tác vụ riêng biệt. Phiên cố định giữ nguyên một danh tính trong một khoảng thời gian nhất định, giúp duy trì cookie, bộ lọc, giỏ hàng và quy trình nhiều bước. Cookie HTTP liên kết các yêu cầu với trạng thái phía máy chủ. Duy trì một danh tính trong suốt một quy trình được ủy quyền, sau đó xoay vòng giữa các quy trình độc lập để tránh trộn lẫn trạng thái của chúng.
Các tính năng proxy và nội dung cần kiểm tra cho từng tính năng
| Tính năng | Kiểm soát điều gì | Nội dung cần kiểm tra |
|---|---|---|
| Quy mô nhóm IP | Số lượng IP và mạng con riêng biệt bạn có thể sử dụng | Số lượng IP duy nhất tại mỗi quốc gia mục tiêu và nhóm IP có được dùng chung hay không |
| Xoay vòng | Tần suất thay đổi IP thoát | Thay đổi cố định, theo thời gian hay theo yêu cầu, cùng các cài đặt khoảng thời gian |
| Phiên cố định | Thời gian một IP lưu giữ cookie và trạng thái đăng nhập | Thời lượng phiên tối đa so với thời lượng của một quy trình |
| Điểm độ tin cậy | Khả năng một IP đã bị gắn cờ | Phương pháp nhà cung cấp nêu ra và lần chạy thử trên một trang đã biết |
| Băng thông | Lượng dữ liệu bạn có thể truyền mỗi tháng | Giới hạn hằng tháng so với trọng lượng trang trung bình nhân với số trang mỗi lần chạy |
| Phạm vi địa lý | Các quốc gia và nhà mạng bạn có thể nhắm mục tiêu | Các quốc gia được nêu cụ thể và liệu có hỗ trợ nhà mạng di động cụ thể hay không |
Hãy xem điểm độ tin cậy là tuyên bố của nhà cung cấp cần được xác minh bằng thử nghiệm của riêng bạn. Hỏi cách đo lường, sau đó so sánh kết quả từ một trang đã biết với hoạt động duyệt web thông thường. Nhóm IP lớn có thể giảm việc sử dụng lại IP, nhưng không cho biết liệu các địa chỉ tại thị trường mục tiêu của bạn có phù hợp hay không. Hãy hỏi số lượng theo quốc gia và đánh giá các trang mà nghiên cứu của bạn cần truy cập.
Ước tính băng thông trước khi cam kết. Nhân trọng lượng trang trung bình với số trang mỗi lần chạy và số lần chạy mỗi tháng, sau đó so sánh mức ước tính với giới hạn. Nghiên cứu danh mục sản phẩm nhiều hình ảnh có thể dùng nhiều dữ liệu hơn hẳn so với chỉ thu thập văn bản giá, vì vậy hãy chọn dung lượng phù hợp với các trang bạn định lấy dữ liệu.
Dùng bảng để yêu cầu nhà cung cấp trả lời cụ thể về vị trí khả dụng, giới hạn phiên, cài đặt xoay vòng, thành phần nhóm IP và điều khoản băng thông. Sau đó, đánh giá riêng tính hợp pháp của việc thu thập dữ liệu. Hãy thiết kế quy trình dựa trên quyền truy cập được ủy quyền và câu hỏi nghiên cứu; tránh các yêu cầu không cần thiết có thể cải thiện tính hợp lệ bằng cách giảm thay đổi trạng thái và sai lệch do quy trình thu thập. Chỉ riêng việc kết nối thành công không chứng minh rằng kết quả quan sát được đại diện cho thị trường.
Cách triển khai quy trình nghiên cứu dựa trên proxy
Một lần chạy nghiên cứu có thể trả về các trang sạch nhưng vẫn mô tả sai lệch thị trường. Hãy thiết lập quy trình dựa trên tổng thể mà bạn cần đo lường, sau đó kiểm tra xem mẫu dữ liệu thu thập được có đủ cơ sở cho tuyên bố bạn định đưa ra hay không. Trên thực tế, ít yêu cầu hơn với quy tắc lấy mẫu rõ ràng có thể tạo ra kết quả dễ bảo vệ hơn so với việc thu thập rộng nhưng thiếu cấu trúc.
Tám bước
Xác định câu hỏi và tổng thể. Nêu rõ những tin đăng, mức giá hoặc bài viết nào được tính là một phần của thị trường bạn đang đo lường. Ranh giới này quyết định cách đánh giá mức độ bao phủ và những kết luận mà mẫu dữ liệu có thể hỗ trợ.
Chọn loại proxy và độ chính xác vị trí. Điều chỉnh cấu hình cho phù hợp với câu hỏi nghiên cứu. So sánh giá ở cấp quốc gia và ước tính nhu cầu ở cấp thành phố đòi hỏi các mức độ chính xác vị trí khác nhau.
Chọn giao thức. Các ứng dụng khách web tiêu chuẩn có thể dùng proxy HTTP hoặc HTTPS, trong đó các yêu cầu HTTPS được chuyển qua phương thức CONNECT. Chọn SOCKS5 khi cấu hình thu thập dữ liệu của bạn cần một đường hầm TCP tổng quát hơn. Mozilla ghi nhận đây là các loại proxy riêng biệt, trong đó SOCKS hoạt động ở tầng thấp hơn HTTP.
Kiểm tra kết nối trước khi thu thập dữ liệu. Trên một trang đã biết, hãy kiểm tra IP công khai được nhận diện, ASN, quốc gia, hành vi DNS, TLS và khả năng tương thích với trình duyệt, xác thực cũng như phản hồi lỗi. Khắc phục vấn đề về danh tính trước khi chạy toàn bộ quy trình.
Dùng phiên cố định trong một quy trình và tách biệt danh tính giữa các tác vụ. Giữ nguyên một phiên cho một lần kiểm tra sản phẩm, từ khi tải trang đến khi áp dụng bộ lọc và kiểm tra tình trạng sẵn có. Gán danh tính riêng cho các tác vụ độc lập để cookie và trạng thái khác không bị dùng chung giữa chúng.
Ghi nhật ký yêu cầu và đặt giới hạn tần suất. Ghi lại dấu thời gian, điểm cuối, IP quan sát được, ASN, quốc gia, mã phản hồi và ID phiên của mỗi yêu cầu. Loại bỏ các tin đăng trùng lặp giữa các lần chạy và giữ lưu lượng yêu cầu ở mức vừa phải.
So sánh kết quả với hoạt động duyệt web thông thường. Kiểm tra một mẫu có kiểm soát gồm các trang đã biết bằng một phiên người dùng. Theo dõi mức độ bao phủ theo quốc gia và thiết bị, cũng như tỷ lệ trang bị chặn, CAPTCHA và trùng lặp. Kiểm tra xem cấu hình có làm thay đổi những tin đăng được đưa vào mẫu hay không, chứ không chỉ xem có bao nhiêu trang tải được.
Báo cáo mức độ bất định. Phân biệt số lượng quan sát được với tổng số ước tính và nêu rõ giới hạn về mức độ bao phủ. Một quy trình thu thập dữ liệu hoạt động được tự nó không chứng minh rằng tập dữ liệu đại diện cho thị trường.
Việc xác thực rất quan trọng vì các khoảng trống trong thu thập dữ liệu có thể làm sai lệch các ước tính. Trong một nghiên cứu của USENIX Security so sánh dữ liệu thu thập từ marketplace với cơ sở dữ liệu back-end bị thu giữ, dữ liệu thu thập đã bỏ sót khoảng 46% đối tượng. Các tin đăng được thu thập và không được thu thập cũng khác biệt đáng kể về giá, lượt xem và danh mục sản phẩm. Các ước tính dựa trên đánh giá và dữ liệu tin đăng đã đánh giá thấp tổng doanh thu theo hệ số bốn.
Tần suất thu thập ảnh hưởng đến phạm vi bao phủ trong nghiên cứu đó: một hoặc hai lần thu thập thường chỉ bao phủ khoảng 14% đến 30% tổng thể thực tế. Hãy thu thập lặp lại khi câu hỏi nghiên cứu đòi hỏi, lưu giữ dấu thời gian và phân nhóm kết quả theo mức độ phổ biến, danh mục và hoạt động của người bán. Trước khi ngoại suy, hãy so sánh mẫu với tổng số đã biết.
Phân tích chi tiết ba tình huống nghiên cứu
Một nhóm bán lẻ theo dõi giá trong danh mục sản phẩm của đối thủ cạnh tranh tại Pháp. Nhóm chọn IP dân dụng tại Pháp vì câu hỏi liên quan đến giá ở cấp quốc gia, duy trì một phiên cố định cho mỗi danh sách danh mục để bộ lọc luôn nhất quán, đồng thời lấy mẫu các tin đăng phổ biến trước vì thu thập không giới hạn sẽ tạo ra phạm vi bao phủ thiên lệch. Nhóm có thể nêu giá bán lẻ tại Pháp cho các danh mục được lấy mẫu. Nhóm không thể khẳng định đây là chỉ số giá toàn quốc.
Một chuyên viên mua quảng cáo xác minh chiến dịch PPC tại Bỉ. Cô dùng IP di động 4G trên mạng của nhà mạng địa phương để xem quảng cáo như người dùng điện thoại, kiểm tra vị trí hiển thị, ngôn ngữ trên trang đích và đơn vị tiền tệ ở mỗi lần chạy, sau đó so sánh nội dung được phân phối với báo cáo phân phối của nền tảng. Cô có thể xác nhận quảng cáo đã được phân phối tại Bỉ trên mạng của nhà mạng đó. Cô không thể nói có bao nhiêu người mua sắm ở Bỉ đã nhìn thấy quảng cáo.
Một nhóm thương hiệu đánh giá các lượt đề cập trên bảng tin di động tại một thị trường bằng những tài khoản mà nhóm được phép sử dụng. Nhóm chỉ định một danh tính cho mỗi quy trình, giữ tần suất yêu cầu ở mức vừa phải và duy trì danh sách bằng văn bản về các bảng tin đã kiểm tra. Nhóm có thể mô tả sắc thái cảm xúc trong các bảng tin đã xem xét. Nhóm không thể mô tả toàn bộ cuộc trò chuyện trong thị trường.
Xác nhận tuân thủ trước khi mở rộng thử nghiệm
Trước khi thu thập dữ liệu thị trường, hãy xác định nhóm cần tìm hiểu điều gì và không cần lưu giữ những gì. Các trang truy cập công khai vẫn có thể chứa thông tin cá nhân, vì vậy một thiết kế nghiên cứu phù hợp sẽ giới hạn việc thu thập ở những tín hiệu cần thiết cho quyết định. Trên thực tế, ít yêu cầu hơn có thể tạo ra tập dữ liệu dễ bảo vệ hơn so với việc luân chuyển rộng rãi và dồn dập.
Hãy xem tuân thủ là một phần trong thiết kế thu thập dữ liệu. GDPR và CCPA yêu cầu tính minh bạch trong các hoạt động xử lý dữ liệu liên quan, và việc dữ liệu được công khai truy cập không tự quyết định những gì nhóm có thể thu thập hoặc lưu giữ. Hãy xem lại các yêu cầu tuân thủ trước khi bắt đầu thử nghiệm, khi phạm vi và phương pháp thu thập vẫn có thể được điều chỉnh.
Điều kiện cần đáp ứng trước khi mở rộng
- Mục đích được ghi thành văn bản: Ghi lại câu hỏi nghiên cứu và quyết định kinh doanh mà câu hỏi đó hỗ trợ. Nhờ vậy, người phụ trách rà soát quyền riêng tư có cơ sở để đánh giá việc thu thập có tương xứng hay không.
- Giảm thiểu dữ liệu cá nhân: Loại trừ tên người bình luận, mã định danh tài khoản và hồ sơ nhân viên khi không cần đến chúng để đo lường tín hiệu thị trường.
- Cơ sở pháp lý và thời hạn lưu giữ: Ghi lại cơ sở xử lý dữ liệu áp dụng và đặt ngày xóa dữ liệu thô.
- Hạn chế truy cập: Tuân thủ các chỉ thị robots, điều khoản của nền tảng và giới hạn kỹ thuật hiện hành. Không sử dụng việc luân chuyển proxy để né tránh các giới hạn đó.
- Nhật ký kiểm tra: Ghi lại nguồn, tần suất yêu cầu, danh tính proxy và dấu thời gian để người phụ trách pháp lý, mua sắm hoặc bảo mật có thể dựng lại quy trình thu thập.
Điều kiện này rất quan trọng trong hoạt động tình báo cạnh tranh, xác minh quảng cáo và nghiên cứu mạng xã hội. Một quy trình thu thập nhằm khảo sát giá hoặc nội dung quảng cáo cũng có thể thu thập bình luận, mã định danh tài khoản hoặc thông tin nhân viên. Hãy đặt ra giới hạn trước khi gửi yêu cầu và tách biệt việc đo lường thị trường khỏi hoạt động giám sát dữ liệu cá nhân. Việc thiết lập sự tách biệt này sau khi đã bắt đầu có thể rất khó khăn.
Hãy chạy thử nghiệm có giới hạn trước khi tăng khối lượng. Chọn một câu hỏi, một quốc gia và một loại proxy, sau đó so sánh kết quả với hoạt động duyệt web thông thường. Nếu thử nghiệm cần kết nối 4G hoặc LTE tại địa phương, hãy cân nhắc proxy di động 4G như Evoproxy. Hãy đánh giá xem mẫu có phản ánh đúng đối tượng mục tiêu hay không và quy trình thu thập có được ghi lại đầy đủ hay không, thay vì tập trung vào lượng dữ liệu thu thập được.
Nếu nghiên cứu cần kiểm tra giá, quảng cáo hoặc bảng tin di động như cách người dùng điện thoại tại địa phương nhìn thấy, Evoproxy cung cấp proxy di động 4G với phiên luân chuyển và phiên cố định cho một thử nghiệm có giới hạn. Bắt đầu với một thị trường và một câu hỏi, đánh giá mức độ đại diện của kết quả, rồi truy cập Evoproxy để thiết lập thử nghiệm.
