Sebuah tim riset dapat mengumpulkan dua tampilan produk yang sama-sama masuk akal, tetapi tetap salah membaca pasar. Seorang analis melihat promosi regional; analis lain tidak. Kedua catatan mungkin akurat untuk sesi masing-masing, tetapi tidak satu pun membuktikan apa yang dilihat pembeli di pasar sasaran.
Proxy untuk riset pasar memungkinkan peneliti mengamati harga, iklan, hasil pencarian, dan halaman produk melalui lokasi dan jaringan yang dipilih. Konsekuensi praktisnya adalah semakin banyak permintaan belum tentu menghasilkan bukti yang lebih baik: pemeriksaan berulang atau dengan sasaran yang kurang tepat dapat mendistorsi sampel dan meningkatkan risiko kepatuhan. Penyiapan proxy yang baik mengutamakan keterwakilan pengamatan terhadap pasar, meskipun itu berarti mengumpulkan lebih sedikit data dan mengirim lebih sedikit permintaan.
Mengapa Tim Riset Pasar Menggunakan Proxy
Sebuah halaman produk mungkin menawarkan pengiriman ke satu area kode pos, tetapi menolak pesanan yang sama dari area lain. Bagi tim riset yang menilai akses pasar, perbedaan itu dapat memengaruhi apakah produk tersedia bagi pembeli lokal, bukan sekadar apa yang ditampilkan halaman.
Proxy meneruskan permintaan sehingga situs tujuan melihat alamat IP yang terkait dengan lokasi dan jaringan lain. Hal ini dapat membantu analis memeriksa harga, ketersediaan produk, iklan, dan hasil pencarian dari pasar tertentu. Untuk pengumpulan intelijen kompetitif yang terstruktur, hasil yang berguna adalah bukti tentang pasar, bukan sekadar permintaan halaman yang berhasil.
Tim riset telah lama menggunakan sampel untuk memperkirakan perilaku yang lebih luas. Panel konsumen mengikuti sekelompok rumah tangga terpilih dari waktu ke waktu, dan sejarah industri panel konsumen AS menelusuri perkembangan metode tersebut. Dataset modern dalam tradisi ini melacak pembelian dari sekitar 40.000 hingga 60.000 rumah tangga AS, dengan catatan longitudinal yang tersedia sejak 2004.
Disiplin yang sama berlaku untuk riset proxy: kumpulkan pengamatan secara sistematis, berulang, dan dengan kalibrasi terhadap populasi yang diteliti. Halaman yang diambil melalui proxy tetap merupakan sampel, yang dibentuk oleh lokasi, jaringan, dan sinyal lain yang mungkin digunakan situs. Jika kondisi tersebut tidak sesuai dengan pertanyaan riset, permintaan yang lancar sekalipun tetap dapat menghasilkan bukti yang menyesatkan. Rancangan yang baik menetapkan lokasi dan cakupan sampel yang diperlukan sejak awal, lalu membatasi pengumpulan pada hal-hal yang dapat menjawab pertanyaan. Artinya, kinerja proxy dinilai berdasarkan apakah hasilnya mendukung keputusan yang valid, bukan hanya berdasarkan volume permintaan.
Perbandingan Proxy Seluler, Residensial, dan Pusat Data
Mulailah dari asal jaringan, karena itulah yang pertama kali dievaluasi situs tujuan. Proxy seluler menggunakan alamat yang dikeluarkan oleh operator 4G, LTE, dan 5G. Proxy residensial menggunakan ruang alamat ISP konsumen, sedangkan proxy pusat data menggunakan ruang alamat penyedia hosting.
Perbandingan jenis proxy untuk riset pasar
| Jenis proxy | Asal IP | Persepsi umum situs tujuan | Kecocokan terbaik untuk riset | Konsekuensi utama |
|---|---|---|---|---|
| Seluler 4G/5G | Jaringan operator, biasanya di balik NAT tingkat operator | Tampak seperti lalu lintas ponsel biasa pada ASN operator; satu IP digunakan bersama oleh banyak pelanggan | Pemantauan media sosial, QA web seluler, pemeriksaan iklan di feed seluler | Kecepatan dan pergantian IP bergantung pada kondisi operator; biasanya lebih mahal |
| Residensial | Ruang alamat ISP konsumen | Tampak seperti koneksi broadband rumah; reputasinya bervariasi antar-pool | Pemantauan harga dan katalog, pemeriksaan konten tingkat negara | Kualitas bergantung pada pool, jadi periksa sumbernya |
| Pusat data | Ruang alamat penyedia hosting | Mudah dikenali dari ASN hosting; lebih sering dibatasi lajunya, diblokir, atau disajikan dengan konten yang diubah | Pemeriksaan bervolume tinggi pada halaman publik yang mengizinkan akses otomatis; pengujian yang sensitif terhadap kecepatan | Kepercayaan lebih rendah di banyak platform; bersiaplah menghadapi lebih banyak pemblokiran |
Mengapa lalu lintas seluler terlihat berbeda
NAT tingkat operator, atau CGN, memungkinkan operator seluler menempatkan banyak pelanggan di balik lapisan translasi sehingga mereka berbagi satu alamat publik. Karena itu, satu IP dapat mewakili banyak ponsel sungguhan sekaligus. RFC 6598 tentang ruang alamat bersama mencadangkan 100.64.0.0/10 untuk jaringan penyedia layanan yang menghubungkan perangkat pelanggan ke perangkat CGN, dan rentang tersebut tidak dapat dirutekan secara global.
Struktur itu menjelaskan mengapa IP seluler lebih sulit ditandai. Lalu lintasnya menyerupai penggunaan ponsel biasa, ASN, yaitu nomor sistem otonom yang mengidentifikasi operator jaringan, merupakan milik operator seluler, dan pemblokiran satu alamat bersama berisiko mengenai banyak pengguna asli. Karena alasan itu, platform cenderung berhati-hati. Hal ini tidak menjamin akses atau anonimitas, dan reputasi IP tetap perlu dipertimbangkan bersama konteks ASN, operator, geografi, dan perilaku sesi.
Lalu lintas pusat data berada di sisi yang berlawanan. ASN hosting mudah dikenali, sehingga permintaan lebih sering dibatasi lajunya, diblokir, atau disajikan dengan konten yang diubah tanpa peringatan. Lalu lintas residensial berada di antara keduanya. Tampilannya seperti koneksi broadband rumah, tetapi kualitasnya sangat bergantung pada cara pool diperoleh dan dikelola.
Aturan praktis: Mulailah dengan jenis proxy termurah yang lolos pemeriksaan validasi, lalu tingkatkan hanya jika data menunjukkan bahwa Anda memang perlu melakukannya.
Sesuaikan jenis proxy dengan tugasnya, alih-alih membeli satu pool untuk segala keperluan. Gunakan seluler untuk pemantauan media sosial dan QA web seluler ketika pengalaman pengguna ponsel menjadi objek penelitian. Gunakan residensial untuk pemantauan katalog dan pemeriksaan tingkat negara. Gunakan pusat data untuk pekerjaan bervolume tinggi pada halaman publik ketika kecepatan dan biaya paling penting serta akses otomatis diizinkan. Ketidakcocokan ke salah satu arah akan merugikan Anda, baik dari segi biaya maupun distorsi data yang tidak kentara.
Akurasi Penargetan Geografis Berdasarkan Pertanyaan Riset
Menguji apa yang ditampilkan situs di suatu negara berbeda dengan memperkirakan permintaan di negara tersebut. Kekeliruan dalam membedakan keduanya adalah penyebab banyak studi berbasis proxy gagal. Proxy efektif untuk tugas pertama dan, jika digunakan sendiri, kurang efektif untuk tugas kedua.
Penargetan geografis berarti situs web atau platform menyajikan konten berdasarkan perkiraan lokasi pengunjung. Geolokasi IP adalah perkiraan lokasi suatu alamat. Keduanya tidak sama dengan lokasi sebenarnya pelanggan, dan kesenjangan terbesar terjadi pada jaringan seluler.
Riset yang dirangkum oleh Internet Society melaporkan median kesalahan geolokasi seluler sekitar 179 hingga 207 km di berbagai penyedia yang diuji, dengan tingkat kegagalan melebihi 50% di sejumlah wilayah Afrika dan Asia, sementara tetap di bawah 20% di Eropa, menurut analisis Internet Society tentang geolokasi IP seluler. NAT operator, gateway terpusat, dan perutean dinamis dapat membuat IP publik ponsel berada jauh dari lokasi ponsel itu sendiri. Geolokasi broadband tetap jauh lebih andal.
Presisi lokasi yang dibutuhkan berdasarkan pertanyaan riset
| Pertanyaan penelitian | Tingkat presisi yang dibutuhkan | Pengaturan proxy | Cara memvalidasi |
|---|---|---|---|
| Pemeriksaan harga atau mata uang negara | Negara | IP residential atau mobile di negara target | Bandingkan mata uang dan rincian pajak yang ditampilkan dengan penelusuran manual dari negara yang sama |
| Ketersediaan regional atau kelayakan pengiriman | Wilayah atau kode pos, diverifikasi dan bukan diasumsikan | IP mobile pada operator target jika tersedia | Ulangi pengujian menggunakan beberapa IP dan sesi; catat variasinya |
| Perkiraan permintaan lokal untuk satu kota | Tingkat kota; geolokasi IP saja tidak cukup andal | Gunakan proxy hanya untuk menguji konten; kombinasikan dengan data pihak pertama atau panel | Validasi independen; laporkan rentang ketidakpastian |
| Pemeriksaan penayangan iklan di satu pasar | Negara, terkadang wilayah | IP mobile atau residential di pasar tersebut | Bandingkan materi iklan dan penempatan yang ditayangkan dengan laporan penayangan platform jika tersedia |
| QA varian bahasa atau lokal | Negara dan bahasa | IP apa pun dari dalam negara | Periksa bahasa halaman, pengaturan lokal, dan mata uang pada setiap pengujian |
Pemeriksaan tingkat negara untuk mata uang, bahasa, aturan kelayakan, dan promosi biasanya cukup andal untuk verifikasi konten dan harga. Kesimpulan tingkat kota perlu divalidasi secara independen sebelum dipublikasikan. Pilihan antara proxy bertarget geografis di tingkat negara, wilayah, atau operator harus mengikuti klaim yang ingin Anda buat, bukan opsi paling spesifik yang ditawarkan.
Lakukan validasi dengan rutinitas yang konsisten. Jalankan pengujian berulang menggunakan beberapa IP dan jaringan akses. Bandingkan metadata lokasi yang dikembalikan dengan endpoint yang diketahui, lalu catat apakah hasilnya bervariasi menurut operator dan sesi. Tentukan tingkat presisi sebelum membeli agar pengaturannya sesuai dengan pernyataan yang nantinya ingin Anda pertanggungjawabkan.
Fitur Proxy yang Layak Dibayar
Pilih fitur proxy berdasarkan dampaknya terhadap validitas penelitian. Akurasi geografis dan kontrol sesi menentukan halaman pasar dan harga yang dapat Anda amati, sementara kualitas pool memengaruhi seberapa sering Anda menjumpai IP yang digunakan ulang atau ditandai. Untuk penelitian yang berfokus pada teks, bandwidth bisa menjadi prioritas yang lebih rendah dibandingkan kontrol tersebut.
Sesi persisten dan rotasi mendukung kebutuhan pengumpulan data yang berbeda. Rotasi mengubah IP keluar di antara tugas yang terpisah. Sesi persisten mempertahankan satu identitas selama jangka waktu tertentu, sehingga membantu menjaga cookie, filter, keranjang, dan alur kerja bertahap. Cookie HTTP menghubungkan permintaan dengan status sisi server. Pertahankan satu identitas selama satu alur kerja yang diizinkan, lalu lakukan rotasi di antara alur kerja independen agar statusnya tidak tercampur.
Fitur proxy dan hal yang perlu diperiksa untuk setiap fitur
| Fitur | Yang dikontrol | Hal yang perlu diperiksa |
|---|---|---|
| Ukuran pool IP | Jumlah IP dan subnet berbeda yang dapat Anda gunakan | Jumlah IP unik untuk setiap negara target dan apakah pool tersebut digunakan bersama |
| Rotasi | Seberapa sering IP keluar berubah | Perubahan tetap, terjadwal, atau sesuai permintaan beserta pengaturan intervalnya |
| Sesi persisten | Durasi satu IP mempertahankan cookie dan status login | Durasi sesi maksimum dibandingkan dengan panjang satu alur kerja |
| Skor kepercayaan | Seberapa besar kemungkinan sebuah IP sudah ditandai | Metode yang dinyatakan penyedia dan hasil pengujian terhadap halaman yang diketahui |
| Bandwidth | Jumlah data yang dapat Anda transfer per bulan | Batas bulanan dibandingkan dengan rata-rata ukuran halaman dikalikan jumlah halaman per pengujian |
| Cakupan geografis | Negara dan operator yang dapat Anda targetkan | Negara yang disebutkan dan apakah operator mobile tertentu tersedia |
Anggap skor kepercayaan sebagai klaim penyedia yang perlu diverifikasi melalui pengujian Anda sendiri. Tanyakan cara pengukurannya, lalu bandingkan hasil dari halaman yang diketahui dengan penelusuran biasa. Pool yang besar dapat mengurangi penggunaan ulang IP, tetapi tidak menunjukkan apakah alamat di pasar target Anda cocok. Tanyakan jumlah IP per negara dan nilai halaman yang perlu diakses untuk penelitian Anda.
Perkirakan bandwidth sebelum berkomitmen. Kalikan rata-rata ukuran halaman dengan jumlah halaman per pengujian dan jumlah pengujian per bulan, lalu bandingkan perkiraannya dengan batas yang tersedia. Riset katalog yang kaya gambar dapat menggunakan jauh lebih banyak data daripada pengumpulan teks harga saja, jadi sesuaikan kuota dengan halaman yang ingin Anda ambil.
Gunakan tabel untuk meminta jawaban spesifik dari penyedia: lokasi yang tersedia, batas sesi, pengaturan rotasi, komposisi pool, dan ketentuan bandwidth. Setelah itu, nilai legitimasi pengumpulan data secara terpisah. Rancang berdasarkan akses yang diizinkan dan pertanyaan penelitian; menghindari permintaan yang tidak perlu dapat meningkatkan validitas dengan mengurangi perubahan status dan artefak pengumpulan data. Koneksi yang berhasil saja tidak membuktikan bahwa hasil yang diamati mewakili pasar.
Cara Menjalankan Alur Kerja Penelitian Berbasis Proxy
Pengumpulan data dapat menghasilkan halaman yang bersih, tetapi tetap keliru menggambarkan pasar. Susun alur kerja berdasarkan populasi yang perlu Anda ukur, lalu periksa apakah sampel yang dikumpulkan mendukung klaim yang ingin Anda buat. Dalam praktiknya, lebih sedikit permintaan dengan aturan pengambilan sampel yang jelas dapat menghasilkan temuan yang lebih mudah dipertanggungjawabkan daripada pengumpulan data luas yang tidak terstruktur.
Delapan langkah
Tentukan pertanyaan dan populasinya. Jelaskan daftar, harga, atau unggahan mana yang termasuk dalam pasar yang Anda ukur. Batasan ini menentukan cara Anda menilai cakupan dan kesimpulan yang dapat didukung oleh sampel.
Pilih jenis proxy dan tingkat presisi lokasi. Sesuaikan pengaturan dengan pertanyaan penelitian. Perbandingan harga tingkat negara dan perkiraan permintaan tingkat kota memerlukan tingkat presisi lokasi yang berbeda.
Pilih protokolnya. Klien web standar dapat menggunakan proxy HTTP atau HTTPS, dengan permintaan HTTPS diteruskan melalui metode CONNECT. Pilih SOCKS5 jika pengaturan pengumpulan data Anda memerlukan tunnel yang lebih umum dan berorientasi TCP. Mozilla mendokumentasikan keduanya sebagai jenis proxy yang berbeda, dengan SOCKS beroperasi pada tingkat yang lebih rendah daripada HTTP.
Uji koneksi sebelum pengumpulan data. Pada halaman yang diketahui, periksa IP publik yang terlihat, ASN, negara, perilaku DNS, TLS dan kompatibilitas browser, autentikasi, serta respons kesalahan. Atasi masalah identitas sebelum menjalankan pengumpulan data secara penuh.
Gunakan sesi persisten dalam satu alur kerja dan pisahkan identitas antarpekerjaan. Pertahankan satu pemeriksaan produk pada sesi yang sama sejak halaman dimuat hingga filter dan ketersediaan diperiksa. Tetapkan identitas terpisah untuk pekerjaan independen agar cookie dan status lainnya tidak terbawa di antara pekerjaan tersebut.
Catat permintaan dan tetapkan batas laju. Catat stempel waktu, endpoint, IP yang teramati, ASN, negara, kode respons, dan ID sesi untuk setiap permintaan. Hapus duplikasi daftar di antara pengujian dan batasi volume permintaan.
Bandingkan hasil dengan penelusuran biasa. Uji sampel terkontrol dari halaman yang diketahui menggunakan sesi manusia. Lacak cakupan menurut negara dan perangkat, serta tingkat halaman yang diblokir, CAPTCHA, dan duplikasi. Periksa apakah pengaturan mengubah daftar yang masuk ke dalam sampel, bukan hanya jumlah halaman yang dimuat.
Laporkan ketidakpastian. Bedakan jumlah yang diamati dari total hasil ekstrapolasi dan nyatakan batas cakupannya. Proses pengumpulan data yang berfungsi tidak dengan sendirinya membuktikan bahwa set data tersebut mewakili pasar.
Validasi penting karena celah pengumpulan dapat mendistorsi estimasi. Dalam studi USENIX Security yang membandingkan hasil scraping marketplace dengan basis data back-end yang disita, hasil scraping melewatkan sekitar 46% objek. Listing yang tercakup dan tidak tercakup juga berbeda signifikan dalam hal harga, jumlah tayangan, dan kategori produk. Estimasi berdasarkan ulasan dan data listing meremehkan total pendapatan hingga empat kali lipat.
Frekuensi pengumpulan memengaruhi cakupan dalam studi tersebut: satu atau dua kali scraping biasanya hanya mencakup sekitar 14% hingga 30% dari populasi yang mendasarinya. Lakukan pengumpulan berulang jika pertanyaannya memerlukannya, simpan stempel waktu, dan segmentasikan hasil berdasarkan popularitas, kategori, serta aktivitas penjual. Sebelum melakukan ekstrapolasi, bandingkan sampel dengan total yang diketahui.
Tiga Skenario Riset yang Dibahas
Sebuah tim ritel melacak harga katalog pesaing di Prancis. Tim tersebut memilih IP residensial di Prancis karena risetnya membahas harga di tingkat negara, menggunakan satu sesi sticky untuk setiap daftar kategori agar filter tetap konsisten, dan mengambil sampel listing populer terlebih dahulu karena pengumpulan tanpa batas menghasilkan cakupan yang bias. Tim tersebut dapat menyatakan harga rak di Prancis untuk kategori yang dijadikan sampel. Tim tersebut tidak dapat mengklaim telah menghasilkan indeks harga nasional.
Seorang pembeli media memverifikasi kampanye PPC di Belgia. Ia menggunakan IP mobile 4G pada operator lokal untuk melihat iklan seperti yang dilihat pengguna ponsel, memeriksa penempatan, lokalisasi halaman arahan, dan mata uang pada setiap proses, lalu membandingkan iklan yang ditayangkan dengan laporan penayangan dari platform. Ia dapat memastikan bahwa materi iklan ditayangkan di Belgia pada operator tersebut. Ia tidak dapat menyatakan berapa banyak pembeli di Belgia yang melihatnya.
Sebuah tim merek meninjau penyebutan merek di feed mobile dalam satu pasar menggunakan akun yang memang boleh mereka gunakan. Tim tersebut menetapkan satu identitas untuk setiap alur kerja, menjaga tingkat permintaan tetap rendah, dan menyimpan daftar tertulis feed yang diperiksa. Tim tersebut dapat menjelaskan sentimen di feed yang ditinjau. Tim tersebut tidak dapat menggambarkan seluruh percakapan di pasar.
Pastikan Kepatuhan Sebelum Memperluas Pilot
Sebelum mengumpulkan data pasar, tentukan apa yang perlu dipelajari tim dan apa yang tidak perlu disimpan. Halaman yang dapat diakses publik tetap bisa memuat informasi pribadi, sehingga desain riset yang baik membatasi pengumpulan hanya pada sinyal yang dibutuhkan untuk mengambil keputusan. Dalam praktiknya, jumlah permintaan yang lebih sedikit dapat menghasilkan set data yang lebih dapat dipertanggungjawabkan daripada rotasi yang luas dan agresif.
Jadikan kepatuhan sebagai bagian dari desain pengumpulan. GDPR dan CCPA mewajibkan transparansi dalam praktik data yang relevan, dan akses publik saja tidak menentukan apa yang boleh dikumpulkan atau disimpan oleh tim. Tinjau persyaratan kepatuhan sebelum pilot dimulai, selagi cakupan dan metode pengumpulan masih dapat diubah.
Tahapan sebelum memperluas cakupan
- Tujuan tertulis: Catat pertanyaan riset dan keputusan bisnis yang didukungnya. Ini memberi peninjau privasi dasar untuk menilai apakah pengumpulan dilakukan secara proporsional.
- Minimisasi data pribadi: Jangan sertakan nama pemberi komentar, pengenal akun, dan profil karyawan jika informasi tersebut tidak diperlukan untuk mengukur sinyal pasar.
- Dasar hukum dan retensi: Dokumentasikan dasar pemrosesan yang berlaku dan tetapkan tanggal penghapusan data mentah.
- Pembatasan akses: Patuhi arahan robots, ketentuan platform, dan batasan teknis yang berlaku. Jangan gunakan rotasi proxy untuk menghindarinya.
- Jejak audit: Catat sumber, tingkat permintaan, identitas proxy, dan stempel waktu agar peninjau dari tim hukum, pengadaan, atau keamanan dapat merekonstruksi proses pengumpulan.
Tahapan ini penting dalam intelijen kompetitif, verifikasi iklan, dan riset media sosial. Pengumpulan yang ditujukan untuk harga atau materi iklan juga dapat menangkap komentar, pengenal akun, atau informasi karyawan. Tetapkan batasan sebelum permintaan dimulai, dan pisahkan pengukuran pasar dari pengawasan data pribadi. Memisahkannya setelah pengumpulan dimulai bisa sulit.
Jalankan pilot dengan cakupan terbatas sebelum meningkatkan volume. Pilih satu pertanyaan, satu negara, dan satu jenis proxy, lalu bandingkan hasilnya dengan penelusuran biasa. Jika pengujian memerlukan koneksi 4G atau LTE lokal, pertimbangkan proxy mobile 4G seperti Evoproxy. Nilai apakah sampel mencerminkan audiens yang dituju dan apakah pengumpulan terdokumentasi, bukan seberapa banyak data yang dihimpun.
Jika riset memerlukan pemeriksaan harga, iklan, atau feed mobile sebagaimana dilihat pengguna ponsel lokal, Evoproxy menyediakan proxy mobile 4G dengan sesi berotasi dan sticky untuk pengujian terbatas. Mulailah dengan satu pasar dan satu pertanyaan, nilai seberapa representatif hasilnya, lalu kunjungi Evoproxy untuk menyiapkan pengujian.
