Scraping Instagram Tanpa Kena Block
The problem
Mengumpulkan data publik dari Instagram menghadapi dua tembok: halaman login dan deteksi bot.
Stack yang dipakai
Tool internal ini memadukan instagrapi dengan beberapa trik:
- Fresh sessions — regenerasi file sesi, jangan pakai sesi basi
- Rate limit — jeda antar request yang disesuaikan
- Frontend Streamlit — lapisan tipis supaya tim bisa menjalankannya tanpa menyentuh kode
Aturan praktis
- Hormati rate limit yang kamu buat sendiri
- Cache sesi, jangan tarik ulang data yang sudah ada
- Bedakan error karena block vs error teknis
- Batasi volume harian
Penutup
Perlakukan scraping sebagai engineering berskala: nilai ada di scraper yang tetap hidup, bukan di throughput.