Jump to section
Overview
A/B testing adalah eksperimen terkontrol untuk mengukur dampak perubahan tertentu terhadap satu metrik utama. Panduan ini merangkum langkah yang benar, metrik yang relevan, dan jebakan umum yang sering mengaburkan hasil.
Mulai dari hipotesis berbasis data, pilih metrik primer, tentukan MDE dan ukuran sampel, susun rencana pelaksanaan dan QA lintas perangkat, lalu jalankan eksperimen dalam durasi yang cukup. Setelah selesai, analisis dengan metode yang konsisten (frequentist atau Bayesian), laporkan efek beserta interval/ketidakpastian, dan dokumentasikan keputusan.
Fokus pada kualitas instrumentasi, randomisasi yang adil, dan guardrail seperti retensi, AOV, atau latensi. Hindari peeking, perubahan di tengah jalan, serta SRM (sample ratio mismatch) yang menandakan masalah alokasi.
