Banyak tim pemasaran menyusun pesan broadcast berdasarkan selera, lalu menyimpulkan kampanye berhasil atau gagal tanpa tahu bagian mana yang berpengaruh. Padahal perbedaan kecil pada kalimat pembuka atau teks tombol bisa mengubah hasil secara signifikan.
A/B testing menjawab persoalan ini dengan membandingkan dua versi pesan pada kondisi yang sama. Artikel ini menjelaskan cara A/B testing pesan broadcast WhatsApp secara benar, termasuk keterbatasan yang khas pada kanal ini.
Apa yang Bisa dan Tidak Bisa Diuji
Pada WhatsApp, pengujian memiliki batasan yang tidak ada di kanal lain seperti email. Karena setiap variasi pesan harus berbentuk template yang disetujui Meta, Anda perlu mengajukan dua template terpisah sebelum pengujian bisa dijalankan.
Ini berarti pengujian butuh perencanaan lebih awal dan tidak bisa dilakukan mendadak. Ajukan kedua versi bersamaan dan tunggu keduanya disetujui sebelum menjadwalkan kampanye.
- Bisa diuji: kalimat pembuka, panjang pesan, gaya bahasa formal atau santai, penempatan penawaran, teks tombol, jenis header, dan waktu pengiriman.
- Sulit diuji: elemen yang memerlukan perubahan struktur kategori template, karena pergantian kategori mengubah biaya dan sifat pesan.
Menentukan Satu Variabel per Pengujian
Kesalahan paling umum adalah mengubah banyak hal sekaligus. Versi A memakai bahasa formal dengan tombol tautan, versi B memakai bahasa santai dengan tombol balasan cepat dan header gambar. Ketika versi B menang, Anda tidak tahu penyebabnya yang mana.
Ubah satu hal saja per pengujian. Jika ingin menguji beberapa elemen, lakukan berurutan: uji kalimat pembuka dulu, tetapkan pemenangnya, lalu uji teks tombol pada kampanye berikutnya.
Pendekatan ini terasa lambat, tetapi menghasilkan pengetahuan yang benar-benar bisa dipakai ulang. Dalam beberapa bulan, Anda akan memiliki kumpulan temuan yang meningkatkan performa seluruh kampanye.
Menyusun Hipotesis Sebelum Menguji
Pengujian tanpa hipotesis hanya menghasilkan angka tanpa pelajaran. Sebelum menjalankan, tuliskan apa yang Anda duga akan terjadi dan mengapa.
Contoh hipotesis yang baik: menyebutkan nama produk yang pernah dilihat pelanggan pada kalimat pembuka akan meningkatkan tingkat balasan, karena pesan terasa relevan dengan minat mereka.
Hipotesis semacam ini memberi arah pada penyusunan variasi dan membuat hasilnya bermakna, terlepas versi mana yang menang. Bahkan hipotesis yang terbukti salah tetap memberi pelajaran tentang perilaku audiens Anda.
Membagi Sampel dengan Benar
Pembagian sampel yang keliru membuat hasil pengujian tidak dapat dipercaya. Perhatikan beberapa hal berikut.
- Bagi secara acak, bukan berurutan. Membagi berdasarkan urutan pendaftaran membuat kedua kelompok memiliki karakteristik berbeda.
- Pastikan ukuran sampel memadai. Menguji pada seratus penerima jarang menghasilkan perbedaan yang meyakinkan.
- Kirim pada waktu bersamaan. Kecuali waktu itu sendiri yang sedang diuji.
- Gunakan segmen yang sebanding. Jangan membandingkan pelanggan baru dengan pelanggan lama.
Untuk bisnis dengan daftar penerima terbatas, pertimbangkan menguji pada seluruh daftar yang dibagi dua, bukan menyisihkan sebagian kecil. Hasilnya lebih meyakinkan meski konsekuensinya sebagian penerima menerima versi yang kalah.
Metrik yang Perlu Diukur
Metrik yang dipilih menentukan kesimpulan Anda. Beberapa metrik terlihat menarik tetapi tidak menjawab pertanyaan bisnis yang sebenarnya.
Tingkat terkirim menunjukkan berapa pesan yang sampai. Berguna untuk mendeteksi masalah teknis, tetapi tidak mencerminkan kualitas pesan.
Tingkat dibaca menunjukkan berapa banyak yang membuka. Dipengaruhi kuat oleh waktu pengiriman dan pratinjau pesan.
Tingkat balasan atau klik tombol adalah indikator keterlibatan yang jauh lebih bermakna, karena menunjukkan penerima benar-benar tergerak.
Konversi adalah metrik akhir yang paling penting: berapa yang benar-benar membeli atau melakukan tindakan yang diinginkan. Inilah yang seharusnya menjadi dasar keputusan.
Pantau juga tingkat pemblokiran dan permintaan berhenti pada masing-masing versi. Versi yang menang dalam konversi tetapi memicu banyak pemblokiran bukan kemenangan yang berkelanjutan.
Membaca Hasil Tanpa Salah Simpul
Perbedaan kecil pada sampel kecil biasanya hanyalah kebetulan. Sebelum menyatakan pemenang, pastikan selisihnya cukup besar dan konsisten.
Hindari juga menghentikan pengujian di tengah jalan begitu satu versi terlihat unggul. Perilaku penerima berbeda antara jam pertama dan hari kedua, dan kesimpulan yang diambil terlalu dini sering keliru.
Perhatikan pula faktor luar yang bisa mengganggu: promosi kompetitor, hari libur, atau gangguan sistem. Jika terjadi sesuatu yang tidak biasa selama periode pengujian, sebaiknya ulangi pada periode normal.
Menentukan Berapa Lama Pengujian Berjalan
Durasi pengujian memengaruhi keandalan hasilnya. Terlalu singkat, kesimpulannya rapuh. Terlalu panjang, keputusan tertunda dan kondisi pasar bisa berubah.
Untuk pesan broadcast, sebagian besar interaksi terjadi dalam beberapa jam pertama setelah pengiriman, tetapi ekor responsnya bisa berlanjut sampai satu hingga dua hari. Tunggu minimal 48 jam sebelum membaca hasil akhir agar penerima yang membuka pesan belakangan ikut terhitung.
Jika pengujian menyangkut konversi penjualan, sesuaikan dengan siklus pembelian produk Anda. Produk dengan pertimbangan panjang membutuhkan jendela pengamatan lebih lama dibanding produk impulsif.
Menjalankan Pengujian pada Daftar Kecil
Tidak semua bisnis memiliki puluhan ribu kontak. Bagi yang daftarnya hanya beberapa ratus, pengujian tetap mungkin dilakukan dengan penyesuaian.
Alih-alih membandingkan dua versi dalam satu kampanye, jalankan pengujian berurutan antar kampanye. Kampanye bulan ini memakai versi A, bulan depan memakai versi B dengan segmen dan jenis penawaran serupa. Bandingkan hasilnya.
Metode ini kurang ideal karena kondisi antar bulan bisa berbeda, tetapi tetap memberi gambaran yang lebih baik daripada tidak menguji sama sekali. Kumpulkan hasil dari beberapa siklus sebelum menarik kesimpulan, dan hindari mengubah faktor lain di antara dua kampanye.
Menerapkan dan Mendokumentasikan Temuan
Pengujian baru bernilai jika hasilnya dipakai. Setelah pemenang ditetapkan, terapkan pada kampanye berikutnya dan jadikan sebagai dasar baru untuk pengujian selanjutnya.
Dokumentasikan setiap pengujian dalam catatan sederhana: apa yang diuji, hipotesisnya, ukuran sampel, hasilnya, dan kesimpulan yang diambil. Tanpa dokumentasi, tim akan mengulang pengujian yang sama beberapa bulan kemudian.
Catatan ini juga berguna untuk anggota tim baru, yang bisa langsung memahami preferensi audiens tanpa harus mengulang proses belajar dari nol.
Ide Pengujian untuk Dicoba
Jika belum tahu harus mulai dari mana, beberapa pengujian berikut biasanya memberikan temuan paling cepat.
- Menyebut nama penerima di kalimat pembuka dibandingkan sapaan umum.
- Menyebutkan besaran diskon dalam persentase dibandingkan nominal rupiah.
- Mencantumkan batas waktu penawaran dibandingkan tanpa batas waktu.
- Teks tombol yang menyatakan aksi seperti lihat katalog dibandingkan yang umum seperti selengkapnya.
- Pesan pendek dua kalimat dibandingkan pesan lebih lengkap dengan rincian.
- Pengiriman siang hari dibandingkan sore menjelang malam.
Menguji Waktu Pengiriman
Waktu sering kali berpengaruh lebih besar daripada isi pesan, tetapi jarang diuji secara sistematis karena terasa sulit dikendalikan.
Cara menjalankannya sederhana: kirim template yang sama persis ke dua kelompok acak pada dua waktu berbeda di hari yang sama. Bandingkan tingkat dibaca dan tingkat balasan keduanya.
Ulangi pada beberapa hari berbeda sebelum menyimpulkan, karena pola satu hari bisa dipengaruhi kejadian khusus. Setelah menemukan rentang waktu terbaik, jadikan standar untuk kampanye berikutnya dan uji ulang setiap beberapa bulan karena kebiasaan audiens dapat bergeser.
Keterbatasan yang Perlu Disadari
A/B testing di WhatsApp punya beberapa kendala praktis yang perlu diterima. Kebutuhan menyetujui dua template membuat siklus pengujian lebih lambat dibanding kanal lain. Daftar penerima yang terbatas juga membuat sebagian bisnis sulit mencapai ukuran sampel yang meyakinkan.
Selain itu, batas kuota pengiriman harian membatasi seberapa besar pengujian bisa dijalankan sekaligus. Untuk bisnis dengan tingkat pengiriman rendah, pengujian mungkin perlu dijalankan bertahap selama beberapa hari.
Kendala ini bukan alasan untuk tidak menguji, tetapi alasan untuk memilih pengujian yang benar-benar penting. Uji hal yang berdampak besar, bukan detail kecil yang selisihnya tidak akan terdeteksi.
Penutup
A/B testing mengubah penyusunan pesan broadcast dari urusan selera menjadi keputusan berbasis bukti. Mulailah dari satu pengujian sederhana pada kampanye berikutnya, dokumentasikan hasilnya, lalu bangun dari sana.
Dalam beberapa bulan, kumpulan temuan yang Anda miliki akan jauh lebih berharga daripada praktik terbaik umum mana pun, karena berasal dari audiens Anda sendiri.
Layanan WhatsApp Broadcast resmi Mobichat menyediakan pelaporan per kampanye mulai dari tingkat terkirim, dibaca, sampai interaksi tombol, sehingga perbandingan antar versi pesan bisa dilakukan tanpa perhitungan manual.
