A/B Test İleri
📌 Nereden Geliyoruz?
Lookalike ve Retargeting dersinde farklı kitle stratejilerini test etmeyi ve reklam setleri arasında performans karşılaştırmasını öğrendiniz. Şimdi uzmanlaşma seviyesine geçiyoruz: Meta Experiments aracıyla kontrollü A/B testleri, holdout testleri, istatistiksel anlamlılık değerlendirmesi ve test sonuçlarını kampanya stratejisine dönüştürmeyi ele alıyoruz.
1. Meta Experiments Aracı
Meta'nın Experiments aracı, kontrollü A/B testleri oluşturmanızı sağlar. Manuel "iki reklam koyup karşılaştırma" yönteminden çok daha güvenilir sonuçlar verir çünkü kitle örtüşmesini engeller.
a) Experiments Türleri
- A/B Test: İki veya daha fazla kampanya/reklam seti/reklam arasında kontrollü karşılaştırma. Kitleler birbirinden izole edilir.
- Holdout Test: Reklamları görmeyecek bir kontrol grubu oluşturarak reklamların gerçek artımlı (incremental) etkisini ölçer.
- Brand Survey (Brand Lift): Marka bilinirliği, reklam hatırlama gibi metrikleri anket yoluyla ölçer (yüksek bütçe gerektirir).
- Conversion Lift: Dönüşüm bazlı artımlı etki ölçümü (Meta ile özel düzenleme gerektirir).
graph TD
EXP["🧪 Meta Experiments"] --> AB["A/B Test\nKontrollü karşılaştırma"]
EXP --> HO["Holdout Test\nArtımlı etki ölçümü"]
EXP --> BL["Brand Lift\nMarka etkisi anketi"]
EXP --> CL["Conversion Lift\nDönüşüm artış ölçümü"]
AB --> AB1["Kitle izolasyonu\nOverlap yok"]
HO --> HO1["Kontrol grubu\nReklam görmez"]
BL --> BL1["Yüksek bütçe\nAnket bazlı"]
CL --> CL1["Meta ile düzenleme\nÖzel erişim"]
style AB fill:#DCFCE7,stroke:#22C55E
style HO fill:#E8F6FC,stroke:#29ABE2
style BL fill:#FEF3C7,stroke:#F59E0B
style CL fill:#F5F7FA,stroke:#2D3A4A
b) A/B Test Oluşturma Adımları
- Ads Manager > Experiments sekmesine gidin.
- "A/B Test" seçin ve test edeceğiniz değişkeni belirleyin.
- Mevcut kampanyaları seçin veya yeni oluşturun.
- Test süresini ve başarı metriğini (KPI) belirleyin.
- Testi başlatın ve minimum süre dolmadan durdurmayın.
2. Doğru Test Kurulumu
A/B testinin güvenilir sonuç vermesi için belirli kurallara uyulması gerekir.
a) Tek Değişken Kuralı
Her testte yalnızca bir değişken farklı olmalıdır. Aynı anda hem görseli hem hedef kitleyi değiştirirseniz, hangi faktörün sonucu etkilediğini bilemezsiniz.
| Test Edilebilir Değişken | Sabit Tutulanlar |
|---|---|
| Kreatif (görsel/video) | Kitle, bütçe, yerleşim, teklif stratejisi |
| Hedef kitle | Kreatif, bütçe, yerleşim, teklif stratejisi |
| Yerleşim | Kreatif, kitle, bütçe, teklif stratejisi |
| Optimizasyon hedefi | Kreatif, kitle, bütçe, yerleşim |
🎯 Benzetme: A/B test tek değişken kuralı, bilimsel deneylerdeki "kontrol grubu" mantığıyla aynıdır. Bir ilacı test ederken hem dozu hem uygulama şeklini aynı anda değiştirirseniz, hangisinin etkili olduğunu bilemezsiniz.
b) Yeterli Bütçe ve Süre
- Minimum süre: 7 gün (Meta'nın öğrenme fazını tamamlaması için).
- Önerilen süre: 14 gün (daha güvenilir sonuç).
- Minimum bütçe: Her varyant için en az 30-50 dönüşüm event'i toplayacak kadar bütçe ayırın.
- Eşit dağılım: Test gruplarına eşit bütçe verin.
3. İstatistiksel Anlamlılık
A/B testin güvenilirliği, istatistiksel anlamlılık (statistical significance) ile ölçülür.
a) Confidence Level (Güven Düzeyi)
Meta, testin sonucunu %95 güven düzeyinde raporlar. Bu, sonucun rastlantısal olma olasılığının %5'in altında olduğu anlamına gelir.
graph LR
TEST["🧪 A/B Test Sonucu"] --> SIG["✅ İstatistiksel Anlamlı\n(Confidence ≥ %95)"]
TEST --> NOSIG["❌ Anlamlı Değil\n(Confidence < %95)"]
SIG --> ACTION1["Kazanan varyantı\nölçeklendirin"]
NOSIG --> ACTION2["Testi uzatın veya\ndaha büyük farkla\nyeni test yapın"]
style SIG fill:#DCFCE7,stroke:#22C55E
style NOSIG fill:#FEE2E2,stroke:#EF4444
b) Sonuçları Yorumlama
- Kazanan belirgin: Confidence %95+ ise kazananı ölçeklendirin.
- Fark küçük: Confidence %90 civarında ise testi uzatın veya daha büyük örneklem toplayın.
- Sonuç yok: İki varyant eşit performans gösteriyorsa, daha radikal değişikliklerle yeni test yapın.
🚫 Yaygın Yanılgı
❌ Yanlış: "Kazanan varyant belirlendi = sonsuza kadar kullan"
✅ Doğru: A/B test kazananları kalıcı değildir. Kitle doygunluğu (audience fatigue), mevsimsellik, rakip değişiklikleri ve platform algoritma güncellemeleri nedeniyle bugünün kazanan varyantı birkaç hafta sonra performans kaybedebilir. Test kazananlarını uyguladıktan sonra düzenli olarak yeni testler yapın ve sonuçları sürekli doğrulayın.
4. Yaygın A/B Test Hataları
Test sonuçlarını geçersiz kılan en sık karşılaşılan hatalar:
a) Kurulum Hataları
- Birden fazla değişken: Hem görseli hem kitleyi değiştirmek.
- Kitle örtüşmesi: Experiments kullanmadan iki reklam setini "karşılaştırmak" — aynı kişiler her iki reklamı da görebilir.
- Yetersiz bütçe: Her varyant için çok az dönüşüm event'i (< 30).
- Çok kısa süre: 2-3 günde testi sonlandırmak.
b) Analiz Hataları
- Erken durdurma: İlk 2 günde "kazanan" göründüğünde testi kapatmak — erken veriler yanıltıcıdır.
- Yanlış metrik: Dönüşüm hedefli bir kampanyada CTR'ye bakarak karar vermek.
- Mevsimsellik: Black Friday haftasında yapılan testin sonuçlarını normal döneme genellemek.
⚠️ Uyarı: A/B testi Experiments aracı dışında yapmak (iki ayrı reklam seti oluşturup "hangisi daha iyi" demek), kitle örtüşmesi nedeniyle güvenilir sonuç vermez. Meta'nın Experiments aracı kitleyi bölerek overlap'i engeller.
💡 İpucu: Her ay düzenli olarak en az bir A/B testi çalıştırın. Test etmediğiniz sürece "en iyi" dediğiniz strateji aslında "şu ana kadar denediğiniz tek strateji" olabilir.
🎯 Bu Dersten Öğrenmen Gerekenler
- Meta Experiments aracıyla kitle örtüşmesini engelleyen kontrollü A/B testleri kurabilirsin.
- Tek değişken kuralına uyarak güvenilir test sonuçları elde edebilirsin.
- %95 güven düzeyine ulaşmadan test sonlandırmama disiplinini uygulayabilirsin.
- Holdout test ve Conversion Lift ile reklamların gerçek inkremental etkisini ölçebilirsin.