Artımsallık Testi (Incrementality Testing)
Artımsallık testi (incrementality testing), bir pazarlama kampanyasının, o kampanya olmasaydı zaten gerçekleşecek olanın ötesinde gerçekten yarattığı ek dönüşümleri ölçer.
Önemli noktalar
- Lift, test ve holdout grupları arasındaki farktır; platformun raporladığı dönüşüm sayısı değildir.
- Nedensellik iddiasını yalnızca rastgele atama meşrulaştırır; kolaylık için yapılan bölmeler meşrulaştırmaz.
- Holdout büyüklüğü, istatistiksel hassasiyeti bilerek vazgeçilen gelirle takas eder.
- Temel oran, örneklem büyüklüğü ve beklenen etki birlikte gereken test süresini belirler.
- Bir lift değeri yalnızca test edilen kitle, bütçe ve dönem için geçerlidir.
Derinlemesine
Artımsallık testi, bir kitleyi rastgele biçimde kampanyayı görebilen bir test grubuna ve göremeyen bir holdout grubuna ayırır, ardından iki grubun dönüşüm oranını karşılaştırır. Aradaki fark artımsal liftitir; artımsal dönüşümleri test grubunun dönüşümlerine bölmek, sonuçların kampanyanın gerçekten yarattığı payını verir. Karşılaştırmayı geçerli kılan şey rastgele atamadır: atama kişinin niyetinden bağımsız yapıldığı için iki grup da aynı temel talebi taşır ve geriye kalan fark, gruplara kimin düştüğüne değil yalnızca reklama maruz kalmaya atfedilebilir hale gelir. Bu nedenle sonuç, standart raporlardan daha güçlü bir kanıt sayılır.
Ne kadar liftin saptanabileceği; örneklem büyüklüğüne, temel dönüşüm oranına ve gerçek etkinin boyutuna bağlıdır. Seyrek gerçekleşen dönüşümlerdeki küçük etkiler çok büyük kitleler veya çok uzun süreler ister; bu yüzden ekipler lifti çoğu zaman daha erken ve daha sık gerçekleşen bir olayda ölçer. Holdout büyüklüğü temel ödünleşimdir: büyük bir holdout güven aralığını daraltır ama bilinçli olarak gelirden vazgeçer. Coğrafi bölmeler kullanıcı düzeyinde takip gerektirmez, karşılığında hassasiyet kaybettirir; çünkü bölgeler, kişi düzeyinde rastgele atamanın dengeleyeceği özellikler bakımından birbirinden ayrışır.
İşe yarar bir test; yazılı bir hipotezle, önceden belirlenmiş bir başarı metriğiyle ve lansmandan önce hesaplanmış bir süreyle başlar, sonuçlar iyi göründüğünde seçilen bir süreyle değil. Sonuç metriğinin seçimi tasarım kadar önemlidir. Tıklama ya da ham form doldurma saymak, var olan talebi hasat eden kampanyaları ödüllendirir; niteliklendirme scorecard'ından gelen yüksek puanlı lead'leri saymak ise kampanyanın uygun alıcılar getirip getirmediğini ölçer. Aynı test yapısını her seferinde tek bir kanalda tekrarlamak, birkaç çeyrek içinde karşılaştırılabilir bir lift tahminleri arşivi oluşturur.
Bir lift tahmini yalnızca test edilen kitle, bütçe düzeyi ve dönem için geçerlidir; kendiliğinden başka bağlamlara taşınmaz. Mütevazı harcamada artımsal olan bir kanal, bütçe üçe katlandığında doygunluğa ulaşabilir; yani sonuç örtük bir tavan taşır. Uzun değerlendirme döngüleri de zorlayıcıdır, çünkü holdout tipik bir anlaşmanın süresinden daha uzun süre baskılanmak zorundadır. Ölçüm bittikten sonra ortaya çıkan marka etkileri de bu tasarımın kapsamı dışında kalır. Organik arama, tavsiye ya da paylaşılan bir cihaz üzerinden sızma, tasarımın varsaydığı ayrımı bozar ve ölçülen lifti aşağı çeker.
Pratikte örnek
Nasıl ölçülür
Ana rakam artımsal lifttir: test grubundaki dönüşümlerden, aynı grup büyüklüğüne ölçeklenmiş holdout dönüşümlerinin çıkarılması ve bunun test grubu toplamına oranlanması. Bunu her seferinde bir güven aralığıyla birlikte raporlayın; çünkü aralığı eksi beş ile otuz arasında gezinen yüzde on ikilik bir lift, üzerine bütçe kararı kurulabilecek bir sonuç değildir. Liftin hangi olaya ait olduğunu da her zaman yazın; tıklama üzerindeki lift ile nitelikli lead üzerindeki lift birbirinden tamamen farklı iki ifadedir.
Ardından lifti maliyete çevirin. Kampanya harcamasını artımsal dönüşüm sayısına bölerek artımsal edinme maliyetini bulun ve bunu platformun raporladığı karma rakamla karşılaştırın; aradaki fark fazla kredilendirmenin büyüklüğüdür. Niteliklendirme hunilerinde aynı hesabı yalnızca yüksek puanlı lead'ler üzerinde yapın, çünkü uyumsuz lead'lerdeki artımsal hacme para ödemeye değmez. İki rakamı yan yana raporlamak, hangi kanalın ucuz hacim, hangisinin gerçek pipeline ürettiğini tek bakışta gösterir.
Sık yapılan hatalar
Uygulayıcılar testi çoğu zaman test grubunun öne geçtiği ilk gün durdurur. Dönüşüm sayıları başlangıçta dalgalanır, bu yüzden erken bir bakış neredeyse her zaman henüz oturmamış bir fark gösterir. Gereken örneklemi lansmandan önce temel oranınızdan ve karar vermeye değecek en küçük liftten hesaplayın, sonra bu sayıya ulaşana kadar teste dokunmayın. Cevap daha erken gerekiyorsa örneklemi değil sorunun kapsamını küçültün ve daha büyük, daha kolay saptanabilir bir etkiyi test edin.
İkinci başarısızlık, sızdıran bir holdout grubudur. Bir kanalı durdururken retargeting, e-posta ve organik aramanın aynı kişilere ulaşmayı sürdürmesi neredeyse hiçbir şey ölçmez ve ortaya çıkan küçük lift, kanalın değersiz olduğunun kanıtı gibi okunur. Lansmandan önce holdout grubunun hâlâ maruz kalabileceği her yolu listeleyin ve her birini ya baskılayın ya da raporda açıkça belgeleyin; kapatılamayan her yol tahmini aşağı yönde saptırır.
Sıkça sorulan sorular
Holdout grubu nedir?
Holdout grubu, hedef kitlenizin bir kampanyaya kasıtlı olarak maruz bırakılmayan, kontrol olarak kullanılan rastgele bir bölümüdür. Maruz kalan grup ile holdout arasındaki sonuçları karşılaştırmak, kampanyanın ürettiği gerçek artışı ortaya koyar.
B2B artımsallık testleri neden sık başarısız olur?
Uzun satış döngüleri ve düşük haftalık dönüşüm hacimleri istatistiksel anlamlılığa ulaşmayı zorlaştırır, bu yüzden yetersiz güçlü testler gürültülü ve yanıltıcı sonuçlar üretir. Testi yeterince uzun yürütmek ve kontrolü kirlenmeden korumak geçerli bir okuma için şarttır.
Holdout grubu ne kadar büyük olmalı?
Karar vermeye değecek en küçük liftin istatistiksel olarak saptanabileceği kadar büyük olmalı; bu da temel dönüşüm oranınızdan ve mevcut trafikten çıkar. Yüksek hacimli kampanyalarda yüzde beş ile on arasında bir holdout yaygın bir başparmak kuralıdır, ancak düşük hacimli B2B programları aynı kesinliğe ulaşmak için çok daha büyük bir pay veya daha uzun süre ister.
Artımsallık testi ile ilişkilendirme arasındaki fark nedir?
İlişkilendirme, kaydedilmiş temas noktaları arasında krediyi paylaştırır; artımsallık ise dönüşümün kampanya olmasa da gerçekleşip gerçekleşmeyeceğini sorar. İlişkilendirme hasat edilen talebi yaratılan talepten ayıramaz, çünkü yalnızca dönüşen kişileri görür. Artımsallık testi holdout sayesinde karşı olguyu görür; iki yöntemin özellikle markalı arama ve retargeting gibi kalemlerde sık sık birbiriyle çelişmesinin asıl nedeni budur.
Bir artımsallık testi ne kadar sürmeli?
En az bir tam dönüşüm döngüsünü, artı hesaplanan örneklemi biriktirmek için gereken süreyi kapsayacak kadar. Lead'lerin üç haftada kapandığı bir hunide iki haftalık bir test, hâlâ yolda olan dönüşümleri keser ve lifti olduğundan düşük gösterir. Bitiş tarihini lansmandan önce belirleyin ve sonuç beklediğiniz gibi çıkmadı diye süreyi uzatmayın.
Coğrafi holdout testi nedir?
Kampanyayı tek tek kullanıcılardan değil, rastgele seçilmiş bir bölge kümesinden esirgeyen ve iki bölge kümesinin sonuçlarını karşılaştıran bir tasarımdır. Kullanıcı düzeyinde tanımlayıcı gerektirmediği için gizlilik kısıtlı kanallara ve çevrimdışı mecralara uyar. Bedeli hassasiyettir: bölgeler mevsimsellik, rekabet ve müşteri karması açısından farklıdır, bu yüzden çok sayıda ve eşleştirilmiş bölge gerekir.
Bir kampanya negatif artımsallık gösterebilir mi?
Evet ve bu ekiplerin beklediğinden daha sık görülür. Retargeting ve markalı arama çoğu zaman zaten dönüşecek kişilere ulaşır; ücretli harcama organik dönüşümleri yamyamlaştırır ve ölçülen lift sıfıra yakın ya da hafif altında çıkar. Negatif veya sıfır sonuç, o yerleşimdeki harcamayı azaltmak için bir gerekçedir, testin bozuk olduğunun kanıtı değildir.
Artımsallık testleri ne sıklıkla tekrarlanmalı?
Önemli bir girdi değiştiğinde: bütçe düzeyi, kitle tanımı, kreatif strateji veya mevsimsellik. Doygunluk ve rekabet değiştiği için lift tahminleri eskir; birkaç çeyrekten daha eski bir sonucu gerçek değil hipotez olarak ele alın. Birçok ekip kalıcı holdout'lar tutmak yerine dönüşümlü olarak çeyrek başına bir kanal testi yürütür.