Açılış Sayfası Varyantı
Açılış sayfası varyantı, hangisinin daha iyi dönüştüğünü görmek için orijinale (kontrole) karşı test edilen alternatif bir sayfa sürümüdür.
Önemli noktalar
- Kontrol temel çizgiyi verir; varyant ondan tanımlı bir biçimde ayrılır.
- Rastgele ve kalıcı atama, trafik dağılımının farkı açıklamasını engeller.
- Her ek kol örneklemi böler ve karar süresini uzatır.
- Gereken örneklem, takvime değil harekete değecek en küçük artışa bağlıdır.
- Harmanlanmış trafikte kazanan, tek tek kaynaklarda ya da cihazlarda kaybedebilir.
Derinlemesine
Varyant, deneyde kontrolün yanında tutulan işlenmiş bir sayfa sürümüdür. Gelen ziyaretçiler karma bir kimlikle bir kola atanır, atama saklanır ki tekrar gelen aynı sürümü görsün ve her dönüşüm onu üreten kola yazılır. Atama rastgele olduğu için cihaz dağılımı, trafik kaynağı ve günün saati kollara eşit dağılır. Böylece dönüşüm oranındaki kalan fark, kimin geldiğine değil yapılan değişikliğe atfedilebilir.
Kaç varyantın anlamlı olduğunu trafik belirler. Aynı ziyaretçiyi dört kola bölmek her kola örneklemin dörtte birini bırakır ve karar süresini belirgin biçimde uzatır. Değişikliğin büyüklüğü de aynı ölçüde önemlidir: teklifi yeniden çerçeveleyen bir başlık metriği hızla hareket ettirir, düğme tonu ise nadiren; onu test etmek haftalarca trafik yakar. Cesur varyantlar daha erken sonuçlanır ama hangi öğenin işe yaradığını daha az öğretir.
İşleyen yöntem şudur: kontrolü adlandırın, başlamadan önce tek bir birincil metrik ilan edin, harekete değecek en küçük artış için gereken örneklemi hesaplayın ve hafta içi ile hafta sonunun ikisi de temsil edilsin diye tam iş döngüleri boyunca çalıştırın. Scorecard hunisi buna uygundur çünkü aşamaları temiz ayrışır: quiz'i çerçeveleyen giriş sayfası, soru dizisi ve uzunluğu, lead yakalama adımı. Diğerleri sabitken tek aşamayı test etmek okumayı yorumlanabilir tutar.
İnce trafikte yöntem çöker. Kol başına birkaç yüz dönüşümün altında gözlenen farkların çoğu gürültüdür; yine de yürütmek, ekip folkloruna dönüşen kendinden emin bir saçmalık üretir. Varyantlar ölçüm penceresinden sonra ortaya çıkan etkileri de yargılayamaz; örneğin daha çok form doldurtan ama hiç satın almayan lead çeken bir sürümü. Yenilik etkisi erken dönemde geri dönen ziyaretçi segmentlerini bozar ve harmanlanmış kazanan tek tek kaynaklarda kaybedebilir.
Pratikte örnek
Nasıl ölçülür
Kol başına ziyaretçi yerine kol başına dönüşümü okuyun; tahminin ne kadar hassas olduğunu dönüşüm sayısı belirler. Farkın yanında etrafındaki aralığın genişliğine de bakın: büyük bir artış gösterse de aralığı sıfırı kapsayan bir varyant hiçbir şeye karar vermemiştir. Gerçekleşen dağılımın yapılandırdığınızla eşleştiğini de doğrulayın; uyumsuzluk genellikle atama ya da yönlendirme hatasına işaret eder.
Test kapandıktan sonra aynı veriyi kaynağa, cihaza ve yeni ile geri dönen ziyaretçiye göre bölümleyip sonucun her yerde tutup tutmadığına bakın. Ardından kazananı huninin aşağısına kadar izleyin: yalnızca gönderimi değil, bin ziyaretçi başına nitelikli lead, alınan randevu veya geliri karşılaştırın. Böylece eşiği düşürerek form sayısını artıran bir varyant, yeni kontrol olmadan yakalanır.
Sık yapılan hatalar
Baskın hata, teste ara ara bakmaktır. Ekipler her gün panoyu izler ve varyant öne geçer geçmez durdurur. Oysa erken farklar geniş biçimde salınır; keyfi bir durdurma noktası, üretimde buharlaşan kazananlar imal eder. Örneklem büyüklüğünü ve bitiş tarihini başlamadan önce belirleyip onlara sadık kalın ya da ara bakışlar için tasarlanmış sıralı bir yöntem kullanın.
İkinci hata, altı şeyi aynı anda değiştirip topluca yayına alınan varyanttır. Ekip sayfanın kazandığını öğrenir, hangi parçanın kazandırdığını öğrenemez ve zayıf öğeleri sonraki tüm sayfalara taşır. İstemci tarafında değiştirme bunu ağırlaştırır: kontrol önce boyanır ve varyanta doğru titrer, bu da varyantın kendi sayılarını düşürür. Varyantları sunucu tarafında işleyin ya da titremeyi de ölçtüğünüzü kabul edin.
Sıkça sorulan sorular
Bir varyant neyi değiştirmeli?
Önce yüksek etkili öğeleri test edin: başlık, ana eylem çağrısı, hero ya da form uzunluğu. Aynı anda çok şey değiştirmek, sonucu hangi değişikliğin getirdiğini ayırt etmenizi engeller.
Aynı anda kaç varyant test edilebilir?
Trafiğinizin taşıdığı kadar; çoğu B2B sayfası için bu iki, bazen üç demektir. Her ek kol örneklemi böler: dört kol, aynı hassasiyet için düz bir A/B testinin yaklaşık dört katı trafik ister. Test bir iki aydan uzun sürecekse gereken örneklemi değil kol sayısını azaltın.
Bir açılış sayfası testi ne kadar sürmeli?
Başlamadan önce hesapladığınız örnekleme ulaşana kadar ve asla tam bir iş döngüsünden kısa değil. Hafta içi ile hafta sonu trafiği farklı davranır; hafta ortasında durdurmak bu farkı sonuca gömer. Hesaplanan örneklem gerçekçi olmayan bir süre alıyorsa, test ettiğiniz değişiklik muhtemelen fazla küçüktür.
Varyant ile yeniden tasarım arasındaki fark nedir?
Varyant, canlı bir temel çizgiye karşı ölçülen kontrollü bir değişikliktir; yeniden tasarım o temel çizgiyi tümüyle değiştirir. Yeniden tasarım da tek büyük varyant olarak test edilebilir ve çoğu zaman edilmelidir. Ancak sonuç yalnızca yeni sayfanın genelde daha iyi olduğunu söyler, yirmi değişiklikten hangisinin taşıdığını değil.
Bir varyantın gerçekten kazandığı nasıl anlaşılır?
Test önceden ilan edilen örnekleme ulaştığında, birincil metrikteki fark etrafındaki aralıktan büyük olduğunda ve gerçekleşen trafik dağılımı yapılandırılanla eşleştiğinde. Sonrasında sonucun kaynak ve cihaz bölümlemesinden sağ çıktığını doğrulayın. Yalnızca tek kanalda kazanan bir varyant, sayfa geneli değil kanal bulgusudur.
Tek öğe mi yoksa tüm sayfa mı test edilmeli?
Aktarılabilir bir ders istiyorsanız tek öğe, hızlı karar gerekiyorsa ve trafik kısıtlıysa tüm sayfa. Tek öğe testleri nedeni yalıtır ama etki küçük olduğu için daha büyük örneklem ister. Cesur sayfa varyantları daha çabuk sonuçlanır, karşılığında sayıyı neyin hareket ettirdiği belirsiz kalır.
Kaybeden varyanta ne yapılır?
Kapatın ve segment dökümüyle birlikte neden kaybettiğini kayda geçin. Kayıp da bilgidir: kitlenizin neye tepki verdiğini daraltır ve aynı fikrin gelecek çeyrek geri dönmesini engeller. Sürümü bir süre erişilebilir tutun; genelde kaybeden bir varyant, ayrıca izlenmeye değer tek bir kaynakta belirgin biçimde kazanmış olabilir.