Growth/Personalized first day/Newcomer homepage/Measurement and experiment plan/tr

Anasayfanın amacı, özellikle yeni kayıt olan kullanıcılara yardım kaynakları, yapabilecekleri iş önerileri ve Vikipedi topluluğunun canlı etkinliği ve yapılan iştir. Bu tür bilgiler, ansiklopediye yapıcı katkılar yapma engelini azaltmaya yardımcı olabilir, böylece editör aktivasyonunu (düzenleme yapmaya devam eden yeni kullanıcıların oranı) artırır. Ayrıca Büyüme Ekibin kapsayıcı hedefi olan editör alıkoymasını da (ek düzenlemeler yapmaya geri dönen yeni kullanıcıların oranı) artırabilir.

Bu sayfa, anasayfa ile kontrollü bir deneme yapma planlarımızı ve kullanıcıların bununla nasıl etkileşime girdiğini öğrenmek için hangi ölçümleri kullanacağımızı belgelemektedir.

Araştırma soruları
Araştırma soruları cevaplanmasını istediğimiz daha üst düzey sorulardır. “Anasayfa tedavisi” ile, kullanıcının hem ana sayfayı varsayılan olarak açık tuttuğu hem de ana sayfaya yönlendiren, banner, tartışma sayfası mesajları veya anasayfada ki bağlantılar da dahil olmak üzere çeşitli yardımcı özellikleri aldığı anlamına gelir. İlk sürümde, tek yardımcı özellik, kişisel araçlardaki kullanıcı adı bağlantısının ana sayfaya gideceği gerçeğidir.


 * 1) Anasayfa tedavisi almak editör aktivasyonunu artırır mı?
 * 2) Anasayfa tedavisini almak editör alıkoymayı artırır mı?
 * 3) Anasayfa işlemine erişim, kayıttan sonraki ilk iki haftadaki ortalama düzenleme sayısını artırıyor mu?
 * 4) Anasayfaya erişim sahibi olmak, yapıcı düzenlemelerin oranını artırıyor mu?
 * 5) * Bu bağlamda, “yapıcı düzenlemeler” geri döndürülmeyen düzenlemeler anlamına gelir. Büyüme Ekibi yeni kullanıcı tutmaya odaklandığından, bunu hem genel hem de kullanıcı deneyimi düzeyleriyle ölçmeyi planlıyoruz (örneğin gün cinsinden süre, düzenleme sayısı veya bunların kombinasyonları)
 * 6) Anasayfaya erişimi olan kullanıcılar ana sayfaya gidip geri mi dönüyor? Ana sayfa ziyaretlerinde hangi kalıpları görüyoruz?
 * 7) Hangi modüller yeni gelenlerle etkileşime giriyor ve ne ölçüde görev alıyorlar? Kullanıcılardan harekete geçmesini isteyen modüller, kullanıcıların bu işlemleri yapmalarına yol açar mı?
 * 8) Anasayfayı etkili bir şekilde kişiselleştirebiliyor muyuz?
 * 9) * İlk adım: Kullanıcılar Karşılama Anketine verdikleri yanıtlara uygun davranıyor mu? Örneğin, düzenlemelerle ilgili yardım almak için kendisiyle bağlantı kurmakla ilgilendiklerini söyleyen kullanıcılar, bir mentora ulaşmak için mentor modülünü kullanır; ve bir madde oluşturmakla ilgilendiklerini söyleyen kullanıcılar, bunun nasıl yapılacağı hakkında daha fazla bilgi edinmelerine yardımcı olan modülleri kullanıyor mu?
 * 10) * İkinci adım: ana sayfayı kişiselleştirebildiğimizde, ana sayfaları kişiselleştirilmiş kullanıcılar için daha fazla etkileşim görüyor muyuz?
 * 11) Anasayfa özelleştirilebilir olduğunda, kullanıcılar bu kapasiteden ne ölçüde yararlanabilirler?
 * 12) Yeni gelenleri ana sayfa hakkında inceleme çabası varsa/ne zaman nitel olarak ne öğrenebiliriz? Böyle bir nitel çalışma Hızlı Anketler veya ana sayfanın geri kalanını soran bir anasayfa modülü aracılığıyla yapılabilir.

Kontrollü deneme
Anasayfa'nın düzenleyicinin etkinleştirilmesi ve elde tutulması üzerindeki etkisini anlamak için en az altı ay sürecek bir deneme öneriyoruz. Bu süre zarfında, hedef vikilerde (şu anda Çekçe, Korece, Vietnamca ve Arapça) yeni kayıtların %50'si ana sayfanın varsayılan olarak etkinleştirilmesini ve %50'sinin devre dışı bırakılmasını sağlayacaktır. Büyük olasılıkla, hedef vikiler üzerinde aynı anda başka deneyler de gerçekleştireceğiz (ör. Yardım Panelimizin varyantları). Bu deneyler katmanlı örnekleme gerektiriyorsa, örnekleme stratejilerimizi gerektiği gibi ayarladığımızdan emin olacağız.

Deney çalışırken, belirli arayüz öğelerinin kullanıcı davranışını nasıl etkilediğini anlamak için anasayfa değişkenlerini de test etmeyi umuyoruz. Değiştirilmiş bir arayüzün aktivasyon veya retansiyonu etkileyeceğine dair hipotezimiz ne kadar güçlü olursa, bu arayüz üzerinde yapılan bir test, aktivasyon ve retansiyon konusundaki uzun dönemli deneyimizi karıştırır.

Ölçümler
Bu ölçümler araştırma sorularımız tarafından yönlendirilir ve ana sayfaya erişip modülleriyle etkileşim kurabilen kullanıcıların gerçekleştirdiği belirli işlemlere odaklanır. Aşağıdaki liste, başlangıç sırasında anasayfa'da bulunan dört modül için ölçümleri içerir: Başlat, Yardım, Etki ve Mentor. Ana Sayfa için yeni modüller geliştirdiğimizde, bunlar için de benzer ölçüm planları geliştireceğiz.


 * 1) Genel
 * 2) Kullanıcıların yüzde kaçı ana sayfaya erişiyor?
 * 3) Bu kullanıcıların yüzde kaçı anasayfaya birden çok kez erişiyor?
 * 4) Kullanıcılar ana sayfaya birden çok kez eriştiğinde, bu hangi zaman çizelgesinde gerçekleşir?
 * 5) Mobil ve masaüstü kullanıcıları arasında farklar var mı?
 * 6) Bir kullanıcı hesabını oluşturduktan ne kadar süre sonra önce ana sayfayı ziyaret eder?
 * 7) Kullanıcı anasayfaya nasıl ulaşır?
 * 8) En üstteki gezinme panelinde kullanıcı adlarını tıklayarak?
 * 9) Kullanıcı veya Kullanıcı mesaj sayfalarındaki sekmeyi tıklayarak mı?
 * 10) Vikide banner veya e-postadaki bağlantı gibi başka bir sürücü aracılığıyla mı?
 * 11) Kullanıcı üstteki gezinme bölmesinden veya bir sekmeden anasayfa bağlantısını tıkladıysa, içinde bulundukları bağlamı yakalamak istiyoruz. Özellikle, tıkladığında hangi ad alanında olduklarını ve okuyup okumadıklarını veya düzenlemesidir.
 * 12) Kullanıcılar ziyaret başına ana sayfa modülleriyle etkileşim kurmak için ne kadar zaman harcıyor?
 * 13) İlk ziyaretleri sırasında mı?
 * 14) Sonraki ziyaretleriniz sırasında mı?
 * 15) Kullanıcıların yüzde kaçı en az bir modülün bağlantılarını takip ediyor?
 * 16) Anasayfaya erişimi olan kullanıcıların bir kullanıcı sayfası oluşturma olasılığı az mı yoksa az mı?
 * 17) Anasayfaya erişimi olan kullanıcıların, kullanıcı mesaj sayfaları diğer kullanıcılarla etkileşime girme olasılığı az mı yoksa düşük mü?
 * 18) Ana sayfaya erişimi olan kullanıcıların makale ve proje tartışma sayfaları toplulukla etkileşime girmesi az çok mu muhtemel?
 * 19) Modüller
 * 20) Genel
 * 21) Her modül ne sıklıkla tıklanır? Her birini tıklayan kullanıcıların oranı nedir?
 * 22) Kullanıcılar kaç modülle etkileşime girme eğilimindedir (“etkileşim” herhangi bir tıklama anlamına gelir)?
 * 23) Hangi modüller tekrar tekrar etkileşime girme eğilimindedir?
 * 24) Hangi modüller en çok etkinleştirilen ve tutulan kullanıcılar tarafından etkileşime girer (nedenselliğin her iki yönde de olabileceğini kabul ederek)?
 * 25) Masaüstü kullanıcıları her bir modülün üzerinde ne kadar süreyle geziniyor? (mobil cihazlar için benzer ölçüm bekleyen mobil tasarıma bağlıdır)
 * 26) Modülün sayfaya yerleştirilmesi etkileşimleri etkiliyor gibi görünüyor mu?
 * 27) Her bir modül için harekete geçirici mesaj yapmanın alıkonulması üzerindeki etkisi nedir?
 * 28) Örneğin: mentorlarıyla iletişim kuran kullanıcıların yüzde kaçı korunuyor?
 * 29) Belirli modüller
 * 30) Yardım modülü
 * 31) Kullanıcıların yüzde kaçı yardım bağlantılarından birini veya daha fazlasını tıklıyor?
 * 32) Varsa, hangi bağlantıyı tıklarlar?
 * 33) Kullanıcıların yüzde kaçı arama işlevini kullanıyor?
 * 34) 1: Arama kutusuna odaklanın
 * 35) 2: Bir arama, aramadaki karakter sayısı gönder
 * 36) 3: Bir sonucu tıklayın, sonuç sayısı, tıklanan sonucun sıralaması
 * 37) Kullanıcılar Yardım Masasında soru sorma iş akışında ne kadar ileri gider?
 * 38) 1: Soru sormak için tıklayın
 * 39) 2: Bir soru yazın
 * 40) 3: Gönder
 * 41) 4: Onay iletişim kutusundaki bir bağlantıyı tıklayın
 * 42) Soruların ortalama uzunluğu ne kadardır?
 * 43) Soru gönderen kullanıcıların yüzde kaçı aşağıdakilerden birini yaparak yanıtı görmek için geri dönüyor gibi görünüyor?
 * 44) Yanıtta ping atıldığını belirten Yankı bildirimini tıklatmak.
 * 45) "Son sorularınız" listesindeki bağlantıyı tıklayarak.
 * 46) Yardım Masası sayfasındaki cevaba yanıt vermek.
 * 47) E-posta adresi olmayan yeni gelenlerin yüzde kaçı soru sorurken bir tanesini ekliyor?
 * 48) Yeni gelenlerin yüzde kaçı soru sorduktan sonra (48 saat içinde) e-posta adreslerini onaylıyor?
 * 49) Yeni gelenlerin yüzde kaçı e-posta adresi olmayan bir soru soruyor?
 * 50) En az bir soru soran kullanıcıların yüzde kaçı anasayfayı görüntülediklerinde bir veya daha fazla arşivlenmiş soru görüyor?
 * 51) "Son sorularınız" listesindeki bağlantılardan birini tıklayan kullanıcıların yüzde kaçı arşivlenen bir soruya giden bağlantıyı tıkladı?
 * 52) Mentorluk modülü
 * 53) Mentor hakkında daha fazla bilgi edinmek için bir bağlantıya yüzde kaç tıklanır?
 * 54) Kullanıcılar mentorlarına soru sorma iş akışında ne kadar ileri gider?
 * 55) 1: Soru sormak için tıklayın
 * 56) 2: Bir soru yazın
 * 57) 3: Gönder
 * 58) 4: Onay iletişim kutusundaki bir bağlantıyı tıklayın
 * 59) Soruların ortalama uzunluğu ne kadardır?
 * 60) (Elle ölçülür) Soru gönderen kullanıcıların yüzde kaçı mentorlarından cevap alıyor?
 * 61) Mentor olmayan birinden cevap alıyorlar mı?
 * 62) Soru gönderen kullanıcıların yüzde kaçı aşağıdakilerden birini yaparak yanıtı görmek için geri dönüyor gibi görünüyor?
 * 63) Yanıtta ping atıldığını belirten Yankı bildirimini tıklatmak.
 * 64) "Son sorularınız" listesindeki bağlantıyı tıklayarak.
 * 65) Tartışma sayfasındaki cevaba yanıt vermek.
 * 66) (Elle ölçülür) Soru soran yeni gelenlerin yüzde kaçı mentorlarının tartışma sayfasında ikinci kez yayın yapıyor?
 * 67) İlk soru ne sıklıkla bir konuşma haline geliyor?
 * 68) İkinci bir soru ne sıklıkla sorulur?
 * 69) Konuşmalar ne sıklıkla işlemsel viki konuşmasının ötesine taşınır?
 * 70) Sorularını sorduktan sonra görüntülemek için bağlantılardan birini yüzde kaçı tıklıyor?
 * 71) E-posta adresi olmayan yeni gelenlerin yüzde kaçı soru sorurken bir tanesini ekliyor?
 * 72) Yeni gelenlerin yüzde kaçı soru sorduktan sonra (48 saat içinde) e-posta adreslerini onaylıyor?
 * 73) Yeni gelenlerin yüzde kaçı e-posta adresi olmayan bir soru soruyor?
 * 74) Yeni gelenlerin düzenleme sayısı ve son düzenlemeden bu yana kısa süreleri olan mentorlara daha düşük düzenleme sayısı olan ve/veya son düzenlemeden bu yana daha uzun süren mentorlara soru sorma olasılığı daha yüksek mi?
 * 75) En az bir soru soran kullanıcıların yüzde kaçı anasayfayı görüntülediklerinde bir veya daha fazla arşivlenmiş soru görüyor?
 * 76) "Son sorularınız" listesindeki bağlantılardan birini tıklayan kullanıcıların yüzde kaçı arşivlenen bir soruya giden bağlantıyı tıkladı?
 * 77) Etki modülü
 * 78) Modül “etkin değil” durumundayken (kullanıcı maddelerde düzenleme olmadığında) bir bağlantıyı yüzde kaç tıklar?
 * 79) Bir maddeyi görüntülemek için yüzde kaçını tıklar?
 * 80) Sayfa görüntüleme analizi aracını görüntülemek için yüzde kaçtır?
 * 81) Tüm katkılarını görmek için yüzde kaçı tıklıyor?
 * 82) Kullanıcılar sayfa görüntüleme analizi aracını kaç kez açmaya geri dönüyor?
 * 83) Başlangıç modülü
 * 84) E-posta adresi olmayan kullanıcıların yüzde kaçı bu modül üzerinden bir e-posta adresi ekliyor?
 * 85) Kullanıcıların yüzde kaçı bu modül aracılığıyla e-posta adreslerini onaylıyor?
 * 86) Kullanıcıların yüzde kaçı öğretici düğmesini tıklıyor?
 * 87) Kullanıcıların yüzde kaçı kullanıcı sayfasını başlatmak için düğmeyi tıklar ve yüzde kaçı gerçekte kullanıcı sayfasını kaydeder?
 * 88) Kullanıcı sayfası oluşturma hakkında daha fazla bilgi edinmek için kullanıcıların yüzde kaçı bağlantıyı tıklar?

Öncü göstergeler ve eylem planları
A/B testinin süresi en az altı aydır, çünkü orta büyüklükteki vikilerdeki yeni editör alıkoyma değişikliklerini bundan daha kısa sürede saptamak imkansızdır (retansiyonu büyük ölçüde etkilemedikçe, ancak bunu biraz olası görmüyoruz). Sonuçlarımızı beklerken bir şeylerin yanlış olduğundan şüphelenirsek harekete geçebilmek istiyoruz. Aşağıda, yukarıdaki enstrümantasyon stratejisinde açıklanan verilere dayanan bir dizi senaryo taslağını hazırladık. Her senaryo için, durumu düzeltmek üzere alınması gereken bir eylem planı öneriyoruz.

Başlıca göstergelerin durumu
Yeni gelen anasayfa 6 Mayıs 2019'da Çekçe ve Korece Vikipedi'lerine dağıtıldı. Denemenin ilk ayında önde gelen göstergeleri düzenli olarak izledik ve hemen ilgilenilmesi gereken sorunlar bulamadık. Bunun yerine, Anasayfa'nın çok fazla trafik ve etkileşim gördüğünü görüyoruz, özellikle de kullanıcıların büyük bir kısmının birden çok kez buna geri döndüğünü fark ediyoruz.

Aşağıdaki Tablo 1, her iki Vikipedi'den elde edilen sonuçlarla birlikte Ölçüm deney planındaki öncü göstergeleri göstermektedir. Bu analiz, 6 Mayıs 2019'da dağıtım ile 3 Haziran 2019'da analiz süresi arasında kaydolan kullanıcıların verilerine dayanır. Büyüme Ekibi üyelerinden bilinen herhangi bir test hesabı hariç.

Karşılanan bir eşik, modüllerin yaygın olarak kullanılmaması ve iki endişe alanı vardır. Aşağıda bunları daha ayrıntılı olarak ele alıyoruz:


 * Belirli bir modül kullanmamak: Genel olarak kullanılmayan tek modül, kullanıcılara yardım içeriğine bağlantılar ve Yardım Masası'na soru göndermek için bir diyalog sağlayan Yardım modülüdür. Bu konuda özellikle endişe etmiyoruz, kısmen bazı kullanıcılar onunla etkileşime girdiği için (esas olarak yardım bağlantılarını takip ediyor) ve kısmen, kullanıcılarımızın Anasayfa'dan Yardım Masası'na soru göndermeye güçlü bir şekilde ihtiyacı yoksa bir sorun olmadığı için. Bunun yerine, Anasayfa kullanıcılarının mentorlarına soru gönderdiklerini görüyoruz.
 * Anasayfayı ziyaret etmemek: Eşik her iki vikide de karşılanmaz, ancak Korece Vikipedi'de "uzak değil" olarak etiketlenebilir. Yeni kullanıcıların Anasayfayı keşfetmesine yardımcı olan özellikler geliştirme sürecinde olduğumuzdan, bu özelliğin bu oranı azaltmasını beklediğimiz için bunu bir sorun olarak görmüyoruz.
 * Yeterli mentor yok: Her iki vikide de soru hacminin üstesinden gelmek zor görünmüyor. Bununla birlikte, yeni kullanıcıların mentorlarına soru göndermelerine izin vermek, bireylerin yanıt vermesine güvendiğimiz ve vikinin Yardım Masası'nda görebildiğimizden daha uzun yanıt süreleriyle sonuçlanabilecek bir sistemdir. Bu noktada endişe için bir neden bulamıyoruz, ancak bu, göz kulak kalacağımız bir alandır.