Büyüme/Kişiselleştirilmiş ilk gün/Yeni gelen görevler/Deney analizi, Kasım 2020

kısayol: NEWTEA
From mediawiki.org
This page is a translated version of the page Growth/Personalized first day/Newcomer tasks/Experiment analysis, November 2020 and the translation is 100% complete.

Kasım 2019'da, Büyüme ekibi "yeni gelen görevler" özelliğini yeni gelen ana sayfasına ekledi. Yeni gelen görevleri, yeni gelenlerin ilgi alanlarına göre düzenlenmiş, düzenlenecek önerilen maddelerin bir beslemesini sağlar. Amaç, yeni gelenlere vikiye ilk geldiklerinde ilgilendikleri kolay düzenlemeler vermekti. Hipotezimiz, araçların yeni gelenlerin düzenlemeye başlamasını, düzenleme becerilerini öğrenmesini, etkilerini görmesini ve ardından düzenlemeye devam etmesini daha olası kılacaktı.

Özelliklerin etkisini öğrenmek için, özellikleri kontrollü bir deneyde devreye aldık: Yeni gelenlerin %76'sı özellikleri aldı ve %24'ü almadı. Deney altı ay sürdü ve Arapça, Vietnamca, Çekçe ve Korece Vikipedi'lerden veri topladık.

Bulguların özeti

Genel olarak analiz, Büyüme özelliklerinin yeni gelenler için sonuçları iyileştirdiğini gösterdi. En önemli noktalar aşağıdadır.

  • Büyüme özelliklerini alan yeni gelenlerin "etkinleştirilme" olasılığı daha yüksektir (yani, ilk madde düzenlemesini yapın).
  • Ayrıca alıkonulma ihtimalinin daha yüksek olduğuna inanıyoruz (yani geri gelin ve farklı bir günde başka bir madde düzenlemesi yapın).
  • Özellikler ayrıca yapıcılığı azaltmadan (yani düzenlemeler geri alınırsa) düzenleme hacmini (yani düzenleme sayısını) artırır.

Bu sonuçların, Büyüme özelliklerinin, özellikle de yeni gelenlerin görevlerinin, yeni gelenleri daha fazla düzenlemeye ve yeni gelenlerin daha uzun süre vikide kalmasına yol açtığını doğruladığına inanıyoruz.

Bu sonuçlar nedeniyle, tüm Vikipedi'lerin bu özellikleri uygulamayı düşünmesi gerektiğini düşünüyoruz.

Ayrıca, bu sonuçların, Büyüme ekibinin yeni gelenler için yeni tür kolay düzenleme iş akışları oluşturmak üzere yapılandırılmış görevler üzerinde çalışmaya devam etmesi gerektiğini doğruladığına da inanıyoruz.

Sözlük

  • Kasım 2020 itibarıyle on yedi viki, Büyüme özelliklerine sahip. Bununla birlikte, deneyimizde dört pilotvikiyi analiz ettik: Arapça, Vietnamca, Çekçe ve Korece Vikipedi'leri.
  • Yeni gelenlerin tümü Büyüme özelliklerini almaz; Bunların %20'si varsayılan deneyimi elde etmek için rastgele seçilir. Özelliklere sahip grup tedavi grubu ve varsayılan deneyime sahip grup kontrol grubudur. Varsayılan deneyimden gelen sayılara temel sayılar denir.
  • Etkinleştirme, yeni gelenlerin ilk düzenlemesini kayıttan sonraki 24 saat içinde yapması olarak tanımlanır. Temel aktivasyon oranı, Büyüme özellikleri değil, varsayılan özelliklerle aktivasyon oranıdır.
  • Yapıcı etkinleştirme, yeni gelenlerin kayıttan sonraki 24 saat içinde ilk düzenlemesini yapan ve bu düzenlemenin 48 saat içinde geri alınmaması olarak tanımlanır. Temel yapıcı oranı, Büyüme özelliklerine değil, varsayılan özelliklere sahip kullanıcıların oranıdır.
  • Saklama, etkinleştirmeden sonraki iki hafta içinde farklı bir günde yeni gelen ve başka bir düzenleme yapan kişi olarak tanımlanır. Temel tutma oranı, Büyüme özelliklerine değil, varsayılan özelliklere sahip kullanıcıların oranıdır.
  • Hacmi düzenleme, bir kullanıcının ilk iki haftasında yapılan düzenlemelerin toplam sayısıdır. Temel düzenleme hacmi, Büyüme özelliklerine değil, varsayılan özelliklere sahip kullanıcıların sayısıdır.

Ayrıntılı bulgular

Aşağıda, kontrollü deneyden tahmin ettiğimiz belirli etkiler bulunmaktadır. Bunların tümü, Kasım 2019 ve Mayıs 2020 arasında pilot vikilerde 97.755 yeni hesabın gözlemlenmesine dayanmaktadır. Metodoloji hakkında daha fazla ayrıntı için aşağıdaki "Metodoloji" bölümüne bakın.

Büyüme özellikleri artırılmış etkinleştirme (ilk madde düzenlemesi yapma) ve yapıcı etkinleştirme (ilk geri alınmamış madde düzenlemesini yapma)

Etkinleştirme

Bu analiz için, Madde ve Madde Tartışma ad alanlarında yapılan düzenlemelere odaklandık.

  • Etkinleştirme: Büyüme özelliklerine sahip yeni gelenlerin ilk makale düzenlemesini yapma olasılığı %11,6 daha yüksek. Dört pilot vikimizde, temel aktivasyon oranı %21,6'dır. Büyüme özelliklerinin aktivasyonu %24,1'e çıkardığı tahmin edilmektedir, bu da taban çizgisine göre %11,6'lık bir artış anlamına gelir.
  • Yapıcı etkinleştirme: yalnızca yapıcı aktivasyona bakıldığında etki daha büyüktür. Büyüme özelliklerine sahip yeni gelenlerin, ilk geri alınmamış madde düzenlemesini yapma olasılığı %26,7 daha yüksektir. Dört pilot vikimizde, temel yapıcı aktivasyon oranı %16,1'dir. Büyüme özelliklerinin bunu, taban çizgisine göre %26,7 artışla %20,4'e çıkaracağı tahmin edilmektedir.
Bu grafik, aktivasyondaki artışın elde tutma oranındaki artışa nasıl dönüştüğüne inandığımızı göstermektedir. Büyüme özelliklerinin aktivasyonu nasıl artırdığını ve daha sonra alıkoymada benzer bir artışa neden olduğunu gösterir.

Saklama

Saklama, aktivasyondan çok daha nadir olduğu için, değişiklikleri tespit etmek daha zordur. Bu deneyde, doğrudan herhangi bir değişiklik tespit etmedik. Bunun yerine, tutmanın, aktivasyonun artmasına benzer bir dereceye, yani yaklaşık %11,6 oranında arttığını tahmin ediyoruz. Bu, ilk gündeki aktivitenin sonraki günlerdeki aktiviteyi etkilediği fikrinden gelir ve bu, istatistiksel modellerimizde hesaba kattığımız bir şeydir. Büyüme özelliklerinin, ilk günlerinde aktif olan kullanıcı sayısını artırdığı tespit edildiğinden ve aktif kullanıcıların alıkonma olasılığında değişiklik yok bulduğumuz için, aktivasyondaki artışın tercüme edilmesini bekleyebiliriz. Elde tutmada benzer bir artışa dönüşür. Başka bir deyişle, Büyüme özellikleri, etkinleştirmedeki artışın neden olduğu tutmada artışa yol açıyor gibi görünmektedir: Büyüme özelliklerinin etkinleştirildiği bazı kullanıcılar doğal olarak korunmaya devam edecektir.

Deneydeki dört vikide temel tutma oranı %3,2'dir. Büyüme özelliklerinin bunu %3,6'ya çıkardığını tahmin ediyoruz.

Büyüme özellikleri, yeni gelenlere göre düzenleme hacmini önemli ölçüde artırdı (toplam madde düzenleme sayısı)

Düzenleme hacmi

Büyüme özellikleri, ilk iki haftada yeni gelenlerin madde düzenlemelerinin sayısında %22'lik bir artış yol açtı. Dört pilot vikimizde, temel tahmini düzenleme hacmi 1,4'tür, bu da ortalama yeni gelen kişinin 1,4 düzenleme yapacağı anlamına gelir. Büyüme özelliklerine sahip yeni gelenlerin ortalama 1,7 madde düzenlemesi yaptığı tahmin edilmektedir.

Diğer bir deyişle:

  • Büyüme özellikleri olmadan 1000 yeni gelen, 1.400 madde düzenlemesi yapacaktır.
  • Büyüme özellikleri olan 1000 yeni gelen, 1.400 madde düzenlemesi yapacaktır.

Bu artış, hem Büyüme özelliklerinin yeni gelenlerin madde düzenlemesi yapma olasılığını artırdığını hem de bazı yeni gelenlerin önerilen birçok düzenlemeyi hızlı bir şekilde yapma olasılığını yansıtır. Hatta bazıları kayıttan sonraki iki hafta içinde 100'ün üzerinde düzenleme yapar.

Diğer ölçümler

Daha az önemli bulgularla başka birkaç ölçütü de inceledik.

  • Geri almalar: Büyüme özelliklerine sahip yeni gelenlerin düzenlemelerinin geri döndürülme olasılığının az ya da çok olup olmadığına baktık. Bu analiz, büyük veya net sonuçlar göstermedi.
  • Son derece aktif yeni gelenler: Sonuçlarımız, Büyüme özelliklerinin daha fazla yeni gelenin aktif olmasına ve daha fazla düzenleme yapmasına neden olduğunu göstermiştir. Ayrıca, özelliklerin daha fazla yeni gelen kişinin yüksek derecede aktif olmasına yol açıp açmadığını da görmek istedik. Bunları, ilk 30 gününde 50 düzenleme yapan kullanıcılar olarak tanımladık. Bu analiz, Büyüme özelliklerinden kaynaklanan farklılıkları göstermedi.
  • Teşekkürler: Büyüme özelliklerine sahip yeni gelenlerin diğer yeni gelenlere göre daha fazla "teşekkür" alıp almadığına baktık. Elde tutma analizine benzer sonuçlar bulduk, çünkü Büyüme özelliklerinin yapmasını daha fazla teşekkür alınmasına yol açıyor, ancak bu yalnızca çünkü daha fazla düzenlemeye neden oluyorlar. Bunun nedeni, özelliklerin yeni gelenlerin teşekkürlerini çekmesi daha muhtemel düzenlemeler yapmasına neden olması değildir.
  • Vikiler ve platformlar arasındaki farklar: vikileri ve platformları karşılaştırdık (mobil ve masaüstü). Büyüme özelliklerinin etkisinde önemli farklılıklar bulamadık.

Çıkarımlar ve sonraki adımlar

Çıkarımlar

  • Özellikler çalışır: Büyüme ekibi özellikleri, yeni gelenlerin katılımını artırmak için çalışır. Bu, özellikle kolay düzenlemeler öneren "yeni gelen görevler" bileşeni için geçerlidir.
  • Yapılandırılmış görevler oluşturmada güven: Bu bize, "bağlantı ekleme" görevi gibi daha fazla yeni görev türü oluşturma çalışmalarımızın etkiyi artıracağına dair güven veriyor.
  • Olumlu pekiştirme ihtiyacı: Sonuçlar, Büyüme özelliklerinin, elde tutmanın aksine, "öncelikle" etkinleştirmeyi, yeni gelenlerin ilk düzenlemelerini yapmalarını sağlamak, etkilediğini gösterdi. Özellikler, yalnızca etkinleştirmeyi artırdıkları için tutmayı artırıyor gibiydi. Büyüme ekibi, yeni gelenleri ilk düzenlemelerini yaptıktan sonra geri dönmeye teşvik etmek için özelliklere neler ekleyebileceğimizi düşünmelidir. Bu nedenle bu yıl "olumlu pekiştirme" çalışmaları planlıyoruz. Bu, yeni gelenlerin ilerlemeleri ve etkileri konusunda heyecanlanabilmeleri için kilometre taşları ve istatistikler ekleyecektir.

Sonraki adımlar

  • Herkese duyur: artık özelliklerin değerine olan güveni artırdık. Bu nedenle, Büyüme ekibi daha fazla vikiyi sonuçları okumaya teşvik edecek ve özellikleri dağıtmayı düşünecektir.
  • Çalışmaya devam et: bu yıl, yeni görev türleri eklemeye ve yeni gelenler görevleri tamamladığında olumlu pekiştirme sağlamaya odaklanmaya devam edeceğiz.
  • Analizi genişletin: Artık bu analizi tamamladığımıza göre, gelecekte daha kolay tekrar çalıştırabileceğiz. Özelliklerin daha fazla vikiyi nasıl etkilediğine bakabileceğiz ve iyileştirmelerin etkilerini nasıl değiştirdiğini göreceğiz.

Metodoloji

Büyüme Ekibi, yeni gelen görevler modülünü 21 Kasım 2019'da Çekçe, Korece, Vietnamca ve Arapça Vikipedi sayfalarında Ana Sayfada konuşlandırdı. Deney sırasında, kullanıcılar rastgele bir tedavi veya kontrol grubuna atandı. Tedavi grubunda, kullanıcılar tüm Büyüme özelliklerini (ana sayfa, yeni gelen görevler, yardım paneli vb.) alırken, kontrol grubundaki kullanıcılar hiçbirini almadı.

21 Kasım - 12 Aralık 2019 tarihleri ​​arasında tedavi grubunda olma şansı %50 idi. Ekip, yeni gelen görevler modülünün iki çeşidi için bir A/B testi başlattığında, 12 Aralık'ta bu oran %80 olarak değişti.

Kullanıcılar, herhangi bir noktada kullanıcı tercihlerinde Büyüme özelliklerini açabilir veya kapatabilir. Böyle yaparsa, bu analizin dışında tutulurlar. Ayrıca, bilinen test hesaplarını, API aracılığıyla kaydolan kullanıcıları (bunlar çoğunlukla uygulama hesaplarıdır) ve otomatik olarak oluşturulan hesapları hariç tutarız.

Bu analiz için veri seti, deneyin başlangıcı ile 14 Mayıs 2020 arasında kayıtlı 97.755 hesap içermektedir. Bunlardan 23.529'u (%24.1) kontrol grubunda ve 74.226'sı (%75.9) tedavi grubundadır.

Analizimiz, gruplama değişkeni olarak wikiyi kullanarak çok düzeyli (hiyerarşik) regresyon modelleri geniş bir şekilde kullanır. Bu, analizimizdeki vikiler arasındaki farklılıkları hesaba katmamızı sağlar. Örneğin, aktivasyon modellerimiz, çok seviyeli lojistik regresyon modelleridir; bu, vikiler arasındaki aktivasyon hızındaki doğal farklılıkları hesaba kattıkları anlamına gelir. Ayrıca düzenleme faaliyetinin bir uzun kuyruk dağılımı izlediğini ve dolayısıyla bir sıfır şişirilmişi kullanılarak yapılan düzenlemelerin model numarasını negatif binom dağılımı biliyoruz (yine çok düzeyli bir model kullanarak).