Growth/Analytics updates/Help Panel experiment plan/tr

Yardım panelinin amacı, kullanıcılara düzenleme bağlamından ayrılmak zorunda kalmadan yardım almanın daha kolay yollarını sağlamaktır. Bu daha sonra görevlerini tamamlamalarına olanak tanırken aynı zamanda topluluğun yardım masasındaki sorular ve cevaplar aracılığıyla Vikipedi topluluğuyla da tanışabilir. Kullanıcıların görevlerini tamamlamalarına yardımcı olmak, editör aktivasyonunun artmasına (düzenleme yapan yeni kullanıcıların oranı) ve potansiyel olarak da editör alıkoymasına (ikinci kez düzenlemeye geri dönen yeni kullanıcıların oranı) yol açabilir. This can then enable them to complete their tasks while potentially also meeting the Wikipedia community through questions and answers at the community’s help desk. Helping users complete their tasks can lead to an increase editor activation (the proportion of new users who make edits), and potentially also editor retention (the proportion of new users who return to edit a second time), the latter being the Growth Team's overarching goal.

Yardım panelinin editör aktivasyonu ve alıkoyma üzerindeki etkisini anlamak için altı aylık bir A/B testi öneriyoruz. Bu test sırasında, hedef vikilerdeki yeni kayıtların %50'si yardım panelini varsayılan olarak etkinleştirecek ve %50'si devre dışı bırakacaktır. Hedef vikiler üzerinde aynı anda başka deneyler de gerçekleştiriyoruz, örneğin karşılama anketimizin varyantlarını test ediyoruz. Bu deneyler tabakalı örnekleme gerektiriyorsa, örnekleme stratejilerimizin buna göre değiştirilmesini sağlayacağız.

Yardım paneliyle izlemeyi düşündüğümüz sorular hakkında daha fazla bilgi için proje sayfasındaki bu bölüme bakın. Tam olarak hangi verileri kaydedeceğimiz hakkında daha fazla bilgi için bu EventLogging şemasına bakın.

Varyantlar
Bu altı ay boyunca, belirli arayüz öğelerinin yardım arama iş akışı içindeki davranışları nasıl olumlu etkilediğini anlamak için yardım panelinin test varyantlarını da öngörüyoruz. Değiştirilmiş bir arayüzün aktivasyon veya retansiyonu etkileyeceğine dair hipotezimiz ne kadar güçlü olursa, bu arayüz üzerinde yapılan bir test, aktivasyon ve retansiyon konusundaki uzun dönemli deneyimizi karıştırır.

Önce hangi varyantları test edeceğimize öncelik vermeliyiz, çünkü her seferinde sadece birini test edeceğiz. Ayrıca, daha büyük denemenin yaklaşık bir ayı, bu küçük olanlar iç içe yerleştirilmeden yürütülene kadar varyantların hiçbirini çalıştırmayacağız. Bu, yardım panelinin yeni kullanıcı etkinleştirme hızı üzerinde bir etkisi olup olmadığını net bir şekilde öğrenebilmemiz içindir.

Öncü göstergeler ve eylem planları
A/B testinin süresi altı aydır, çünkü orta büyüklükteki vikilerdeki yeni editör alıkoyma değişikliklerini bundan daha kısa sürede saptamak imkansızdır (alıkoymayı büyük ölçüde etkilemedikçe, ancak bunu biraz olası görmüyoruz). Sonuçlarımızı beklerken bir şeylerin yanlış olduğundan şüphelenirsek harekete geçebilmek istiyoruz. Aşağıda, yukarıdaki enstrümantasyon stratejisinde açıklanan verilere dayanan bir dizi senaryo taslağını hazırladık. Her senaryo için, durumu düzeltmek üzere alınması gereken bir eylem planı öneriyoruz. While we wait for our results we want to be able to take action if we suspect that something is amiss. Below, we sketch out a set of scenarios based on the data described in the instrumentation strategy above. For each scenario, we propose a plan of action to take to remedy the situation.

Bir ay sonra lider göstergelerin durumu
Yardım Paneli 11 Ocak 2019'da Çekçe ve Korece Vikipedi'lere konuşlandırıldı. Bir ay sonra önde gelen göstergelerimizi değerlendirebilmemiz ve özelliğin davranışlarından herhangi biriyle ilgili olup olmadığını belirleyebilmemiz için bu noktaya kadar her iki viki için tüm kayıtlar için veri topladık. Kısacası, değerlendirme bazı iyileştirme alanlarını ortaya koyarken, yardım panelinin şimdiye kadarki davranışının sağlıklı olduğunu ve vikiler üzerinde olumsuz bir etkisi olmadığını düşünüyoruz.

Bilinen test hesapları, Yardım Paneli'ni kendi tercihlerine göre tedavi grubuna açıp kapatan kullanıcılar gibi kendi tercihlerine göre gruplarını rastgele atamadan kaynaklanan 'eşit beklenti' ihlal ettiği için kaldırıldı. Ancak, aşağıda göreceğimiz gibi, çok az kullanıcı tercihlerini değiştirdi.

Yukarıdaki tabloda endişe kaynağı olan dört eşik vardır ve aşağıdaki liste onlar hakkında nasıl düşündüğümüzü açıklamaktadır.

This makes us feel like we have healthy open rates that have room for improvement. In that vein, we have started to display the help panel in more places, so that users have more opportunities to open it up. The help panel is now being displayed in reading mode in the Help, Wikipedia, and User namespaces. This work was tracked in T215664 and completed by March 6, 2019. We also relabelled the link to the guide to be labelled "Quick tutorial", because that is what is used in the Korean Wikipedia, where that is the second most frequently clicked link. This work was tracked in T217391 and completed by March 6, 2019. We feel comfortable with the rate of questions being asked in Czech, and we are learning that perhaps the paradigm of asking public questions is not a great fit for Korean Wikipedia, given the low rate of questions there. This is one of the reasons we added "search" to the help panel, so that users would have different ways to find help that might fit their own preferences of how to find it. This work was tracked in T209301 and completed by February 25, 2019. At the time of this analysis, only about 25 people had attempted asking a question. We will therefore revisit this indicator at a later stage.
 * Yardım panelini açmamak: her iki wiki için de sayı bir miktar, ancak eşik değerinden endişe verici derecede yüksek değil. Bu da bizi iyileştirmeye açık sağlıklı açık oranlara sahip olduğumuzu hissettiriyor. Bu bağlamda, yardım panelini daha fazla yerde göstermeye başladık, böylece kullanıcılar onu açmak için daha fazla fırsata sahip olacaklar. Yardım paneli şimdi Yardım, Vikipedi ve Kullanıcı ad alanlarında okuma modunda görüntüleniyor. Bu çalışma T215664 içinde izlendi ve 6 Mart 2019'a kadar tamamlandı.
 * Yardım bağlantılarına tıklamamak: analiz, üç Çekçe bağlantısının trafiğinin azaldığını gösterdiğinden, noterlik hakkında daha fazla bilgi bağlantısını kaldırdık ve ikincisi Yardım Masası'na gönderilen ve en sık sorulan soru olduğu için bir resim ekleme bağlantısıyla değiştirdik, Korece en sık tıklanan bağlantıdır. Ayrıca "Hızlı öğretici" etiketli kılavuzun bağlantısını yeniden etiketledik, çünkü Korece Vikipedi'de kullanılan, en sık tıklanan ikinci bağlantı budur. Bu çalışma T217391 içinde izlendi ve 6 Mart 2019'a kadar tamamlandı.
 * Soru sormamak: geçmişe bakıldığında, yardım panelini açan (ve bağlantıları tıklamayan) kullanıcıların %75'inin bir soru sorması beklentimiz muhtemelen çok iddialıydı. Çekçe'de sorulan soruların oranı konusunda rahat hissediyoruz ve belki de halka açık sorular sorma paradigmasının, oradaki düşük soru oranı göz önüne alındığında Koreli Wikipedia için çok uygun olmadığını öğreniyoruz. Bu, yardım paneline "arama"'yı eklememizin nedenlerinden biridir, böylece kullanıcılar, onu nasıl bulacağına ilişkin kendi tercihlerine uygun yardım bulmanın farklı yollarına sahip olurlar. Bu çalışma T209301 içinde izlendi ve 25 Şubat 2019'a kadar tamamlandı.
 * Soru yolunu başlatmak ve tamamlamamak: bu metrik için mutlak sayılar hala, eşikten daha yüksek olup olmadığımızı güvenle söylemek zor olsa da yeterince düşüktür. Bu analiz sırasında, sadece yaklaşık 25 kişi soru sormaya çalışmıştı. Bu nedenle bu göstergeyi daha sonraki bir aşamada tekrar ziyaret edeceğiz.