Growth/Analytics updates/Help Panel experiment plan/tr

Yardım panelinin amacı, kullanıcılara düzenleme bağlamından ayrılmak zorunda kalmadan yardım almanın daha kolay yollarını sağlamaktır. Bu daha sonra görevlerini tamamlamalarına olanak tanırken aynı zamanda topluluğun yardım masasındaki sorular ve cevaplar aracılığıyla Vikipedi topluluğuyla da tanışabilir. Kullanıcıların görevlerini tamamlamalarına yardımcı olmak, editör aktivasyonunun artmasına (düzenleme yapan yeni kullanıcıların oranı) ve potansiyel olarak da editör alıkoymasına (ikinci kez düzenlemeye geri dönen yeni kullanıcıların oranı) yol açabilir.

Yardım panelinin editör aktivasyonu ve alıkoyma üzerindeki etkisini anlamak için altı aylık bir A/B testi öneriyoruz. Bu test sırasında, hedef vikilerdeki yeni kayıtların %50'si yardım panelini varsayılan olarak etkinleştirecek ve %50'si devre dışı bırakacaktır. Hedef vikiler üzerinde aynı anda başka deneyler de gerçekleştiriyoruz, örneğin karşılama anketimizin varyantlarını test ediyoruz. Bu deneyler tabakalı örnekleme gerektiriyorsa, örnekleme stratejilerimizin buna göre değiştirilmesini sağlayacağız.

Yardım paneliyle izlemeyi düşündüğümüz sorular hakkında daha fazla bilgi için proje sayfasındaki bu bölüme bakın. Tam olarak hangi verileri kaydedeceğimiz hakkında daha fazla bilgi için bu EventLogging şemasına bakın.

Varyantlar
Bu altı ay boyunca, belirli arayüz öğelerinin yardım arama iş akışı içindeki davranışları nasıl olumlu etkilediğini anlamak için yardım panelinin test varyantlarını da öngörüyoruz. Değiştirilmiş bir arayüzün aktivasyon veya retansiyonu etkileyeceğine dair hipotezimiz ne kadar güçlü olursa, bu arayüz üzerinde yapılan bir test, aktivasyon ve retansiyon konusundaki uzun dönemli deneyimizi karıştırır.

Önce hangi varyantları test edeceğimize öncelik vermeliyiz, çünkü her seferinde sadece birini test edeceğiz. Ayrıca, daha büyük denemenin yaklaşık bir ayı, bu küçük olanlar iç içe yerleştirilmeden yürütülene kadar varyantların hiçbirini çalıştırmayacağız. Bu, yardım panelinin yeni kullanıcı etkinleştirme hızı üzerinde bir etkisi olup olmadığını net bir şekilde öğrenebilmemiz içindir.

Öncü göstergeler ve eylem planları
A/B testinin süresi altı aydır, çünkü orta büyüklükteki vikilerdeki yeni editör alıkoyma değişikliklerini bundan daha kısa sürede saptamak imkansızdır (alıkoymayı büyük ölçüde etkilemedikçe, ancak bunu biraz olası görmüyoruz). Sonuçlarımızı beklerken bir şeylerin yanlış olduğundan şüphelenirsek harekete geçebilmek istiyoruz. Aşağıda, yukarıdaki enstrümantasyon stratejisinde açıklanan verilere dayanan bir dizi senaryo taslağını hazırladık. Her senaryo için, durumu düzeltmek üzere alınması gereken bir eylem planı öneriyoruz.

Status of leading indicators after one month
The Help Panel was deployed to Czech and Korean Wikipedias on January 11, 2019. One month later we gathered data for all registrations for both wikis up until that point so that we can evaluate our leading indicators and determine whether any of the feature's behavior was concerning. In short, while the evaluation exposes some areas for improvement, we think the help panel's behavior so far is healthy and that it is not having a negative impact on the wikis.

Known test accounts were removed, as were users who turned the Help Panel on or off in their preferences because self-selection into or out of the treatment group violates the equal expectation resulting from random assignment to groups. However, as we will see below, very few users changed their preferences.

There are four thresholds in the table above that are cause for concern, and the list below explains how we're thinking about them.


 * Not opening the help panel: for both wikis, the number is somewhat, but not alarmingly higher than the threshold. This makes us feel like we have healthy open rates that have room for improvement.  In that vein, we have started to display the help panel in more places, so that users have more opportunities to open it up.  The help panel is now being displayed in reading mode in the Help, Wikipedia, and User namespaces.  This work was tracked in T215664 and completed by March 6, 2019.


 * Not clicking help links: since the analysis showed that three Czech links were getting low traffic, we removed the link to more information about notability and replaced it with a link about how to add an image, as the latter was the most frequent question posted to the Help Desk and the most frequently clicked link in Korean. We also relabelled the link to the guide to be labelled "Quick tutorial", because that is what is used in the Korean Wikipedia, where that is the second most frequently clicked link. This work was tracked in T217391 and completed by March 6, 2019.


 * Not asking questions: in retrospect, our expectation that 75% of users who open the help panel (and don't click links) would ask a question was likely too ambitious. We feel comfortable with the rate of questions being asked in Czech, and we are learning that perhaps the paradigm of asking public questions is not a great fit for Korean Wikipedia, given the low rate of questions there.  This is one of the reasons we added "search" to the help panel, so that users would have different ways to find help that might fit their own preferences of how to find it.  This work was tracked in T209301 and completed by February 25, 2019.


 * Starting the question path and not completing it: the absolute numbers for this metric are still low enough that it is hard to say with confidence whether we are notably higher than the threshold. At the time of this analysis, only about 25 people had attempted asking a question.  We will therefore revisit this indicator at a later stage.