Growth/Analytics updates/Help Panel experiment plan/vi

Mục tiêu của bảng trợ giúp là cung cấp cho người dùng những cách dễ dàng hơn để nhận trợ giúp mà không cần phải rời khỏi bối cảnh chỉnh sửa. Điều này sau đó có thể cho phép họ hoàn thành nhiệm vụ của mình đồng thời có khả năng gặp gỡ cộng đồng Wikipedia thông qua các câu hỏi và câu trả lời tại bàn trợ giúp cộng đồng. Giúp người dùng hoàn thành nhiệm vụ của họ có thể dẫn đến tăng kích hoạt trình chỉnh sửa (tỷ lệ người dùng mới thực hiện chỉnh sửa) và có khả năng duy trì trình chỉnh sửa (tỷ lệ người dùng mới quay lại chỉnh sửa lần thứ hai), sau này là nhóm bao trùm mục tiêu.

Để hiểu tác động của bảng trợ giúp đối với việc kích hoạt và duy trì trình chỉnh sửa, chúng tôi đề xuất thử nghiệm A / B sáu tháng. Trong quá trình thử nghiệm đó, 50% đăng ký mới trên wiki mục tiêu sẽ có bảng trợ giúp được bật theo mặc định và 50% sẽ bị vô hiệu hóa. Chúng tôi có thể đang chạy các thử nghiệm khác trên wiki mục tiêu cùng một lúc, ví dụ như các biến thể thử nghiệm của khảo sát chào mừng của chúng tôi. Nếu những thí nghiệm đó yêu cầu lấy mẫu phân tầng, chúng tôi sẽ đảm bảo các chiến lược lấy mẫu của chúng tôi được sửa đổi cho phù hợp.

Để biết thêm thông tin về các câu hỏi chúng tôi dự định theo đuổi với bảng trợ giúp, hãy xem phần này trên trang dự án. Để biết thêm thông tin về chính xác dữ liệu chúng tôi sẽ ghi lại, hãy xem lược đồ EventLogging này.

Các biến thể
Trong sáu tháng đó, chúng tôi cũng hình dung các biến thể thử nghiệm của bảng trợ giúp để hiểu cách các yếu tố giao diện cụ thể ảnh hưởng tích cực đến các hành vi bên trong quy trình tìm kiếm trợ giúp. Chúng tôi sẽ nhớ rằng giả thuyết của chúng tôi rằng giao diện bị thay đổi sẽ ảnh hưởng đến việc kích hoạt hoặc duy trì càng mạnh mẽ, thì một thử nghiệm trên giao diện đó càng hạn chế thử nghiệm dài hạn của chúng tôi về kích hoạt và duy trì.

Chúng tôi sẽ cần ưu tiên thử nghiệm biến thể nào trước, bởi vì chúng tôi sẽ chỉ thử nghiệm từng biến thể một. Chúng tôi cũng sẽ không chạy bất kỳ biến thể nào cho đến khi khoảng một tháng thử nghiệm lớn hơn đã chạy mà không có bất kỳ biến thể nhỏ hơn nào được lồng bên trong. Điều này là để chúng ta có thể tìm hiểu rõ liệu bảng điều khiển trợ giúp có ảnh hưởng đến tỷ lệ kích hoạt người dùng mới hay không.

Các chỉ số và kế hoạch hành động hàng đầu
Thời gian của thử nghiệm A / B là sáu tháng vì không thể phát hiện ra các thay đổi đối với việc giữ lại trình chỉnh sửa mới trên các wiki cỡ trung trong thời gian ngắn hơn (trừ khi chúng tôi tác động mạnh đến việc duy trì, nhưng chúng tôi thấy điều đó hơi khó xảy ra). Trong khi chúng tôi chờ đợi kết quả của mình, chúng tôi muốn có thể hành động nếu chúng tôi nghi ngờ rằng có gì đó không ổn. Dưới đây, chúng tôi phác thảo một tập hợp các kịch bản dựa trên dữ liệu được mô tả trong chiến lược thiết bị ở trên. Đối với mỗi kịch bản, chúng tôi đề xuất một kế hoạch hành động cần thực hiện để khắc phục tình hình trên.

Status of leading indicators after one month
The Help Panel was deployed to Czech and Korean Wikipedias on January 11, 2019. One month later we gathered data for all registrations for both wikis up until that point so that we can evaluate our leading indicators and determine whether any of the feature's behavior was concerning. In short, while the evaluation exposes some areas for improvement, we think the help panel's behavior so far is healthy and that it is not having a negative impact on the wikis.

Known test accounts were removed, as were users who turned the Help Panel on or off in their preferences because self-selection into or out of the treatment group violates the equal expectation resulting from random assignment to groups. However, as we will see below, very few users changed their preferences.

There are four thresholds in the table above that are cause for concern, and the list below explains how we're thinking about them.


 * Not opening the help panel: for both wikis, the number is somewhat, but not alarmingly higher than the threshold. This makes us feel like we have healthy open rates that have room for improvement.  In that vein, we have started to display the help panel in more places, so that users have more opportunities to open it up.  The help panel is now being displayed in reading mode in the Help, Wikipedia, and User namespaces.  This work was tracked in T215664 and completed by March 6, 2019.


 * Not clicking help links: since the analysis showed that three Czech links were getting low traffic, we removed the link to more information about notability and replaced it with a link about how to add an image, as the latter was the most frequent question posted to the Help Desk and the most frequently clicked link in Korean. We also relabelled the link to the guide to be labelled "Quick tutorial", because that is what is used in the Korean Wikipedia, where that is the second most frequently clicked link. This work was tracked in T217391 and completed by March 6, 2019.


 * Not asking questions: in retrospect, our expectation that 75% of users who open the help panel (and don't click links) would ask a question was likely too ambitious. We feel comfortable with the rate of questions being asked in Czech, and we are learning that perhaps the paradigm of asking public questions is not a great fit for Korean Wikipedia, given the low rate of questions there.  This is one of the reasons we added "search" to the help panel, so that users would have different ways to find help that might fit their own preferences of how to find it.  This work was tracked in T209301 and completed by February 25, 2019.


 * Starting the question path and not completing it: the absolute numbers for this metric are still low enough that it is hard to say with confidence whether we are notably higher than the threshold. At the time of this analysis, only about 25 people had attempted asking a question.  We will therefore revisit this indicator at a later stage.