Growth/Analytics updates/Help Panel experiment plan/vi

Mục tiêu của bảng trợ giúp là cung cấp cho người dùng những cách dễ dàng hơn để nhận trợ giúp mà không cần phải rời khỏi bối cảnh chỉnh sửa. Điều này sau đó có thể cho phép họ hoàn thành nhiệm vụ của mình đồng thời có khả năng gặp gỡ cộng đồng Wikipedia thông qua các câu hỏi và câu trả lời tại bàn trợ giúp cộng đồng. Giúp người dùng hoàn thành nhiệm vụ của họ có thể dẫn đến tăng kích hoạt trình chỉnh sửa (tỷ lệ người dùng mới thực hiện chỉnh sửa) và có khả năng duy trì trình chỉnh sửa (tỷ lệ người dùng mới quay lại chỉnh sửa lần thứ hai), sau này là nhóm bao trùm mục tiêu.

Để hiểu tác động của bảng trợ giúp đối với việc kích hoạt và duy trì trình chỉnh sửa, chúng tôi đề xuất thử nghiệm A / B sáu tháng. Trong quá trình thử nghiệm đó, 50% đăng ký mới trên wiki mục tiêu sẽ có bảng trợ giúp được bật theo mặc định và 50% sẽ bị vô hiệu hóa. Chúng tôi có thể đang chạy các thử nghiệm khác trên wiki mục tiêu cùng một lúc, ví dụ như các biến thể thử nghiệm của khảo sát chào mừng của chúng tôi. Nếu những thí nghiệm đó yêu cầu lấy mẫu phân tầng, chúng tôi sẽ đảm bảo các chiến lược lấy mẫu của chúng tôi được sửa đổi cho phù hợp.

Để biết thêm thông tin về các câu hỏi chúng tôi dự định theo đuổi với bảng trợ giúp, hãy xem phần này trên trang dự án. Để biết thêm thông tin về chính xác dữ liệu chúng tôi sẽ ghi lại, hãy xem lược đồ EventLogging này.

Các biến thể
Trong sáu tháng đó, chúng tôi cũng hình dung các biến thể thử nghiệm của bảng trợ giúp để hiểu cách các yếu tố giao diện cụ thể ảnh hưởng tích cực đến các hành vi bên trong quy trình tìm kiếm trợ giúp. Chúng tôi sẽ nhớ rằng giả thuyết của chúng tôi rằng giao diện bị thay đổi sẽ ảnh hưởng đến việc kích hoạt hoặc duy trì càng mạnh mẽ, thì một thử nghiệm trên giao diện đó càng hạn chế thử nghiệm dài hạn của chúng tôi về kích hoạt và duy trì.

Chúng tôi sẽ cần ưu tiên thử nghiệm biến thể nào trước, bởi vì chúng tôi sẽ chỉ thử nghiệm từng biến thể một. Chúng tôi cũng sẽ không chạy bất kỳ biến thể nào cho đến khi khoảng một tháng thử nghiệm lớn hơn đã chạy mà không có bất kỳ biến thể nhỏ hơn nào được lồng bên trong. Điều này là để chúng ta có thể tìm hiểu rõ liệu bảng điều khiển trợ giúp có ảnh hưởng đến tỷ lệ kích hoạt người dùng mới hay không.

Các chỉ số và kế hoạch hành động hàng đầu
Thời gian của thử nghiệm A / B là sáu tháng vì không thể phát hiện ra các thay đổi đối với việc giữ lại trình chỉnh sửa mới trên các wiki cỡ trung trong thời gian ngắn hơn (trừ khi chúng tôi tác động mạnh đến việc duy trì, nhưng chúng tôi thấy điều đó hơi khó xảy ra). Trong khi chúng tôi chờ đợi kết quả của mình, chúng tôi muốn có thể hành động nếu chúng tôi nghi ngờ rằng có gì đó không ổn. Dưới đây, chúng tôi phác thảo một tập hợp các kịch bản dựa trên dữ liệu được mô tả trong chiến lược thiết bị ở trên. Đối với mỗi kịch bản, chúng tôi đề xuất một kế hoạch hành động cần thực hiện để khắc phục tình hình trên.

Trạng thái của các chỉ số hàng đầu sau một tháng
Bảng trợ giúp đã được triển khai tới Wikipedias của Séc và Hàn Quốc vào ngày 11 tháng 1 năm 2019. Một tháng sau, chúng tôi đã thu thập dữ liệu cho tất cả các đăng ký cho cả hai wiki cho đến thời điểm đó để chúng tôi có thể đánh giá các chỉ số hàng đầu của mình và xác định xem có bất kỳ hành vi nào của tính năng này không. Nói tóm lại, trong khi đánh giá cho thấy một số lĩnh vực cần cải thiện, chúng tôi nghĩ rằng hành vi của bảng trợ giúp cho đến nay vẫn lành mạnh và nó không có tác động tiêu cực đến wiki.

Các tài khoản kiểm tra đã biết đã bị xóa, cũng như những người dùng đã bật hoặc tắt Bảng trợ giúp theo sở thích của họ vì tự chọn vào hoặc ra khỏi nhóm điều trị vi phạm  kỳ vọng bình đẳng  do việc gán ngẫu nhiên cho các nhóm. Tuy nhiên, như chúng ta sẽ thấy bên dưới, rất ít người dùng thay đổi tùy chọn của họ.

Có bốn ngưỡng trong bảng trên là nguyên nhân gây lo ngại và danh sách dưới đây giải thích cách chúng tôi nghĩ về chúng.


 * Không mở bảng trợ giúp: đối với cả hai wiki, con số có phần, nhưng không đáng báo động cao hơn ngưỡng. Điều này làm cho chúng tôi cảm thấy như chúng tôi có tỷ lệ mở lành mạnh có chỗ để cải thiện. Theo đó, chúng tôi đã bắt đầu hiển thị bảng trợ giúp ở nhiều nơi hơn, để người dùng có nhiều cơ hội hơn để mở nó. Bảng trợ giúp hiện đang được hiển thị ở chế độ đọc trong các không gian tên Trợ giúp, Wikipedia và Người dùng. Công việc này đã được theo dõi trong T215664 và hoàn thành vào ngày 6 tháng 3 năm 2019.
 * Không nhấp vào liên kết trợ giúp: vì phân tích cho thấy ba liên kết của Séc đang có lưu lượng truy cập thấp, chúng tôi đã xóa liên kết để biết thêm thông tin về sự đáng chú ý và thay thế bằng liên kết về cách thêm hình ảnh, như sau là câu hỏi thường gặp nhất được đăng lên Bàn trợ giúp và liên kết được nhấp thường xuyên nhất bằng tiếng Hàn. Chúng tôi cũng đã liên kết lại liên kết đến hướng dẫn để được gắn nhãn "Hướng dẫn nhanh", vì đó là những gì được sử dụng trong Wikipedia tiếng Hàn, trong đó đó là liên kết được nhấp thường xuyên thứ hai. Công việc này đã được theo dõi trong T217391 và hoàn thành vào ngày 6 tháng 3 năm 2019.
 * Không đặt câu hỏi: khi nhìn lại, chúng tôi hy vọng rằng 75% người dùng mở bảng trợ giúp (và không nhấp vào liên kết) sẽ hỏi một câu hỏi có thể quá tham vọng. Chúng tôi cảm thấy thoải mái với tỷ lệ câu hỏi được hỏi bằng tiếng Séc và chúng tôi đang học được rằng có lẽ mô hình đặt câu hỏi công khai không phù hợp với Wikipedia tiếng Hàn, với tỷ lệ câu hỏi thấp. Đây là một trong những lý do chúng tôi đã thêm "tìm kiếm" vào bảng trợ giúp, để người dùng có nhiều cách khác nhau để tìm trợ giúp có thể phù hợp với sở thích của họ về cách tìm kiếm. Công việc này đã được theo dõi trong T209301 và hoàn thành vào ngày 25 tháng 2 năm 2019.
 * Bắt đầu đường dẫn câu hỏi và không hoàn thành nó: con số tuyệt đối cho số liệu này vẫn còn đủ thấp để có thể tự tin nói rằng liệu chúng tôi có cao hơn ngưỡng hay không. Tại thời điểm phân tích này, chỉ có khoảng 25 người đã cố gắng đặt câu hỏi. Do đó, chúng tôi sẽ xem xét lại chỉ số này ở giai đoạn sau.