Growth/Personalized first day/Newcomer tasks/tr

Bu sayfada, Büyüme ekibinin daha büyük "Kişiselleştirilmiş ilk gün" girişimi kapsamında özel bir proje olan "yeni gelen görevler" projesi üzerindeki çalışmaları açıklanmaktadır. Bu sayfada önemli varlıklar, tasarımlar ve kararlar bulunmaktadır. İlerlemedeki en artımlı güncellemeler, genel olarak Büyüme ekibi güncellemeleri sayfası bölümünde yayınlanacak ve burada bazı büyük veya ayrıntılı güncellemeler yayınlanacaktır.

Bu modellere bakarak ekibinin ne yaptığını hızlıca görebilirsiniz (gezinmek için ok tuşlarını kullanın):


 * Masaüstü
 * Mobil
 * Konu eşleme

Bu proje için tasarım ve planlama 2019-07-24 tarihinde başladı. İlk sürüm 2019-11-20'de dört vikide konuşlandırıldı.

'''In December 2020, we published results showing the positive impact that newcomer tasks have on engagement.  See this page for the details .

Mevcut durum

 * 2019-07-24: yeni görevlerin tartışıldığı ilk ekip toplantısı
 * 2019-08-27: kavramları üzerinden gitmek için iş ekip toplantısı.
 * 2019-09-09: Mühendislik işi için oluşturulan Phabricator görevleri
 * 2019-09-23: masaüstü kullanıcı testleri tamamlandı
 * 2019-09-30: mobil kullanıcı testleri tamamlandı
 * 2019-11-20: V1.0 Çekçe, Korece, Arapça ve Vietnamca Vikipedi'lere konuşlandırıldı
 * 2019-12-13: Çekçe, Korece, Arapça ve Vietnamca Vikipedi'lere dağıtılan ilk değişken testi ("başlatma")
 * 2020-01-14: 2020-01-20 haftasında konuşlandırılacak konu eşleşmesinin eklenmesinin test edilmesi.
 * 2020-01-21: ilgilenilen konuları seçme seçeneği önerilen düzenleme modülüne eklendi
 * 2020-03-05: konu eşleşmesi ORES modellerini kullanacak şekilde yükseltildi
 * 2020-04-03: ilk varyant testinin sonuçları
 * 2020-06-08: yeni gelenleri Variant A'ya geçirdi
 * 2020-06-15: depolandırılmış rehberlik
 * 2020-10-19: deployed Variants C and D
 * Sonraki: analyze Variant C and D results and work on "add a link" structured task

Özet
Yeni gelenlerin, vikiye ilk ulaştıklarında başarılı olmak için her fırsata sahip olmaları gerektiğini düşünüyoruz. Ancak, yeni gelenler, kendileri için çok zor olan, yapmak istedikleri bir görevi bulamayan veya ilk düzenlemelerinden sonra nasıl yer alacakları hakkında fikir bulamayan bir görevi denerler. Bu, birçoğunun gitmesine ve geri dönmemesine yol açar. Geçmişte editörlere görev önerme konusunda başarılı girişimler olmuştur ve bu nedenle yeni gelen anasayfasının yeni gelenler için ilgili görevleri önerebilecek potansiyel bir yer olduğuna inanıyoruz.

Birkaç şeyi aklımızda tutmamız gerekecek:
 * Pek çok yeni gelen, belirli bir maddeye belirli bir fotoğraf eklemek gibi, başarmaya çalıştıkları belirli bir şeyle gelir. Hedeflerine ulaşmalarına engel olmak istemiyoruz.
 * Yeni gelenler, daha kolay düzenlemelerden zor olanlara ilerleyerek yeteneklerini zamanla geliştirirler.
 * Yeni başlayanlar erkenden başarılı olduklarında, düzenlemeye devam etmek için daha fazla motive olurlar.

Bunları göz önünde bulundurarak, onlar için doğru yere ve zamana ulaşan yeni gelenlere, başarılı olmak için ihtiyaç duydukları becerileri öğretmek ve ilgi alanlarıyla ilgili görevler önermek istiyoruz.

Görevlerin yeni gelenlerle alakalı olmasına yardımcı olmak için sahip olduğumuz değerli bir araç, başlangıçta bu amaç için özel olarak geliştirilen karşılama anketi: yeni gelen deneyimini kişiselleştirmektir. Yeni gelenlerin hedefleri ve ilgi alanları hakkında kendilerine uygun görevleri önermek için verdikleri isteğe bağlı bilgileri kullanmayı planlayacağız.

En büyük zorluklardan biri, yeni gelenlerin yapması için uygun görevleri nasıl toplayacağınızı bulmak olacaktır. Maddeler üzerinde çalışmak için çağrı yapan şablonlar, İçerik Çevirisi aracı içindeki öneriler veya Citation Hunt gibi araçlardan öneriler gibi birçok mevcut kaynak vardır. Soru, bu seçeneklerden hangilerinin yeni gelenlerin hedeflerine ulaşmalarına yardımcı olacağı olacaktır.

İlk olarak, yeni gelen anasayfasını görev önerilecek yer olarak kullanmaya odaklanacağız, ancak uzun vadede yeni gelenlerin önerilenleri gerçekleştirmelerini önermek ve yardımcı olmalarını sağlamak için düzenleme deneyimine uzanan özellikler geliştirmeyi hayal edebiliriz.

Ayrıca uzun vadede, görev önerilerini yeni gelen deneyiminin ana sayfadaki etki modülü gibi veya yardım paneli gibi diğer bölümlerine bağlamanın yollarını düşüneceğiz.

Bu fikre neden öncelik tanınır
Araştırma ve deneyimlerden biliyoruz ki pek çok yeni gelen, düzenleme yolculuğunda bu nedenlerden birinden dolayı başarısız oluyor:


 * Yeni bir madde yazmak veya resim eklemek gibi çok zorlayıcı bir düzenleme ile geliyorlar. Bu görevler muhtemelen başarısız olacak ve geri dönmeyecek kadar zordur.
 * Ne düzenleyeceklerini bilmeden gelirler ve yapılacak düzenlemeleri bulamazlar.

We also know that on the newcomer homepage, the most frequently clicked-on module is the "user page" module -- the only thing on the page that encourages users to start editing. This makes us think that many users are looking for a clear way to get started with editing.

And from past Wikimedia endeavors, we've seen that task recommendations can be valuable. SuggestBot is a project that sends personalized recommendations to experienced users, and is a well-received service. The Content Translation tool also serves personalized recommendations based on past translations, and has been shown to increase the volume of editing.

For all these reasons, we think that recommending specific editing tasks for newcomers will give them a clear way to get started. For those newcomers that have an edit in mind that we want to do, we'll encourage them to try some easy edits first to build up their skills. For those newcomers who do not have a specific preference on what to edit, they'll hopefully find some good edits from this feature.

Sözlük
''There are many terms that sound similar and can be confusing. This section defines each of them.''


 * "Newcomer tasks"
 * The entire workflow that recommends edits for newcomers and guides them through the edits.


 * "Suggested edits"
 * The name of the specific module that the newcomer tasks workflow adds to the newcomer homepage.


 * "Task recommendations" or "Task suggestions"
 * Lists of articles that need editing work, suggested automatically to users.


 * "Personalized"
 * Software that adapts automatically to each user to fit their needs.


 * "Customized"
 * Software that the user adapts to fit their needs.


 * "Topic"
 * A content subject, such as "Art", "Music", or "Economics".


 * "Topic matching"
 * The ability to find tasks for newcomers that match their topics of interest.


 * "Guidance"
 * Features that help the newcomer complete the suggested task while they are working on it.


 * "Maintenance template"
 * Templates that are put on articles indicating that work needs to be done on them.

Görev önerme
The core challenge to this project is: Where will the tasks come from and how will we give the right ones to the right newcomers?

The graphic below shows our priorities when recommending tasks to newcomers.

As shown in the graphic above, we would give newcomers tasks that...


 * ...arrive at the right time and place for a newcomer's journey.
 * ...teach relevant conceptual and technical skills.
 * ...gradually guide users to build up their editing abilities.
 * ...be personalized to their interests.
 * ...show them the value and impact of editing.
 * ...motivate them to participate continually.

For instance, we do not want to give newcomers tasks that are irrelevant to what they hope to accomplish. If a newcomer wants to write a new article, then asking them to add a title description will not teach them skills they need to be successful.

We're splitting this challenge into two parts: the sourcing the tasks and topic matching.

Görevlerin sağlanması
There are many different places we could find tasks for newcomers to do. Our team listed as many as we could think of and evaluated them for whether they seem to be achievable for the first version of the feature. Below is a table showing the many sources of tasks that we evaluated in coming to the decision to start by using maintenance templates.

Version 1.0: basic workflow
In version 1.0, we will deploy the basic parts of the newcomer tasks workflow. It will recommend articles to newcomers that require different types of edits, but it will not match the articles to the newcomers' topics of interest (version 1.1), and it will also not guide the newcomers in completing the task (version 1.2).

Maintenance templates
We're going to be starting by using maintenance templates and categories to identify articles that need work. All of our target wikis use some set of maintenance templates or categories on thousands of articles, tagging them as needing copyediting, references, images, links, or expanded sections. And previous task recommendations software, such as SuggestBot, have used them successfully. These are some examples of maintenance categories:


 * Articles needing links in Arabic Wikipedia
 * Articles needing copyediting in Korean Wikipedia
 * Articles needing references in Czech Wikipedia



In this Phabricator task, we investigated exactly which templates are present and in what quantities, to get a sense of whether there will be enough tasks for newcomers. There seem to be sufficient numbers for the initial version of this project. We are likely to incorporate other task sources from the table below in future versions.

It's also worth noting that it could be possible to supplement many of these maintenance templates with automation. For instance, it is possible to automatically identify articles that have no internal links, or articles that have no references. This is an area for future exploration.

During the week of October 21, 2019, the members of the Growth team did a hands-on exercise in which we attempted to edit articles with maintenance templates. This helped us understand what challenges we can expect newcomers to face, and gave us ideas for addressing them. Our notes and ideas are published here.

Comparative review
Our team's designer reviewed the way that other platforms (e.g. TripAdvisor, Foursquare, Amazon Mechanical Turk, Google Crowdsource, Reddit) offer task recommendations to newcomers. We also reviewed Wikimedia projects that incorporate task recommendations, such as the Wikipedia Android app and SuggestBot. We think there are best practices we can learn from other software, especially when we see the same patterns across many different types of software. Even as we incorporate ideas from other software, we will still make sure to preserve Wikipedia's unique values of openness, clarity, and transparency. The main takeaways are below, and the full set of takeaways is on this page:


 * Task types – bucket into 4 types: Rating content, Creating content, Moderating/Verifying content, Translating content
 * Incentives – Most products offered intangible incentives mainly bucketed into the form of: Awards and ranking (badges), Personal pride and gratification (stats), or Unlocking features (access rights)
 * Reward incentives – promote badges or attainments of specific milestones (e.g., a badge for adding 50 citations)
 * Personalization/Customization – Most have at least one facet of personalization/customization. Most common customization is user input on surveys upon account creation or before a task, most common system-based personalization type is geolocalization
 * Visual design & layout – incentivizing features (stats, leaderboards, etc) and onboarding is visually rich compared to pared back, simple forms to complete short edits.
 * Guidance – Almost all products reviewed had at least basic guidance prior to task completion, most commonly introductory ‘tours’. In-context help was also provided in the form of instructional copy, tooltips, step-by-step flows,  as well as offering feedback mechanisms (ask questions, submit feedback)

Mockups
Our evolving designs can always be found in two sets of interactive mockups (use arrow keys to navigate): Those mockups contain explorations of all the difference parts of the user journey, which we have broken down into several parts:
 * Desktop
 * Mobile


 * 1) Gathering information from the newcomer: learning what we need in order to recommend relevant tasks.
 * 2) Feature discovery: the way the newcomer first encounters task recommendations.
 * 3) Task recommendations: the interface for filtering and choosing tasks.
 * 4) Guidance during editing: once the newcomer is doing a task, the guidance that helps them understand what to do.
 * 5) User feedback: ways in which the newcomer can indicate that they are not satisfied with the recommended task.
 * 6) Next edit: how we continue the user's momentum after the save an edit.

Below are some of the original draft design concepts as the team continues to refine our approach.

Desktop
16 Eylül 2019 haftasında, Wikimedia hareketine bağlı olmayan internet kullanıcılarıyla masaüstü yeni gelen görev prototipinin altı testini yapmak için usertesting.com'u kullandık. Bu testlerde, katılımcılar modelleri denenmesi, gözlemledikleri şey hakkında yüksek sesle konuşma ve deneyim hakkındaki soruları cevaplamaları nedeniyle telafi edilir. Tam sonuçları bu Phabricator görevinde bulabilirsiniz. Bu testin amaçları:


 * 1) Yeni görev modülünün keşfedilebilirliğini ölçün
 * 2) Görev modülünün kullanılabilirliği ne ilişkin iyileştirmeleri belirleyin:
 * 3) Kullanıcılar madde önerilerini nasıl seçeceklerini ve gözden geçireceklerini anlıyor mu?
 * 4) Kullanıcılar ilgi alanlarına ve görev zorluklarına göre nasıl filtre uygulanacağını anlıyor mu?
 * 5) Önerilen bir maddeyi düzenlemeye nasıl başlayacaklarını biliyorlar mı?
 * 6) Kullanıcı tepkilerini önerilere ve  beklentiler'e göre görev yoluyla yönlendirin.


 * Araçları özeti


 * Tüm kullanıcılar ilgi alanlarına göre öneriler almanın anlamlı ve sezgisel olduğunu düşündüler.
 * Benzer şekilde, farklı görev zorlukları tüm katılımcılar tarafından olumlu karşılandı.
 * Önerilen düzenleme modülünün genel kullanılabilirliği son derece yüksekti. İnsanlar daha fazla makaleyi görüntülemek için nasıl tıklayacaklarını, konuları ve görev düzeylerini değiştirmek için filtreyi nasıl kullanacaklarını ve düzenleme önerisi açmak için kartı tıklayacaklarını biliyorlardı.
 * 4/6 Katılımcılar başlangıçta yeni bir madde yazma hedeflerine ulaşmalarına yardımcı olmak için “Önerilen düzenlemelere bak”'ı tıklamaları gerektiğini fark etmediler. Bu, kullanıcıların "Düzenleme"'yi "Yeni sayfa oluşturma"'dan farklı olarak ayırdığı yaygın bir zihinsel model gibi görünüyordu.
 * Başlangıç modülü açıkça tüm katılımcılar için başlangıç noktasıdır. Ayrıca, birçoğu başlangıç modülündeki etkinliklerin ilerlemesini takip etmenin bir yolu olarak “Önerilen düzenlemelere bakın” düğmesine çizilmişti.
 * Kullanıcılar, konu eklemek ve görev düzeylerini tanıtmak için giriş diyaloglarına dayanarak düzenleme için önerilen maddeler olarak gösterilecekleri net bir anlayış ve beklentiye sahipti.
 * Herkes popüler konuları seçip kendi konusunu kolayca ekleyebildi.
 * Herkes önerilen düzenleme modülünün amacını anladı.
 * İki kişi, kolay ve orta görevleri tamamlayana kadar yeni bir makale oluşturamayacakları konusunda kafa karıştırdı/varsayıldı.
 * 6 katılımcıdan 5'i editör moduna girdikten sonra yardım için yardım paneli düğmesine tıklamayı biliyordu.
 * Dört kişinin yardım panelinden mentor ile iletişim kurabilmesi bekleniyor.
 * Görev ipuçları birkaç katılımcı için yeterli düzeyde rehberlikten yoksundu.


 * Öneriler


 * Yeni içerik oluşturmanın bir düzenleme biçimi olduğunu kullanıcı eğitimi üzerinde kopyalamayı ve daha fazlasını geliştirin.
 * Kullanıcının önerilen düzenlemeleri anlamasına yardımcı olmak için burada test edildiği şekilde Etki modülünde güncellemeler yapın.
 * İyi düzenleme içi bağlam yardımı sağlayın. Düzenlemeyi deneyen kullanıcılar için çok önemlidir.
 * Yardım panelinin görev ipuçlarına kullanıcıların gözden geçirmesi için bir "kontrol listesi" ekleyin.
 * Ne yapılacağına dair kısa örnekler verin.
 * Bir makalenin tamamı için düzenlemeyi kopyalamak zorunda olmadıklarını kullanıcılara belirtin.
 * Gerçek zamanlı filtreleme sonuçları eklemek kullanıcıların önerileri madde düzenlemeleri olarak bağlamasına ve eşleşen makaleleri bulmak için filtrelemenin kullanılmasını teşvik etmesine yardımcı olur.

Mobil
30 Eylül 2019 haftasında, usertesting.com'u, mobil yeni gelen görev prototipinin altı testini yapmak için kullandık. Tam sonuçları bu Phabricator görevinde bulabilirsiniz. Bu testin amaçları masaüstü ile aynı, ancak mobil deneyimin masaüstü deneyiminden nasıl farklı olması gerektiğini anlamak da ek olarak. Mobil kullanıcı test kullanıcılarından Vikipedi'ye resim eklemek niyetinde senaryo istenmiştir (oysa masaüstü katılımcılardan yeni bir madde oluşturmak niyetinde senaryo istenmiştir).

Araçları özeti


 * Genel kullanıcılar, başlangıç modülünün (yeniden tasarlandı) başlamak için yönlendirilmiş adımları açıkça ortaya koyduğunu buldular.
 * Aşağıdaki ekstra "Önerilen düzenlemeler" modülü, özellikle kafa karıştırıcı olmasa da, kullanıcıların görüntü eklemek için kendilerine yardımcı olmaları beklenen yerler değildi.
 * Önerilen düzenlemelerin kullanımı oldukça sezgiseldi ve katılımcılar farklı öğelerinin (filtreleme, daha fazla madde görme vb.) nasıl çalıştığını anladılar. Ancak, kullanıcılar öğrenme veya can sıkıntısının ötesinde Önerilen düzenlemeler yapmanın değerini görmezler.
 * Birkaç kişi, listelenen geniş konulardan daha ayrıntılı konuların kullanılmasını istedi.
 * Ayrıntılı zorluk bilgisine sahip olmak eğitseldi, ancak potansiyel olarak cesaret kırıcıydı. Hepsi şaşırmıştı “Resim ekleme” bu gerçeğe göre değişen derecelerde hayal kırıklığıyla sert olarak sınıflandırıldı.
 * İlgi alanlarına göre filtreleme büyük bir satış noktasıdır.
 * Testin sonuna doğru 3 kişi, Orta/Zor görevler gerçekleştirilmeden önce bazı “doğrulama” veya bazı Kolay görevler yapma gereksinimi olduğunu varsaydı.
 * Herkes Önerilen düzenlemelerin amacını, kullanıcıların düzenlemeyi öğrenecek düzenlemeler vermek olarak anladı ve ayrıca bazı düzenlemelerin yapılması daha zor olduğunu gösterdiğini vurguladı.
 * Tüm kullanıcılar, düzenleme sırasında yardım panelinden sunduğumuz rehberliği kullanmakta zorlandılar. Bu oluşturmaya başlamadan önce tasarım hakkında çok düşünmemiz gereken önemli bir alandır.

Öneriler


 * Önerilen düzenlemeler harekete geçirici mesaj, kendi kartında değil, başlangıç modülünün içindedir.
 * Öğrenmenin ötesinde önerilen düzenlemeleri denemede gerçek dünya değerinin olduğunu ve görev zorluğunun sadece bir rehber olduğunu ve görevlerin düzensiz olarak denenebileceğini daha iyi iletmek için kopya ve kullanıcı eğitimi görüntülerini geliştirin.
 * Önerilen düzenlemelere kişiselleştirilmiş tanıtımı tanıtmak için bir yer paylaşımı ekleyin.
 * Hem görev hem de konu filtrelerinde filtrelenmiş sonuçların gerçek zamanlı sayımı dahil.
 * Kullanıcılar tarafından ilgi alanlarına göre daha ayrıntılı bir arama yapın.
 * Bir kullanıcı, gerçek ve etkili bir düzenleme olduğunu belirten bir öneri açtığında tekrarlayın.
 * Görev içi yardım panelinin tasarımını, kullanılabilir tüm yardım içeriğine açıkça erişilebilecek şekilde güncelleyin.

Sürüm 1.1: konu eşleşmesi
Geçmişteki araştırma ve geliştirme, görevlerin topikal ilgi alanlarıyla eşleşmesi durumunda kullanıcıların önerilen görevleri yapma olasılığının daha yüksek olduğunu göstermektedir. SuggestBot benzer maddeleri bulmak için bir düzenleyicinin geçmiş düzenleme geçmişini kullanır ve bu akıllı sonuçlar rastgele sonuçlardan daha sık yürütüldüğünde bu kağıtta gösterilir. İçerik Çevirisi aracı, kullanıcının önceki çeviri geçmişine dayanan maddeler de önerir ve bu öneriler çeviri hacmini artırmıştır.

Konu eşleşmesi içermeyen yeni görevlerin V1.0'ın kullanımına baktığımızda, önerilen birçok makalede dolaşan ve hiçbirini tıklamayan kullanıcılar olduğunu görüyoruz. Ayrıca, birçok kişi arasında gezinen ve yalnızca tıp gibi belirli bir konuya ait olduğunu buldukları kullanıcıları düzenleyen kullanıcılar da vardır. Bunlar aynı zamanda konuların yeni gelenlerin düzenlemek istedikleri maddeleri bulmalarına yardımcı olmak için değerli olabileceğine dair iyi göstergelerdir.

Yeni gelenlerle ilgili sorunumuz, "soğuk başlatma sorunu"dur; Her maddede konunun ne olduğunu söyleyen bir algoritma kullanmak ve bunu bakım şablonları olan makalelere filtre uygulamak için kullanmak istiyoruz.

Algoritmalar


Kullanıcının belirttiği ilgi konusu ile eşleşen maddeler bulabileceğimiz birçok yaklaşım vardır. Ekibimiz birçok tanıyı tanımlasa da, üç yöntem için prototipler ürettik ve test ettik:


 * morelike: assign a seed list of articles that represent each topic area (e.g. "Art" might be represented by the articles for "Painting", "Sculpture", "Dance", and "Weaving".) Use that seed list to find other articles that are similar to those in the seed list by using a similarity algorithm called "morelike".
 * free text: instead of choosing from a set list of topics, allow newcomers to type in any phrase they want to indicate a topic. Use regular Wikipedia search to surface articles relevant to that phrase.
 * ORES: is a machine learning service that – among other things – can return a predicted topic for any article.  Though this prediction service only works in English Wikipedia, there are ways to translate predictions from English to other wikis.

In this Phabricator task, we evaluated the three methods, and decided to proceed with the ORES model. The Growth team worked with the Scoring team to strengthen the model, and with the Search team to make the model predictions available to the newcomer tasks workflow. During the time that this work was happening, we deployed the somewhat worse-performing morelike algorithm, and switched to the ORES model about a month later.

The ORES model we use now offers 64 topics, and we chose to expose 39 of them to newcomers. The evaluation in four different languages showed that on average, 8.5 out of 10 suggestions for a given topic seem like good matches for that topic.

Design
In designing interfaces that allow newcomers to choose topics of interest, these are some of the considerations:


 * Kullanıcıya ezici olmayan yaklaşık 30 konunun uzun bir listesini nasıl hazırlayabilirim?
 * Birden çok konu katmanı nasıl ele alınır (örneğin, "Bilim"'in "Biyoloji", "Kimya" vb. alt başlıkları varsa)
 * Kullanıcılar, bir konu seçtikleri şeyle eşleşmediğinde geri bildirim verebilir mi?

Bu modeller bu arayüz için mevcut tasarımlarımızı içerir. Klavyenizin ok tuşlarıyla gezinebilirsiniz. Aşağıda modeller bazı resimleri bulunmaktadır:

Sürüm 1.2: rehberlik
Guidance was deployed on 2020-06-15. For a guide to translating the messages in this feature, see this page.

After newcomers have selected an article from the suggested edits module, they should receive guidance about how to click edit and complete the edit successfully. While it is exciting that some portion of newcomers are completing suggested edits without guidance, we're confident that by adding guidance, we will substantially increase how many newcomers edit.

We decided to repurpose the help panel as the place to deliver this guidance. Reusing the help panel will allow us to build quickly. The guidance contains three phases:


 * 1) When the user has arrived on the article and before they click edit.
 * 2) After clicking edit and before saving an edit.
 * 3) After saving an edit.

Some of the ideas we considered implementing included:


 * Guidance tailored to each type of edit, varying depending on whether the suggested edit is a copyedit, adding links, adding references, etc.
 * Reminder that an edit can be small, and that the user does not have to edit the whole article.
 * Step-by-step walkthrough that is like a checklist for completing the edit.
 * Highlighting the maintenance templates in the article so that the user can see why the article was suggested.
 * An indicator that encourages the user to click the edit button.
 * A place to put videos that demonstrate how to complete the edit.
 * Suggestions for additional edits after saving the initial edit.
 * Ability for the user to notify their mentor that they have done an edit, so the mentor can check their work and thank them.

During the last week of December 2019, we user tested desktop and mobile prototypes, which can be found below. We will post the user test results after assembling them.


 * Desktop prototype
 * Mobile prototype

Below are some images of the prototype:

Variant testing
After deploying the first version of newcomer tasks, we want to start testing different variants of the feature, so that we can improve it iteratively. Rather than just having one design of newcomer tasks, and seeing if newcomers are more productive with it than without it, we plan to test more than variant of newcomer tasks at a time, and compare them. We have compiled an exhaustive list of all the ideas of variants to test -- but we will only end up testing perhaps 10 per year, because of the effort and time it takes to build, test, and analyze.

In March, April, and May 2020, we'll be testing variants that aim to get more users into the newcomer tasks flow.

See this page for the list of variant tests and their results.

Controlled experiment
In December 2020, we published the results of a controlled experiment showing that newcomer tasks have a positive impact on engagement. These are our most important results, and give us confidence that these features should expand to more wikis. See this page for the details.

Kullanım
Starting in December 2019, we have been tracking several key metrics from newcomers tasks. The graphs shown in this section are our main charts of those metrics as of 2020-08-17.

Summary
Since deploying newcomer tasks in November 2019, we have seen steady increases in both the number of edits from the feature and the number of editors using the feature. These increases are due to two elements: (a) improvements to the feature, and (b) expanding the feature to more wikis.

Specific charts
Conversion funnel: the first graph is the most important to our team. Each line shows how many newcomers arrive at each stage of our "conversion funnel", meaning how far they progress into the newcomer tasks workflow, as a percentage of newcomers who visit their homepage. We want the users to move through the stages of (1), (2) , (3) , (4). In general, we want to see all the lines go up.


 * Since the early days of the feature, the percentage of users who have clicked edit and who have saved edits have steadily gone up. In January 2020, something like 2% of newcomers who visited their homepage saved a suggested edit. In August 2020, that has grown to 5.3%, which is more than double.
 * In August, almost all users who selected a task clicked edit, which can be seen by the closeness of the red and orange lines.
 * We think that these improvements are due to the two major features we deployed between January and August: topic matching (which allows newcomers to find more interesting articles) and guidance (which encourages them to click edit and explains how to complete the edit).

Edits: the second graph shows the number of newcomer task edits completed each week, with a separate line for each wiki and a "total" line in black. From December to August 17, there have been 15,126 edits completed through newcomer tasks. It is clear that this has grown over time, which is certainly to be expected because we have gone from 4 wikis to 12 between January and August. But looking at the individual wikis' lines, it is possible to see growth over time.


 * It is common for the number of suggested edits completed each week on a wiki to vary a lot. One of the reasons is that a small number of enthusiastic newcomers can create dozens or hundreds of edits in a short time, but then may not be on wiki on other weeks.
 * Arabic Wikipedia, being one of the largest wikis that has the feature, consistently creates the most edits.

Editors: in addition to tracking the number of edits, we also want to make sure that increasing numbers of newcomers are participating. The third graph shows the number of users completing newcomer tasks each week, broken out by wiki.


 * Similarly to the graph of edits, this number also has increased steadily, and the addition of new wikis (such as French Wikipedia on week 21 and Persian Wikipedia on week 32) are clearly visible.
 * We believe that the effect of "guidance" is visible. This was released before week 25. There have been over 100 users of newcomer tasks every week since its release, whereas only three weeks had previously reached that level.

Düzenleme kalitesi
Büyüme ekibinin büyükelçileri, yeni gelenler tarafından kaydedilen 300'den fazla düzenlemeden geçti ve her bir düzenlemenin verimli olup olmadığını işaretledi (yani maddeyi geliştirdiğini). Düzenlemelerin yaklaşık %75'inin üretken olduğunu görmekten mutluluk duyuyoruz. Bu, yeni düzenlemeler için temel orana benzer ve bu özelliğin vandalizmi teşvik etmediği için mutluyuz. Düzenlemelerin çoğu kopyalanır, birçoğu da bağlantı ekler, hatta bazıları içerik ve kaynak ekler. Düzenlemelerin çoğu, birçoğu bağlantı ekleyen ve hatta bazıları içerik ve kaynak ekleyen kopyalanmış düzenlemelerdir. Önerilen bir düzenlemeyi yapan kullanıcıların yaklaşık üçte biri, önerilen ek düzenlemeler yapmaya devam eder. Ayrıca birçoğu, özelliğin önerdiği olmayan düzenlemeler yapmaya devam ediyor, bu da görmekten mutlu olduğumuz davranışlardır.

Gördüğümüz yüksek kaliteli düzenlemeler, daha fazla yeni başlayanın iş akışını başlatması ve tamamlaması için özelliği geliştirmemizi teşvik ediyor.