Leitura Web/Experimentos/atualizações de descoberta de conteúdo

Projetos da Fundação Wikimedia Resumos simples de artigos Início: 2025-01 Membros da equipe: Web Líder: Olga Vasileva (Product Owner) ← Experimentos em descoberta de conteúdo

Resumo simples do artigo dopamina na Wikipedia inglesa

Rastreado no Phabricator
Tarefa T374143

Gostaríamos de fornecer resumos de artigos, o que simplificaria o conteúdo dos artigos. Tornando o conteúdo mais legível e acessível e, portanto, mais fácil de descobrir e aprender. Esta parte do projeto se concentra apenas na exibição. Um experimento futuro estudará maneiras de editar e ajustar esse conteúdo.

Pesquisas e experimentos anteriores

Previous research

Atualmente, grande parte do conteúdo da qualidade enciclopédica é de forma longa e, portanto, difícil de analisar rapidamente. Além disso, está escrito em um nível de leitura muito maior que o do adulto médio. Projetos que simplificam o conteúdo, como Wikipedia inglesa simples ou Basco txikipedia, são projetados para resolver alguns desses problemas. Onde os editores criem manualmente versões mais simples de artigos. No entanto, esses projetos até agora tiveram sucesso limitado - eles estão disponíveis apenas em alguns idiomas e são difíceis de escalar. Além disso, eles pedem aos editores que reescrevem o conteúdo que eles já escreveram. This can feel very repetitive.

Em nossa pesquisa anterior (simplificação de conteúdo), identificamos duas necessidades:

• Os leitores obterem rapidamente uma visão geral de um determinado artigo
• A visão geral ser escrita em linguagem que o leitor possa entender

Wikimania 2024 session

Na Wikimania 2024, discutiram maneiras de como a remixagem gerada por IA do conteúdo já criado, pode ser usada para tornar a Wikipedia mais fácil de compreender. A sessão se concentrou em maneiras de dar aos editores controle sobre a estrutura e o conteúdo desses novos recursos.

Results summary

1. Participant editors thought that the features presented had potential to improve the quality of the learning experience on Wikipedia
2. Participants agreed that some community/editorial control over machine generated content and suggestions would be preferable
3. Participants flagged a preference for solutions which did not require a lot of upfront work from editors
   1. For most groups, this meant adding the ability to edit or otherwise flag issues with machine-generated/remixed content once it was published or generated automatically on the wikis
4. Participants flagged a need for clearly marking which features AI was directly involved in

Userlytics experiment

Executamos um experimento apresentando resumos de artigos para os leitores da Web. Devemos determinar se os resumos dos artigos têm o potencial de aumentar a retenção de leitor, conforme testado por taxas de cliques e padrões de uso. Estávamos verificando se o conceito proposto era claro para os usuários e se o recurso era utilizável.

We ran an unmoderated Userlytics study on a prototype of our Simple Summary feature with eight participants. O protótipo incluiu um resumo da introdução do artigo da Wikipedia inglesa sobre Dopamine. We analyzed videos and screen recordings of the sessions.

Results summary

Participants found simple summaries easy to use, useful, and had a high level of trust in the machine-generated summary. Responses were much more positive than expected. The main issue to be addressed before release is ambiguity between the Simple Summary and the main article content while the simple summary accordion is closed. Veja mais em estudo de usabilidade sobre resumos simples.

Browser extension experiment

O segundo experimento adicionou o novo recurso à extensão do navegador pré-existente. O objetivo era determinar se os resumos valem a pena investimentos futuros para experimentação mais cara. Desta vez, reunimos evidências para as seguintes hipóteses:

1. # Os usuários estão interessados ​​no recurso conforme apresentado (conforme medido através do envolvimento inicial com o recurso de resumo)

   Resultados: De todas as visualizações de página em que os resumos foram exibidos, 8,09% ou visualizações de página tiveram um resumo aberto. As páginas que contêm o resumo receberam 10.198 impressões e 825 cliques totais para abrir o resumo.

2. Os usuários relatam experiências positivas com a experiência do usuário do recurso: conforme medido pelos atores para a pergunta "foi útil?"

   Resultados: 101 respostas foram recebidas na pesquisa. 75,2% dos cliques efetuados "Sim" e, 24,8% dos cliques efetuados no "Não".

   Results: out of all pageviews where summaries were displayed, 8.09% of pageviews had a summary opened. The pages containing the summary received 10,198 impressions and 825 total clicks to open the summary.

3. Users report positive experiences with the user experience of the feature (as measured by the answers to the "was this useful?" question)

   Results: 101 responses were received in our survey. 75.2% of all clicks selected "yes", 24.8% of all clicks selected "no".

O resumo acima é baseado nos dados coletados da plataforma de desktop da Wikipedia Inglês (enwiki) entre 4 e 17 de dezembro de 2024. Somente os usuários que permitiram a extensão poderiam ver o resumo, e nem todas as páginas incluíam uma. Veja $1 para mais detalhes Only users who had enabled the extension could view the summary, and not all pages included one. See phab:T381253 for more details

Design

For the browser extension experiment, the designs below were used. Summaries appear as collapsed when the page is loaded. If a user is interested in opening the summary, the can click the dropdown arrow, which allows the summary to appear.

The dropdown opens the summary, as well as additional information on how the summary was generated. It also contains the "unverified" tag to indicate this summary has not been verified by editors. (Once a future moderation workflow is in place, this tag will show as "verified" after editor verification)

• 
  Screenshot of collapsed state of article summary browser extension experiment
• 
  Screenshot of the open state of the simple article summary browser extension for the Dopamine article

Next steps

Goals for further experimentation

Com base nos resultados acima, acreditamos que esse recurso tem o potencial de beneficiar significativamente os leitores. Identificamos duas hipóteses que ajudarão a orientar e direcionar este trabalho no futuro, que podem se concentrar nos aspectos técnicos e de moderação de nossas próximas etapas.

1. # Avalie o impacto de um recurso de resumo proposto nas principais métricas do usuário em um wiki da Wikimedia
2. Avalie o interesse e o sentimento da comunidade em relação ao recurso de resumo e seu alcance em diferentes comunidades de idiomas
3. Explore o envolvimento da comunidade no recurso, concentrando -se especificamente na necessidade e na abordagem em relação à moderação sumária
4. Explore requisitos para melhorias e aplicações do modelo usado para geração de resumo
5. Evaluate community interest and sentiment towards the summary feature, and its range across different language communities
6. Explore community involvement in the feature, specifically focusing on the need and approach towards summary moderation
7. Explore requirements for improvements and applications of the model used for summary generation

Mobile summary pilot (Hypothesis 1)

If we introduce a pre-generated summary feature as an opt-in feature on a the mobile site of a production wiki, we will be able to measure a clickthrough rate greater than 4%, ensure no negative effects to session length, pageviews, or internal referrals, and use this data to decide how and if we will further scale the summary feature.

Mobile pilot

To evaluate this hypothesis, we are building a pilot version of the feature using the pre-generated summaries evaluated in the browser extension experiment. This version will be available for opt-in to a small percentage of readers on the mobile website for an experimental period of two weeks in June 2025.

Moderation consultations (Hypothesis 2)

If we approach summary moderation design collaboratively with communities — through surveys and other on-wiki discussions, we will be able to determine the minimal viable moderation workflow required for initial scaling of the feature and clarify whether moderation should be community-led, automated (at the prompt level), or some combination of both.

Community surveys

To evaluate this hypothesis, we are building a survey for communities. This survey will run in English, French, Japanese, and Spanish Wikipedias. The survey will present different options for adding, removing, and patrolling simple article summaries. We will use the results of the survey to propose the first version of a summary moderation workflow, which we will bring to communities for further discussion.

Timeline

Estimated time	Planned activity	Next steps
2023-2024	Research on simplification	Start discussions around simple article summaries
August 2024	Wikimania brainstorming session	Proceed with user study
October 2024	Usability study	Proceed with browser extension experiment
December 2024	Browser extension experiment	Proceed with experimentation on mobile Begin discussions for moderation workflows with communities
June 2024	Mobile pilot experiment	TBD
June 2024	Community moderation and patrolling survey	TBD