Reading/Web/Advanced mobile contributions/es

La modalidad de contribuciones avanzadas en móvil es un juego de prestaciones que añade más capacidades a la experiencia web para móviles. Para activar el modo avanzado, vaya a la página de configuración en el sitio móvil y seleccione "Modo avanzado".

Nos estamos enfocando en expandir la funcionalidad de la navegación y para parecerse más a la versión de escritorio del sitio.

Vaya a la sección ¿Qué está cambiando? a continuación para ver qué tipos de características/capacidades esperamos agregar.

Si ha habilitado la función, visite para darnos su opinión e ideas.

Resumen del proyecto
El modo avanzado en dispositivos móviles es un conjunto de funciones que agrega varias funciones/capacidades de contribuyentes a la experiencia web móvil. El modo avanzado agrega elementos de navegación y menús que permiten un fácil acceso a las páginas de discusión, páginas de historial y varias otras herramientas de página, herramientas de usuario y páginas especiales. Además, las páginas especiales (por ejemplo, Cambios recientes e Historial) tienen paridad funcional con las versiones de escritorio. En resumen: cuando el modo avanzado está habilitado, la funcionalidad del sitio móvil se asemeja más al sitio de escritorio. Algunas de las características clave son:

1. Introducción
A principios de 2018, el sitio web móvil no admitía muchas herramientas de contribución. Esto impidió que muchos editores pudieran contribuir desde la web móvil. El equipo de los lectores de la web decidió trabajar en este problema. Queríamos ampliar la capacidad de contribuir, con una funcionalidad que coincidiera con el sitio de escritorio. Nuestra esperanza era que estos cambios aumentaran las contribuciones del sitio móvil.

2. Búsqueda
En el Hackathon de Barcelona (2018) y Wikimanía de Ciudad del Cabo (2018) hablamos con más de 40 editores para identificar las principales limitaciones con el sitio móvil existente.

3. Diseño y pruebas
Basándonos en la investigación inicial y las solicitudes anteriores de las comunidades, decidimos centrarnos en la navegación y el acceso a páginas/herramientas especiales. Construimos un prototipo y lo probamos con 61 editores. La respuesta fue muy positiva, e incluyó algunas grandes sugerencias, así como algunas preocupaciones válidas, la mayoría de las cuales pudimos integrar en nuestro diseño final.

4. Implementación
Comenzamos con la introducción de las pestañas de artículo y discusión en la parte superior de la página. Lanzamos la función como una configuración de optar por participar en las Wikipedias en árabe, indonesio y español debido a sus poblaciones relativamente grandes de editores móviles existentes. Después de implementar varias características adicionales a esas tres wikis, incluimos los idiomas italiano, japonés, persa y tailandés.

5. Resultados
A partir del 6 de agosto de 2019, las funciones están activas en todos los wikis todavía como una configuración de suscripción llamada "Modo avanzado". Tasa de retención: Hubo una tasa de retención general del 81% en todos los wikis objetivo donde se implementó AMC (período de tiempo: 20 de marzo de 2019-30 de junio de 2019).

A continuación encontrará nuestras notas de proceso y otra información sobre el proyecto. Si ha habilitado la función, visite nuestra página de discusión para hacer preguntas y darnos su opinión.

Contexto
La apariencia móvil de fue optimizada para nuevos lectores y le faltan varios flujos de trabajo de contribución clave de los que dependen los editores avanzados.

La apariencia evita enlazar a determinadas páginas con el fin de no agobiar a los usuarios nuevos con enlaces y otras páginas empleadas en modo escritorio que no están optimizadas (o incluso no se pueden usar) para el móvil.

A pesar de esto, su ausencia provoca que muchos colaboradores no puedan editar y moderar desde la web móvil.

El equipo de lectores web ha escuchado las solicitudes de las comunidades y tiene un mayor enfoque en los flujos de trabajo de contribución para el año fiscal 2018/19.

El equipo tiene como objetivo realizar el trabajo mínimo necesario para corregir y exponer las páginas actualmente no disponibles.

Además de esto, se trabajará en la construcción de una navegación ampliada para exponer la amplia gama de funcionalidades de edición para que pueda usarse en la web móvil.

Nuestro plan es construir esto como una función de suscripción que los editores pueden habilitar.

Creemos que esto disminuirá la necesidad de cambiar entre los sitios de escritorio y móviles mientras se está en un dispositivo móvil y proporcionará una mejor experiencia de edición móvil.

Creemos que expandir los flujos de trabajo de contribución en la apariencia actual de Minerva proporcionará la forma más eficiente de aumentar la cantidad de contribuciones móviles productivas en el intercambio de perfección.

También esperamos que permita la disponibilidad de toda la gama de herramientas en un corto período de tiempo, dándonos más tiempo para realizar una investigación y un diseño exhaustivo para los flujos de trabajo más cruciales.

Hemos obtenido este objetivo en la salida 3.1 del Plan Anual 2018-2019: Herramientas de contribución en la web móvil a través de una apariencia MediaWiki existente

10 de octubre de 2019 - El modo avanzado ahora está disponible en todas las wikis
El modo avanzado ya está disponible en todos los proyectos de Wikimedia.

8 de agosto de 2019 - Modo avanzado ahora implementado en todas las Wikipedias
El modo avanzado ya está disponible en todas las Wikipedias. ¡Pruébalo y siéntete libre de darnos comentarios, pensamientos y sugerencias de mejora en la página de discusión!

6 de agosto de 2019 - CAM casi completo
Muchos cambios han ocurrido desde nuestra última actualización:

Implementaciones de las CAM
AMC ahora está disponible en 7 Wikipedias: árabe, indonesio, español, persa, japonés, italiano y tailandés

Datos hasta ahora

 * Hubo una tasa de retención general del 81% en todos los wikis objetivo donde se implementó AMC (período de tiempo: 20 de marzo de 2019-30 de junio de 2019). Esto significa que, en general, la mayoría de las personas no desactivan la CAM una vez que se enciende.
 * En las wikis, las tasas de retención oscilaron entre el 72,6% (Wikipedia en japonés) y el 90,8% (Wikipedia en persa).
 * El informe completo con información por wiki está disponible aquí.

Cambios

 * Página de historial: el enlace de la página de historial en la parte superior de la página ahora conduce a una página de historial con todas las funciones, similar a la de escritorio
 * Menú de usuario: el nuevo menú de usuario en la parte superior de la página incluye enlaces a la página de usuario del usuario, la página de discusión, la lista de seguimiento, las contribuciones y el espacio aislado del usuario.
 * Overflow menu - the overflow menu (accessed from the main actions on the top of the page) includes links to page information, wikidata description, permanent link, PDF downloads, and more)

8 de mayo de 2019 - El menú principal de CAM ahora se implementa en las Wikipedias en árabe, indonesio y español
Ahora puede acceder a un conjunto ampliado de páginas a través del menú principal de AMC en las Wikipedias en árabe, indonesio y español. El menú contiene enlaces a todas las páginas especiales, así como un enlace al portal de la comunidad para cada Wikipedia

27 de marzo de 2019 - Primera implementación de CAM en Wikipedias en árabe, indonesio y español
¡La primera versión de Contribuciones avanzadas móviles está completa! Los usuarios que han iniciado sesión en las Wikipedias en árabe, español e indonesio ahora tienen acceso al primer conjunto de características: fácil acceso a la página de discusión (seleccionando la pestaña "discusión" en la parte superior de cada página) y fácil acceso a la página de historial (tocando el icono de historial en la barra de acciones). A continuación, abordaremos la sustitución de la página de historial móvil actual con una versión receptiva de la página en el escritorio para proporcionar el conjunto completo de funcionalidades en dispositivos móviles. Sin embargo, para la primera versión, la página de historial aún navega a la versión móvil actual de la página. Puedes activar el modo avanzado en estas wikis seleccionándolo desde la página de configuración a la que se accede a través del menú del sitio web móvil.

14 de enero de 2019 - Introducción a los enlaces de la página de discusión
Estamos entusiasmados de estar en marcha con las etapas iniciales de desarrollo en el modo de Contribuciones avanzadas. Basándonos en nuestra investigación y colaboración con la comunidad, aprendimos que hacer que las páginas de discusión sean más accesibles es un componente clave de las contribuciones móviles. Así que primero: agregaremos un enlace Discusión en la parte superior de cada página, para todos los espacios de nombres. Debido a que nuestro objetivo es trabajar iterativamente al principio, el enlace de conversación llevará a los usuarios a la experiencia actual de la página de discusión móvil:



Sin embargo, esta experiencia actual de la página de discusión está un poco desconectada del artículo al que pertenece, especialmente si cambia a "Leer como página wiki". Puede ser un poco confuso volver al artículo. Por lo tanto, uno de nuestros objetivos de diseño es unificar el artículo y las experiencias de conversación, representando la página de discusión como una pestaña del artículo, similar al escritorio. Esperamos que esto ayude a las personas a mantener su contexto, al tiempo que permite una navegación perfecta de ida y vuelta.

Además, mientras trabajábamos en los diseños para esto, nos dimos cuenta de que aún no hemos tenido una discusión con la comunidad sobre qué versión de la página de discusión es la preferida. Aquí hay algunas cosas que nos estamos preguntando:


 * ¿Qué tan bien funciona la experiencia actual de la discusión optimizada para dispositivos móviles para editores avanzados?
 * Pensar en varias acciones tales como: ver discusiones, responder a discusiones, agregar nuevas discusiones
 * ¿Hay características de la versión "wiki" que faltan en la versión móvil? O en otras palabras, ¿cuáles son las razones por las que las personas actualmente podrían cambiar a la versión wiki de las páginas de discusión móviles?
 * En términos generales, ¿hay mejoras menores que se podrían hacer en cualquiera de las dos experiencias de la discusión?

Con la esperanza de crear discusiones e ideas, así es como imaginamos que la página de discusión funcione como una pestaña. Las siguientes capturas de pantallas muestran el flujo de trabajo básico para editar una discusión tanto en la versión actual/predeterminada como en la versión "wiki". As a reminder, both of these experiences are currently available on the mobile site, so you can try them out for yourself to get a better sense of what you like/dislike and let us know (on the talk page of this page).

All feedback is welcome and much appreciated. Let us know what you think!

November 12, 2018 - Navigation prototype feedback summary
We are very grateful to have received feedback from 61 editors thus far on our. The response to the design was overwhelmingly positive, and included some great suggestions as well as some valid concerns raised. All of the feedback is valuable and will inform the next design iteration. We wanted to take a moment to both acknowledge all of you who took the time to go through the prototype, as well as highlight a few themes that surfaced. I'm considering something a theme if it was noted by two or more editors (considering the small sample size).



Questions and concerns:

 * Should categories be on by default in this mode? What will the relationship between this mode and other beta features be?
 * Is Sandbox something that people use on their phones?
 * How does this new design look and work on tablet?
 * The sticky toolbar is nice, but perhaps it would be better if it only appeared upon scrolling up (rather than always persisting)
 * Can we add the main header to the sticky toolbar, so that you can get access to search and the hamburger menu from the middle of a page?
 * Should this mode be available to logged-out editors?
 * Could we support a namespace specific search UI?
 * Icon improvements: Recent changes, History, Add discussion (on Talk page)

There were two other categories of questions and concerns raised:

1) Things pertaining to the display and functionality of Special pages (e.g. History, Recent changes) — it was great to see these remarks, as they guide us towards the next bit of work for this project, which is improving Special pages on mobile (more feature-rich, while still being manageable on a small screen)

2) Things that fall outside the scope of our current work: dark mode, an improved language icon

Appreciation:

 * Having easy access to the Talk page
 * Having easy to access History
 * Wikidata item accessible
 * Links to other Wikimedia projects
 * Sandbox
 * Toolbar accessible without going all the way back to the top of the page

Quotes
"Much more convenient and usable than the current mobile view. Everything I would expect to find in a mobile view for editors is there." — Darylgolden

"I am eagerly waiting for this design." — AnkurWiki

"I think it's a great design, newcomers may be a bit confused but other than that, I like it." — Charizard201

"There seems to be lots of peculiar functions being added in this prototype compared to the existing experience. I appreciate the addition of Recent changes and "Special pages" but many of the other new links just add unnecessary confusion and clutter to the interface. I like the existing mobile interface because it reduces this clutter. Print is not something I need to do on my mobile phone for example." — Ming

“The previews presented look like a major improvement, currently the mobile browser doesn't seem editor-orientated at all.” — Donald Trung

Known prototype bugs
There were a number of errors in the prototype. We are calling them out here just so they are acknowledged as errors:


 * Search experience, Wikipedia logo bug
 * Notifications panel should have an “X”
 * Missing section edit buttons
 * Add edit button to action menu on Talk page (general & section)
 * Heading on Talk page should be “Talk:”
 * Some items in action menu don’t make sense on Talk page (Wikidata Item)

September 18, 2018 - Need your help! Collecting feedback for the new navigation prototypes
We have updated our prototype for the new navigation. The prototype is a response to the feedback we received at Wikimania. We have some questions on the current version as we continue to iterate. Any and all comments are appreciated! Keep in mind that since this is a prototype most of the links don’t actually work, and there might be other bugs or quirks that you’ll come across. We have also marked the feedback page for translation and hope to have it available in a variety of languages soon.

August 24, 2018 - Published results from Wikimania interviews
We have of from our research at Wikimania. Over the course of the conference, we interviewed 30 editors with the goal of identifying the main issues with mobile editing, prioritizing the pages that editors find most important, and raising awareness for the project among editors who are interested in mobile editing. En particular:


 * We noted that editors we spoke to were, overall, very excited about these changes, allowing us to feel confident with moving forward with the project.
 * We generated a list of the most important pages/workflows on mobile for the interviewed editors.
 * We gathered a group of editors that are interested in the project and willing to review and collaborate in the future by giving us feedback on prototypes and participating in other user testing.
 * We gathered feedback on our current prototypes for mobile navigation, giving us enough information to continue with the next round of iteration.

Please review our results and let us know what you think. Feedback is welcome and appreciated!

August 7, 2018 - Wikimania interviews
We performed 30 interviews with editors during Wikimania to collect information and feedback on the following:


 * Pages that are most important to contributors for mobile use
 * Feedback on our initial prototypes for advanced navigation

We are collecting and analyzing our results and will post an update to this page soon. We are also putting together a list of editors interested in providing feedback on prototypes throughout the development process. Let us know on the talk page if you're interested as well!

June 20, 2018 - IRC office hours
We will be holding IRC office hours to go over the proposal and brainstorm areas for improvement. We are particularly interested in speaking to editors on the contributions they would like to be able to make on mobile and on the special pages and flows that are most important.

May 19, 2018 - Themes from Barcelona Hackathon conversations
During the Barcelona Hackathon in 2018, we held two sessions focused on discussing this project with members of the editing and technical community. These are our notes from these sessions:

The main issues that were identified were use and availability of gadgets as well as specific workflow variation - tools used and shifting across wikis, different workflows based on projects, workflows split among multiple pages, etc. Interest was raised towards microcontributions and new microcontribution functionality (noting this here as it came up multiple times, although it is outside the scope of this project).
 * Interest in exposing more pages in mobile was high and people agreed that any work in this direction would be valuable.

Full notes from the sessions can be found on this etherpad.

 How people currently edit on mobile 


 * 1) Switch back between Vector and Minerva, although some editors preferred Minerva
 * 1) Use mobile for language and translation due to better multi-language input
 * 1) Use mobile for better syntax highlighting

 What we’re missing currently 


 * 1) Users do not like the fact that certain pages are blocked on mobile - “a lot of what timeless did well was simply bringing back hidden pages and features”
 * 1) There is an interest in exposing all pages, even if they are flawed
 * 1) Gadgets - one user switches to desktop only for the ability to use their gadgets
 * 1) Cambios recientes
 * 2) Historia
 * 1) Familiarity - If there were a mobile version of Vector, for instance, it would make it easier to find something familiar
 * 1) Mobile-specific workflows
 * 1) Easy way to read discussions - talk pages, help desk, administrative noticeboard, help desk
 * 1) New ways for microcontributions

Split audience here. While all could agree on missing functionality, the room seemed to be split along the lines of making this functionality mobile-specific versus making it available now and allowing editors to find workaround where necessary within their current workflows

 Ideas on exposing all pages 


 * 1) It probably won’t scale to expose all pages - begin with a prioritized list
 * 1) Collapsing rather than hiding can give a lot of the gains of hiding without the detriments

 Minerva vs Vector 

Others disagreeing to say the more skins the better
 * 1) No strong opinions either way - some people leaning towards Vector with the technical motivation of only having one skin.
 * 1) Either will be useful and an improvement from the norm

Otras notas

Focusing on performing these tasks directly from mobile might not get us the results we are expecting. However, not all editors use these tools. These can later be reviewed on desktop
 * 1) A lot of simple tasks are built into tools such as Twinkle and Huggle.
 * 1) Whether responsiveness is desirable came up a few times - good to remember that regardless of what we do, it will make some people unhappy
 * 1) Often special pages might not even be that useful - while some people use recent changes, there’s a wide variety of workflows that this does not account for
 * 2) 80/20 rule applies to microcontributions - it would be helpful to have a way to tag articles/portions that fall into the side that requires more care, attention etc from mobile.
 * 1) Vandalism example: “If you look at vandal-fighting the bots take 70% of the work. 30% left - automation to say likely hard/likely not hard. Likely not hard - show to mobile user like "do you think this might be vandalism" with buttons "yes" and "no"

 Identified pages that need some work: 


 * Páginas de discusión
 * Village pump
 * Administrative noticeboard
 * Página de ayuda
 * Cambios recientes
 * Pending changes
 * Flagged revisions
 * Special:RecentChangesLinked
 * Special:NewPagesFeed

Preguntas

What percentage of editors use outside tools for microcontribution-type flows?

What are the main revision workflows per wiki?

Propósito y antecedentes
We began the research process by consulting with individual members of the community on the main obstacle to mobile editing in their opinion. Combined with two group consultations led at the Barcelona Hackathon, the following main issues were identified:


 * Pages necessary to perform contribution (editing and moderation) workflows are currently unavailable on the mobile website
 * There is a lot of unexplored potential for microcontribution workflows on mobile

The focus of this project will be on the first issue - providing access to currently hidden pages from the mobile website.

Overview
For this project, we will be focusing on expanding the functionality of the mobile site to include navigation and special page access similar to the desktop experience. The new functionality will be available to all logged-in users via a preference on the mobile settings page. We will be rolling out changes progressively starting with the navigation portion. If you currently edit on mobile or plan to in the near future - we'd love your feedback on the proposed changes!

Navigation
The navigation for AMC mode will include the following:


 * Talk page access from the top of the page (in tabs similar to desktop)
 * History page access from the top of the page
 * Expanded user menu that includes links to your user page, talk page, sandbox, and contributions
 * Expanded menu that includes access to recent changes, special pages, community portal, and other projects
 * Advanced page actions that include downloading the page as PDF, page information, permanent links, wikidata item, links to the page, etc

Páginas especiales
We will be working on providing partial or full mobile functionality for the following pages (in prioritized order):


 * 1) Historia
 * 1) Diff pages
 * 1) Watchlist
 * 1) Talk
 * 1) Contribuciones
 * 2) Cambios recientes
 * 3) Páginas de usuario
 * 1) Village pump
 * 1) Preferencias
 * 1) New pages feed
 * 1) Pending changes
 * 1) Related changes
 * 1) What links here

Recomendación
Expose currently unavailable pages on the mobile website using the Minerva skin as an opt-in setting option.

It also reduces disruption to existing workflows. Community members can use Minerva with the new optimised experiences on their mobile devices, and continue to use their existing experience with Vector or other skins on desktop.
 * Doing the changes in the Minerva skin is more straightforward from a technical perspective and requires lower maintenance cost than other options.

Audiencia

 * Active editors, in particular medium and high-volume editors (100+ edits)
 * Editors focused on maintenance workflows - easier to make smaller contributions from mobile
 * Nice to have: all mobile editors

Por proyecto
While we will be reaching out and are open to feedback from all projects, we have created a list of projects that we would like to specifically focus on. We looked at wikis that already had a decent amount of editors on mobile, indicating that editing on mobile is a comfortable concept for users of these projects. As the target audience for this project is medium and high-volume contributors, our assumption was that projects with a decently large number (1000+) of monthly editors would be likely to have a higher percentage of editors with 100+ edits. Finally, in terms of priority, we wanted to focus on projects that had the largest gap in mobile editing - projects whose ratio of mobile edits to new active editors was the highest:


 * 1) English Wiktionary
 * 1) English Wiktionary
 * 1) English Wiktionary
 * 1) English Wiktionary
 * 1) English Wiktionary
 * 1) English Wiktionary
 * 1) English Wiktionary
 * 1) English Wiktionary
 * 1) English Wiktionary
 * 1) English Wiktionary
 * 1) English Wiktionary
 * 1) English Wiktionary
 * 1) English Wiktionary

KPI’s

 * Mobile web edit rate on target wikis: 10% increase
 * Retention rate for opt-in advanced mobile mode amongst medium and high-volume editors (100+ edits previous month): At least 60% retention
 * Moderation actions on mobile web on target wikis: 10% increase

Other potential metrics

 * Decreased number of users of desktop version link?
 * Number of users opting into/out of the feature

More details: T210660

Nuevas funcionalidades
An advanced editing option will be presented in the mobile settings menu (not a part of beta settings). Selecting this option will do the following:


 * 1) Add navigational elements within the user menu that direct to pages currently missing from the mobile website.
 * 2) Switch all MobileFrontend mobile special pages to redirect to the base MediaWiki special pages. (For example, if a link currently navigates to https://en.m.wikipedia.org/wiki/Special:History/King_Island_emu, switch to https://en.wikipedia.org/w/index.php?title=King_Island_emu&action=history)

Roadmap

 * 1) Perform user consultation based on proposed approach
 * 2) Determine navigational elements and hierarchy
 * 3) Determine metrics and build out instrumentation
 * 4) Build new navigation
 * 5) Switch links/Redirect mobile pages to MediaWiki pages
 * 6) Provide settings option and communicate widely
 * 7) Potentially provide banner/some sort of CTA for advanced editors
 * 8) Based on feedback, prioritize fixes necessary to special pages
 * 9) Perform fixes in prioritized order

Length
The total length of this project would be approximately 1.5 quarters

Technical estimates
The below estimate is for exposing the pages only. The special page fixes will require extra work depending on the scale/number of pages:


 * Navigation, link switching, adding new setting: 1 Quarter, approximately 2 engineers

Working with the communities
We would like to work with communities to help prioritize the special pages and flows for the mobile website as well as to help get feedback on the state of the project throughout development. We plan to do the following:


 * IRC Office hours
 * Constant communication throughout the development process with updates and time for the communities to provide feedback
 * Announce and discuss deployment schedules on all wikis
 * Provide banner/call to action for advanced editors upon deployment

Next Steps
Based on feedback received, we may continue with the following:


 * Expanding the set of fixes to special pages
 * Expanding the possible workflows available (making certain gadgets work on mobile, for example)
 * Continuing with similar changes in the vector skin (making vector responsive)

Product
Achieving the overall objective can be done through the following on mobile:


 * Displaying hidden special pages in an existing MediaWiki skin
 * Identifying issues with current special pages and performing fixes to make pages usable

In terms of functionality, both the Vector and Minerva skins can achieve the objective. Investing in the Minerva skin for mobile, however, will make future transitions between entry-level editing and advanced editing easier and ensure a more consistent user experience throughout the process. In addition, exposing veteran editors to Minerva is likely to make them more conscious of the way their edits are displayed on the mobile website, which could eventually lead to providing better content for readers and editors alike.

Technical Rationale
From a technical perspective, doing these changes in the Minerva skin is preferable compared to Vector because of the downsides of doing so in Vector:


 * Less complexity - if we select Vector, we will need to hide the responsive vector changes under a feature flag, thus allowing for three separate versions of the mobile website - Vector, Responsive Vector, and Minerva. We would also have to work on making sure we hide gadgets for Responsive Vector or worse, audit all gadgets before shipping so that we do not break any existing gadgets or workflows in Vector
 * Onboarding cost and development time will be higher - doing the project in Vector will take approx. twice the amount of time
 * Higher maintenance cost - the team will be expected to bear the full burden of maintaining volunteer changes to Vector

Community risk and adoption rationale
From the community perspective:


 * No strong preference was shown towards performing the changes in either skin.
 * Doing the changes in the Vector skin introduces risk - it was highlighted during our sessions and individual consultations that many members of the community will prefer to use the desktop version of Vector on their phones despite the changes due to familiarity. We would like to allow editors to be able to continue doing this in the future
 * Community members stressed the importance of informing users on Minerva about the new advanced functionality to promote adoption.

Documentación

 * Technical analysis
 * Community consultation summaries and product rationale

Feedback
Feedback on this work is welcome on the talk page.

Summaries of specific community feedback.


 * Themes from Barcelona Hackathon conversations
 * Themes from Wikimania 2018 user testing (notes to be added)