Reading/Web/PDF Functionality/nl



Update op PDF-weergave, 15 juli 2019
We hebben de nieuwe PDF-rederer gelanceerd. We kijken naar feedback, maar hebben tot nu toe geen significante problemen gezien. We kunnen enkele suggesties opnemen, maar we willen aangeven dat dit geen lopend project met continue ontwikkeling is. Met andere woorden, nu het is ingezet en bewezen is te werken, gaat de nieuwe renderer in onderhoudsmodus. De besprekingspagina van deze pagina zal niet worden verlaten, maar het kan een tijd duren voordat iemand reageert, gewoon omdat iedereen zoveel meer op zijn bord heeft.

Wat boeken betreft hebben we het in handen van vrijwilligers en PediaPress overgelaten. We nemen graag contact met ze op als je vragen hebt, maar we plannen geen betrokkenheid in termen van de technische implementatie.



Update op PDF-weergave, 4 juni 2019
We hebben de nieuwe renderer ingezet voor één-artikel-PDF's voor alle projecten. We hopen dat dit de problemen oplost die verband houden met de Electron renderer, die vaak niet in staat was om PDF's te genereren zoals verwacht. Voelt u vrij om de nieuwe renderer uit te proberen en laat ons weten als u vragen hebt of problemen ondervindt.



Update op PDF-weergave, 18 maart 2019
We komen dicht bij de implementatie van onze nieuwe renderer, Proton, met slechts een paar taken als blokkers over (zoals u kunt zien in de taakgrafiek in T181084). We zullen een andere update plaatsen zodra de datum van de inzet is vastgesteld. Deze renderer zal de elektron-renderer vervangen als de standaard PDF-renderer voor één-pagina-PDF's.



Boeken-update, 17 augustus 2018
Hier is een geactualiseerde en meer uitgebreide steekproef van de nieuwe boek-renderer. De lay-out is flink veranderd van de eerste versie die op Wikimania werd gepresenteerd. Bedankt voor alle feedback. De export heeft nog steeds een aantal belangrijke problemen: pagina-eindes, infoboxen, tabellen en wiskundige formules moeten aanzienlijk worden verbeterd. Dit voorbeeldbestand met als focus internationale scripts en wiskundige formules onthult enkele van de problemen die nog moeten worden opgelost. Wiskundige formules worden momenteel weergegeven met MathML - het overstappen naar LaTeX zou moeten leiden tot aanzienlijke verbeteringen.



Boeken-update, 8 augustus 2018
We hebben samen met PediaPress gewerkt aan het genereren en vormgeven van de nieuwe boeken. Zij hebben ons een steekproef van de huidige uitgang gegeven, die zeer vergelijkbaar zal zijn met de uiteindelijke versie. We hebben met het PediaPress-team over verbeteringen gesproken, die ze momenteel aanpakken. Als u feedback of andere opmerkingen heeft over deze steekproeven, laat het ons dan weten op de besprekingspagina.



Boeken-update, april 2018
De boekenfunctionaliteit zal terugkeren via PediaPress. Na het diepgaand onderzoeken van de nieuwe renderer, realiseerden we ons dat de basisfuncties van de originele boekemnmaker (zoals de paginanummers en inhoudslijst) zeer moeilijk zouden zijn om te implementeren met de nieuwe renderer. Bovendien hadden we belangrijke problemen met onze samenvoegingscode. We moesten dus op zoek gaan naar alternatieven om de PDF-boekenfunctionaliteit terug te brengen op Wikimedia-projecten. We hebben contact opgenomen met PediaPress, de oorspronkelijke patronen van boeken op Wikipedia, om te kijken of ze nog een keer geïnteresseerd zouden zijn in het oppakken van PDF-verwerkingen voor boeken. Ze zijn daarmee akkoord gegaan en we zijn op dit moment aan het werken aan de details en het schema. Ze zullen beginnen met een tijdelijke oplossing op basis van een oudere technologie die eerder is gebruikt om PDF's te maken. Dit kan een aantal nadelen hebben als het gaat om grafische elementen, zoals kaarten, maar zal een snellere werkoplossing betekenen. Vervolgens is het hun plan om te werken aan een nieuwe HTML-to-PDF-renderer, gebaseerd op feedback op de eerste implementatie.



Update januari 2018
We zijn momenteel prestatietests aan het voorbereiden van de PDF-naar-boek-functie. We zouden begin februari meer moeten weten.



Update september 2017
Onze huidige PDF-renderingservice, de offline content generator (OCG), is niet langer onderhoudbaar. Eenvoudig gezegd, het is kapot aan het gaan. Het Lezers-team van de Wikimedia Foundation werkt al maanden aan het vervangen ervan. OCG heeft een verouderde code gebruikt die in de toekomst mogelijk kwetsbaarheden en andere belangrijke problemen kan veroorzaken. Over the last three months, we’ve had banners on the PDF creation page asking for feedback on the prototype for our new renderer. The new renderer will have improved capabilities from OCG – it will be able to print tables and infoboxes and will contain styling focused on better readability. We've gathered a lot of good feedback on the prototype and are working on making the required updates to our new PDFs.

Later addendum: Turning PDF book rendering OFF for the short term
Unfortunately, major issues with our old renderer (OCG) will require us to remove it as a rendering option prior to completing the necessary updates for the books feature. This is earlier than we wanted. By the time we remove OCG, the work for rendering of single articles will be completed. However, the rendering of books will be paused while we evaluate and complete the necessary work. Our initial choice of renderer for the replacement, the Electron rendering service, is not capable of supporting PDFs of larger sizes and fails when attempting to render a book with multiple articles. We will be working to select a new rendering system for books which can handle the size of the files and support our requirements. This is not how we planned to do this. We never aimed to temporarily remove the book PDF functionality.

Timeline:


 * Release of full-featured renderer for single articles (print to pdf) – Oct 1, 2017
 * Pausing book PDF rendering – Oct 1, 2017
 * Sunsetting of OCG renderer – Oct 1, 2017
 * Release of new PDF renderer – Jan, 2018 (tentative based on research results into alternative rendering systems)

Functionality:

For a full list of current and upcoming functionality, see below.

In addition to this page being updated, this will be communicated in a banner on PDF creation page, in Tech News and on some Wikimedia mailing lists.

Introduction
Our current PDF rendering service, the offline content generator, is no-longer maintainable. Simply put, it's breaking down. Originally created by a third party, it currently runs on outdated code which may introduce security vulnerabilities and other major issues in the future. If we're to have the PDF functionality, we unfortunately have to replace it, or we might suddenly find ourselves in a situation where we'd have to take it down without having planned to do so.

Additionally, it does not support a number of rendering requests from the community, the main one being the ability to render tables. We have selected a new service, the electron rendering service, as a suitable replacement. Our next step is to duplicate the functionality provided by OCG using the electron rendering service. Below, we will describe the main portions of the functionality we have identified as necessary. We would like to invite conversation around what is missing or what is superfluous in the provided list. We would also like to highlight over our future plans for PDF rendering to gather initial feedback.

Known issues

 * There is currently a bug within Firefox (upstream) that affects the styling of infoboxes displayed across multiple pages. Progress from Mozilla can be tracked here: https://bugzilla.mozilla.org/show_bug.cgi?id=688556.

Userbase
The following table shows a sample of traffic to the Electron "Download as PDF" service for over a 6 hour period. The traffic is broken down by operating system (OS), browser, and the browser major version (e.g. Windows 7, Chrome v61.*). Note well that the majority of our traffic appears to come from Windows based machines.

Current Functionality Requirements
The following is a list of the current requirements for PDF rendering for single-article PDF's and for books. The requirements different from the current implementation are displayed in bold.

History

 * Rendering PDF articles and books from Wikipedia pages is handled by a service called OCG. When rendering "books" through the book creator, it uses OCG as embedded within the Collection extension. OCG has multiple issues, especially with tables.
 * Multiple issues with OCG are identified, including complaints from the community around OCG's inability to render tables.
 * Rendering of tables ranks as number 9 on the German-speaking Community Technical Wishlist.
 * Wikimedia Deutschland begins on working on a solution for rendering tables in PDF's, and introduces Electron. They do this planning to run it alongside OCG, not to replace it.
 * At the same time as Wikimedia Deutschland is working on the Electron service, the responsible maintainers of the OCG service at the Wikimedia Foundation come to the conclusion that OCG has to be replaced.
 * The WMF Reading Team takes over the responsibility for the long term maintenance of PDF rendering and begins plans for implementing table rendering across all projects.
 * The Reading team launches a community consultation for gathering feedback on Electron.
 * The Reading Infrastructure and Web teams begin scoping the working necessary to port OCG functionality over to the Electron service.

Update After Consultation
We launched a consultation on the current implementation of the PDF renderer in early June, 2017. After reviewing the consultation responses, we have made the following observations:


 * A larger number of users preferred the single-column format over the double column format
 * Users which prefered the double-column format highlighted that their preference was based in the styling and look and feel of double columns. Some users also expressed concerns with font size and wasting paper when printing PDF's in the single-column option
 * The following feature requests were made:
 * Functional hyperlinks
 * Date and url, 'this page downloaded [date] from [URL]'
 * Customizable css for layout, title, TOC
 * Option for 2 column format
 * Include/exclude images versions
 * Modifiable margins
 * print by section - allows you to remove references, paragraphs you don’t want, index, etc
 * allowing configurable text size

Based on the feedback, we have incorporated the following into our new print styles:


 * hyperlinks
 * article information
 * smaller font and book-like styling

The remainder of the requests above will be postponed until the second iteration of the PDF renderer, in which we plan to build a settings mode that will allow for customization of the available options.

Proposal
The following is a proposal for the scope of functionality necessary for PDF rendering:


 * Individual articles will be rendered to PDF using the "Download as PDF" link in the sidebar
 * Multiple articles will be rendered to PDF using the Book Creator tool
 * All articles will contain attribution for text and images
 * All PDFs rendered will be able to print tables
 * Users will be able to customize the layout of their PDF (optional)

Design
The new PDF styles will be designed for increased readability. Based on community feedback and qualitative or quantitative testing, support for a 2-column layout may be built for the book creator and/or for individual PDFs.

Development and Deployment Roadmap
The following is a rough outline of the development and deployment roadmap. It is subject to change.


 * 1) April – May 2017:
 * 2) The Reading team builds back-end support for functionality identified above
 * 3) Communities are consulted on expanding or shrinking proposed functionality
 * 4) Qualitative test performed for styling
 * 5) June – July 2017:
 * 6) New styles implemented
 * 7) First iteration is launched along with OCG on all projects and performance is compared
 * 8) Iterations based on consultations and identified edge cases
 * 9) August 2017 – September 2017
 * 10) Additional changes made if necessary
 * 11) October 2017
 * 12) Second iteration launched without OCG on all projects

Single Articles

 * A PDF for a single article will be created by selecting the "Download as PDF" link
 * Upon selecting "Download as PDF", the PDF file will be generated. To download the file, users will select the "Download the file link"
 * Each PDF file will contain the following:
 * Article title and text
 *  Infobox  (if any)
 *  Tables  (if any)
 *  Single-column layout 
 * Page number
 * All article images and captions
 * Links to pages linked from the article (blue links and external links)
 * Text and image sources, contributors, and licenses

Phabricator Tracking
All PDF-related changes including sunsetting OCG, replacing the Electron PDF renderer, and any updates to books or the collections extension are tracked under the phabricator project Proton. The project page will display any recent updates for all tasks related to PDFs.

Functionality available in October, 2017
Note: no changes will be made to the current book creator workflow at this time


 * User will launch the books creator by selecting "Create a book"
 * This will navigate to the current book creation page
 * To download a book, users will select the "download" link from the books page
 *  Users may only download books in PDF format 
 * Books will contain all elements from single article format as well as:
 * Book title page
 * The references for each article from the book will appear at the end of the article
 * Each article will begin on a new page
 * A single section for text and image sources, contributors, and licenses, that contains the collected contributions from all articles

Functionality available in November - December, 2017

 * Books will contain a table of contents with page numbers
 * Selecting a section from the table of contents will navigate the user to the corresponding section within the book

Styles for books will be updated for improved readability

Alternative
There is an alternative way of exporting MediaWiki to LaTeX, PDF, ODT and EPUB:

http://mediawiki2latex.wmflabs.org/

The computational resources on the server are limited.

If you run Ubuntu Linux and want results faster, you can install the  or   packages.