Benchmark

PDF naar EPUB conversie benchmark

Name: EpubCC PDF text-extraction benchmark (2026-11-09)
Creator: EpubCC
Published: 2026-11-09
License: https://creativecommons.org/licenses/by/4.0/

Controleer de bestanden. Vergelijk de resultaten.

In EpubCC's benchmark van 9 november 2026 bereikte de EpubCC engine een gemiddelde 8-gram recall van 0.845 op 19 PDF's met een onafhankelijk referentietekst, tegenover 0.726 voor Calibre en 0.755 voor pdftotext; 33 van zijn 33 EPUB's slaagden voor EPUBCheck zonder fouten.

Bijgewerkt: 9 november 2026

De bestanden, per documenttype

Document	Twee kolommen	Drie kolommen	Voetnoten	Herhaalde koppen	Hoofdstukken	Arabisch (RTL)	Japans	Spaans	Frans	Duits	Grafieken	Gescreend	Gewikkelde afbeeldingen	Rapporteer voetnoten	EU-regelgeving	Vergelijkingen	Regelnummers
Bron PDF	bestand (PDF)	bestand (PDF)	bestand (PDF)	bestand (PDF)	bestand (PDF)	bestand (PDF)	bestand (PDF)	bestand (PDF)	bestand (PDF)	bestand (PDF)	bestand (PDF)	bestand (PDF)	bestand (PDF)	bestand (PDF)	bestand (PDF)	bestand (PDF)	bestand (PDF)
Resultaat EPUB	bestand (EPUB)	bestand (EPUB)	bestand (EPUB)	bestand (EPUB)	bestand (EPUB)	bestand (EPUB)	bestand (EPUB)	bestand (EPUB)	bestand (EPUB)	bestand (EPUB)	bestand (EPUB)	bestand (EPUB)	bestand (EPUB)	bestand (EPUB)	bestand (EPUB)	bestand (EPUB)	—
EPUBCheck fouten / waarschuwingen	0 / 0	0 / 0	0 / 0	0 / 0	0 / 0	0 / 0	0 / 0	0 / 0	0 / 0	0 / 0	0 / 0	0 / 0	0 / 0	0 / 0	0 / 0	0 / 0	0 / 0

Methodologie

Zelfde invoer. 33 PDF's, elk in het publieke domein of onder een vrije licentie, doorlopen 10 tekstextractie-engines op November 9, 2026.
Geautomatiseerde scoring. 20 van de PDF's hebben een onafhankelijke referentietekst van hetzelfde document (de HTML van het Wikipedia- of arXiv-artikel, de tekst van Project Gutenberg, of de platte tekst versie van govinfo), nooit output van een andere tool. De tekstkwaliteit wordt vergeleken met n-gram metrics.
Geldige EPUB. Elke EPUB die onze engine schrijft wordt gecontroleerd met EPUBCheck: 33 van 33 had geen fouten.

4-gram herinnering: Deel van de 4-woord sequenties uit de referentietekst die in de output zijn gevonden: inhoud hersteld.
4-gram precisie: Delen van de 4-woord sequenties van de uitvoer gevonden in de referentie: inhoud die erbij hoort.
8-gram herinnering: Zoals 4-gram recall met 8 woorden: valt weg wanneer de leesvolgorde of lijnverbindingen zinnen (continuïteit) breken.
Merged words / 1,000: Words glued to their neighbour, per 1,000 words.
Split words / 1,000: Words broken in two, per 1,000 words.
Marginaleiding: Delen van herhaalde lopende koppen, voetteksten en paginanummers die in de tekst zijn achtergebleven.
Unmapped glyphs / 1,000: Tekens gerapporteerd als U+FFFD omdat de PDF geen Unicode voor hen heeft. Gerapporteerd, nooit verborgen: een hoger nummer kan betekenen dat de engine eerlijk is over een probleem dat anderen stilletjes laten vallen.
Seconden: Wand tijd voor het document.
Piek MB: Piekgeheugen.

Resultaten: gemiddeld per engine

Tekstmetingen zijn gemiddelden over de 20 documenten met een referentie; marge-lekken en niet-toegewezen glyphs over de documenten waar ze van toepassing zijn. Seconden zijn het totaal voor alle 33 documenten; piek MB is de hoogste enkele waarde.
Motor	Versie	Licentie	4-gram herinnering	4-gram precisie	8-gram herinnering	Merged words / 1,000	Split words / 1,000	Marginaleiding	Unmapped glyphs / 1,000	Seconden	Piek MB
EpubCC engine (EPUB output) Tekst gemeten binnen de EPUB die de gebruiker downloadt; tijd en geheugen omvatten het schrijven van de EPUB.	EpubCC engine, commit cb3df10 (2026-11-09)	Ours	0.917	0.758	0.845	1.459	0.789	0.059	2.400	114.5	469
EpubCC engine (plain text) Dezelfde lay-out-engine vóór EPUB schrijven.	EpubCC engine, commit cb3df10 (2026-11-09)	Ours	0.909	0.733	0.829	1.448	1.818	0.881	2.290	15.5	115
pdf_oxide · extract_text	pdf_oxide 0.3.78	MIT OR Apache-2.0	0.853	0.685	0.740	2.936	1.464	0.829	0.683	14.4	270
pdf_oxide · to_plain_text (XY-cut)	pdf_oxide 0.3.78	MIT OR Apache-2.0	0.831	0.666	0.694	2.753	1.760	0.797	0.680	15.9	272
pdf_oxide · Markdown	pdf_oxide 0.3.78	MIT OR Apache-2.0	0.821	0.657	0.692	4.445	3.638	0.108	0.478	21.5	272
PDFium · text().all()	pdfium-render 0.9.5, PDFium chromium/8125	BSD-3-Clause / Apache-2.0	0.846	0.674	0.756	1.094	2.879	0.963	3.803	6.5	100
OpenDataLoader PDF (local mode) Referentie voor heuristieken; uitgesloten als een engine vanwege het geheugengebruik.	opendataloader-pdf 2.5.17	Apache-2.0	0.818	0.664	0.734	1.474	0.373	0.044	0.439	76.3	1329
pdftotext (Poppler) Meetlat alleen: GPL-software wordt nooit verzonden in EpubCC.	Poppler 25.09.1	GPL	0.853	0.680	0.755	1.318	1.040	0.230	3.045	9.0	36
Calibre · ebook-convert (EPUB output) Standaardinstellingen, geen tuning. Tekst afkomstig van zijn EPUB met dezelfde extractor als de controledkolom. Meetlat alleen: GPL-software wordt nooit verzonden in EpubCC.	calibre 9.17.0	GPL-3.0	0.852	0.683	0.726	1.045	2.629	0.694	3.746	460.2	592
EpubCC engine (EPUB, same extractor as Calibre) Controle: onze EPUB gelezen met de extractor die gebruikt is voor Calibre, zodat beide EPUBs op dezelfde manier worden gemeten.	EpubCC engine, same run	Ours	0.917	0.758	0.845	1.459	0.789	0.062	2.413	109.8	515

EpubCC vs Calibre, document per document

Beide EPUBs worden gelezen met dezelfde extractor. Calibre met zijn standaardinstellingen.

0.845 tegen 0.726 gemiddelde 8-gram recall op dezelfde 19 documenten
33/33 tegen 16/32 EPUBs zonder EPUBCheck fouten
0.059 tegen 0.694 aandeel van doorlopende koppen en paginanummers die in de tekst zijn gebleven
113 s tegen 460 s totale conversietijd

Calibre is beter op 3 van hen; we vermelden die eerst. Calibre heeft niet binnen 15 minuten afgerond: Alice's Adventures in Wonderland, 1867 printing (scan, Internet Archive).

Document	EpubCC	Calibre	EPUBCheck fouten (EpubCC / Calibre)
The Employment Situation, December 2024 (BLS)	0.929	0.937	0 / 0
Wikipedia (Arabic): One Thousand and One Nights	0.819	0.824	0 / 4
Mistral 7B paper (arXiv 2310.06825)	0.774	0.779	0 / 15
EU AI Act, Regulation 2024/1689 (Spanish, EUR-Lex)	0.988	0.987	0 / 8
EU AI Act, Regulation 2024/1689 (Greek, EUR-Lex)	0.987	0.986	0 / 6
Wikipedia (German): Johann Wolfgang von Goethe	0.862	0.853	0 / 0
QLoRA paper (arXiv 2305.14314)	0.861	0.851	0 / 39
Wikipedia (English): Alice's Adventures in Wonderland	0.778	0.763	0 / 9
Wikipedia (Spanish): Don Quijote de la Mancha	0.956	0.938	0 / 0
Calculus textbook typeset in LaTeX (Project Gutenberg #33283)	0.517	0.499	0 / 2
arXiv paper 2610.39146	0.486	0.461	0 / 6
Wikipedia (Japanese): The Tale of Genji	0.964	0.939	0 / 20
Wikipedia (French): Les Misérables	0.840	0.788	0 / 16
Direct Preference Optimization paper (arXiv 2305.18290)	0.837	0.777	0 / 37
Instructions for Schedule C (IRS, 2025)	0.917	0.784	0 / 0
Supreme Court opinion, Loper Bright v. Raimondo (22-451)	0.981	0.782	0 / 0
OLMo paper (arXiv 2402.00838)	0.892	0.640	0 / 27
Kids Online Safety Act bill, S. 1409 (line-numbered)	0.810	0.084	0 / 0
Federal Register document 2026-22443	0.851	0.121	0 / 0
The 9/11 Commission Report (GPO)	—	—	0 / 1
The Constitution of the United States (House Document 110-50)	—	—	0 / 0
Economic Report of the President 2024	—	—	0 / 9
GAO report 24-106219	—	—	0 / 0
Agriculture in the United Kingdom 2024 (Defra)	—	—	0 / 0
Income in the United States: 2023 (Census P60-282)	—	—	0 / 0
IRS Form W-4 (2026)	—	—	0 / 0
NASA Artemis presentation slides (2023)	—	—	0 / 0
NASA Spinoff 2016 (magazine)	—	—	0 / 0
CRS report R45153: Statutory Interpretation	—	—	0 / 25
NIST SP 800-53 Rev. 5 (security controls)	—	—	0 / 2419
Code of Federal Regulations, Title 21, Vol. 1 (2024)	—	—	0 / 0
The Financial Crisis Inquiry Report (FCIC)	—	—	0 / 0
Alice's Adventures in Wonderland, 1867 printing (scan, Internet Archive)	0.579	heeft niet afgemaakt	0 / —

8-gram recall heeft een onafhankelijke referentietekst nodig; documenten zonder een referentietekst tonen —. Calibre is GPL-software die we alleen draaien om te meten; het maakt nooit deel uit van EpubCC.

Waar andere engines beter presteren dan de onze

Documenten waarbij de 8-gram recall van een andere engine meer dan 0.02 boven onze EPUB output ligt. We publiceren deze omdat ze zijn wat we als volgende aan werken.

Wikipedia (English): Alice's Adventures in Wonderland: pdf_oxide · extract_text 0.800 · EpubCC 0.778
Wikipedia (French): Les Misérables: pdf_oxide · extract_text 0.903 · EpubCC 0.841
Mistral 7B paper (arXiv 2310.06825): PDFium · text().all() 0.872 · EpubCC 0.777
QLoRA paper (arXiv 2305.14314): OpenDataLoader PDF (local mode) 0.917 · EpubCC 0.863
Alice's Adventures in Wonderland, 1867 printing (scan, Internet Archive): PDFium · text().all() 0.651 · EpubCC 0.579
Direct Preference Optimization paper (arXiv 2305.18290): OpenDataLoader PDF (local mode) 0.860 · EpubCC 0.839
The Employment Situation, December 2024 (BLS): PDFium · text().all() 0.958 · EpubCC 0.929

Resultaten per document (8-gram recall)

Beste waarde per rij in vet. — betekent geen referentietekst voor dat document.
Document	Pagina's	EpubCC engine (EPUB output)	EpubCC engine (plain text)	pdf_oxide · extract_text	pdf_oxide · to_plain_text (XY-cut)	pdf_oxide · Markdown	PDFium · text().all()	OpenDataLoader PDF (local mode)	pdftotext (Poppler)	Calibre · ebook-convert (EPUB output)	EpubCC engine (EPUB, same extractor as Calibre)
Wikipedia (English): Alice's Adventures in Wonderland	24	0.778	0.771	0.800	0.800	0.672	0.774	0.781	0.769	0.763	0.778
Wikipedia (Spanish): Don Quijote de la Mancha	50	0.956	0.942	0.963	0.963	0.857	0.945	0.954	0.944	0.938	0.956
Wikipedia (French): Les Misérables	22	0.841	0.833	0.903	0.903	0.751	0.884	0.891	0.846	0.788	0.840
Wikipedia (German): Johann Wolfgang von Goethe	86	0.862	0.856	0.877	0.877	0.758	0.854	0.862	0.853	0.853	0.862
Wikipedia (Arabic): One Thousand and One Nights	17	0.819	0.812	0.315	0.315	0.273	0.001	0.000	0.659	0.824	0.819
Wikipedia (Japanese): The Tale of Genji	67	0.964	0.963	0.970	0.970	0.797	0.952	0.942	0.965	0.939	0.964
OLMo paper (arXiv 2402.00838)	21	0.893	0.891	0.854	0.273	0.719	0.761	0.820	0.781	0.640	0.892
Mistral 7B paper (arXiv 2310.06825)	9	0.777	0.774	0.767	0.778	0.800	0.872	0.859	0.821	0.779	0.774
QLoRA paper (arXiv 2305.14314)	26	0.863	0.860	0.817	0.852	0.868	0.908	0.917	0.770	0.851	0.861
Federal Register document 2026-22443	45	0.857	0.853	0.334	0.035	0.339	0.859	0.801	0.835	0.121	0.851
The 9/11 Commission Report (GPO)	585	—	—	—	—	—	—	—	—	—	—
The Constitution of the United States (House Document 110-50)	85	—	—	—	—	—	—	—	—	—	—
Economic Report of the President 2024	487	—	—	—	—	—	—	—	—	—	—
Calculus textbook typeset in LaTeX (Project Gutenberg #33283)	292	0.517	0.498	0.479	0.496	0.481	0.494	0.533	0.511	0.499	0.517
Alice's Adventures in Wonderland, 1867 printing (scan, Internet Archive)	212	0.579	0.544	0.632	0.639	0.524	0.651	0.625	0.156	—	0.579
GAO report 24-106219	58	—	—	—	—	—	—	—	—	—	—
Direct Preference Optimization paper (arXiv 2305.18290)	27	0.839	0.833	0.780	0.777	0.807	0.838	0.860	0.827	0.777	0.837
EU AI Act, Regulation 2024/1689 (Spanish, EUR-Lex)	144	0.988	0.983	0.988	0.988	0.988	0.989	0.996	0.986	0.987	0.988
Kids Online Safety Act bill, S. 1409 (line-numbered)	50	0.810	0.608	0.184	0.089	0.511	0.088	0.088	0.101	0.084	0.810
Agriculture in the United Kingdom 2024 (Defra)	194	—	—	—	—	—	—	—	—	—	—
Income in the United States: 2023 (Census P60-282)	59	—	—	—	—	—	—	—	—	—	—
The Employment Situation, December 2024 (BLS)	42	0.929	0.939	0.882	0.882	0.521	0.958	0.358	0.348	0.937	0.929
IRS Form W-4 (2026)	5	—	—	—	—	—	—	—	—	—	—
Instructions for Schedule C (IRS, 2025)	19	0.917	0.911	0.933	0.933	0.850	0.933	0.825	0.912	0.784	0.917
NASA Artemis presentation slides (2023)	33	—	—	—	—	—	—	—	—	—	—
NASA Spinoff 2016 (magazine)	242	—	—	—	—	—	—	—	—	—	—
Supreme Court opinion, Loper Bright v. Raimondo (22-451)	114	0.977	0.966	0.779	0.779	0.717	0.779	0.976	0.966	0.782	0.981
CRS report R45153: Statutory Interpretation	65	—	—	—	—	—	—	—	—	—	—
arXiv paper 2610.39146	14	0.489	0.476	0.449	0.484	0.450	0.489	0.489	0.474	0.461	0.486
EU AI Act, Regulation 2024/1689 (Greek, EUR-Lex)	144	0.987	0.981	0.987	0.987	0.986	0.987	0.996	0.984	0.986	0.987
NIST SP 800-53 Rev. 5 (security controls)	492	—	—	—	—	—	—	—	—	—	—
Code of Federal Regulations, Title 21, Vol. 1 (2024)	643	—	—	—	—	—	—	—	—	—	—
The Financial Crisis Inquiry Report (FCIC)	663	—	—	—	—	—	—	—	—	—	—

Documenten en licenties

Document	Licentie	Eigenschappen	Referentietekst
Wikipedia (English): Alice's Adventures in Wonderland	CC BY-SA 4.0 (text); images under their own licences	tekst PDF, één kolom, afbeeldingen, Engels	ja
Wikipedia (Spanish): Don Quijote de la Mancha	CC BY-SA 4.0 (text); images under their own licences	tekst PDF, één kolom, afbeeldingen, Spaans	ja
Wikipedia (French): Les Misérables	CC BY-SA 4.0 (text); images under their own licences	tekst PDF, één kolom, Frans	ja
Wikipedia (German): Johann Wolfgang von Goethe	CC BY-SA 4.0 (text); images under their own licences	tekst PDF, één kolom, Duits	ja
Wikipedia (Arabic): One Thousand and One Nights	CC BY-SA 4.0 (text); images under their own licences	tekst PDF, één kolom, Arabisch, van rechts naar links	ja
Wikipedia (Japanese): The Tale of Genji	CC BY-SA 4.0 (text); images under their own licences	tekst PDF, één kolom, Japans, CJK	ja
OLMo paper (arXiv 2402.00838)	CC BY 4.0	tekst PDF, twee kolommen, tabellen, voetnoten, figuren, academisch paper	ja
Mistral 7B paper (arXiv 2310.06825)	CC BY 4.0	tekst PDF, één kolom, figuren, academisch paper, kort	ja
QLoRA paper (arXiv 2305.14314)	CC BY 4.0	tekst PDF, één kolom, tabellen, voetnoten, academisch paper, lang	ja
Federal Register document 2026-22443	Public domain (work of the U.S. Government)	tekst PDF, drie kolommen, herhaalde koppen, voetnoten	ja
The 9/11 Commission Report (GPO)	Public domain (work of the U.S. Government)	tekst PDF, boek, hoofdstukken, herhaalde koppen, eindnotities, lang, laadtest	nee
The Constitution of the United States (House Document 110-50)	Public domain (work of the U.S. Government)	tekst PDF, boek, herhaalde koppen, inhoudsopgave	nee
Economic Report of the President 2024	Public domain (work of the U.S. Government)	tekst PDF, boek, tabellen, grafieken, dozen, voetnoten, lang	nee
Calculus textbook typeset in LaTeX (Project Gutenberg #33283)	Public domain in the U.S. (Project Gutenberg; its trademark only under its licence)	tekst PDF, boek, hoofdstukken, herhaalde koppen, voetnoten, formules	ja
Alice's Adventures in Wonderland, 1867 printing (scan, Internet Archive)	Public domain (1867; University of Toronto scan on the Internet Archive)	gescand, OCR laag, boek, hoofdstukken, illustraties	ja
GAO report 24-106219	Public domain (U.S. Government work; GAO notes it may contain third-party copyrighted material)	tekst PDF, één kolom, voetnoten, herhaalde koppen, figuren, tabellen, rapport	nee
Direct Preference Optimization paper (arXiv 2305.18290)	CC BY 4.0	tekst PDF, één kolom, formules, voetnoten, academisch paper	ja
EU AI Act, Regulation 2024/1689 (Spanish, EUR-Lex)	Reuse authorised, including commercial (Decision 2011/833/EU; EUR-Lex legal notice), © European Union	tekst PDF, één kolom, herhaalde koppen, hoofdstukken, Spaans, wettelijke tekst	ja
Kids Online Safety Act bill, S. 1409 (line-numbered)	Public domain (work of the U.S. Government)	tekst PDF, één kolom, regelnummer, wettelijke tekst	ja
Agriculture in the United Kingdom 2024 (Defra)	Open Government Licence v3.0 (© Crown copyright)	tekst PDF, tabellen, bijschriften, rapport, Engels, moeilijk	nee
Income in the United States: 2023 (Census P60-282)	Public domain (U.S. Government work, 17 U.S.C. §105)	tekst PDF, tabellen, figuren, inhoudsopgave, rapport, moeilijk	nee
The Employment Situation, December 2024 (BLS)	Public domain (U.S. Government work, 17 U.S.C. §105)	tekst PDF, tabellen, multi-level kopjes, moeilijk	ja
IRS Form W-4 (2026)	Public domain (U.S. Government work, 17 U.S.C. §105)	tekst PDF, formulier, formulier velden, moeilijk	nee
Instructions for Schedule C (IRS, 2025)	Public domain (U.S. Government work, 17 U.S.C. §105)	tekst PDF, twee kolommen, 3-niveaus inhoudsopgave, tabellen, moeilijk	ja
NASA Artemis presentation slides (2023)	Public domain (NASA; NTRS: public use permitted)	tekst PDF, dia's, afbeeldingen, moeilijk	nee
NASA Spinoff 2016 (magazine)	Text in the public domain (NASA); some images credited to third parties	tekst PDF, blad, drie kolommen, afbeeldingen, moeilijk	nee
Supreme Court opinion, Loper Bright v. Raimondo (22-451)	Public domain (U.S. Government work, 17 U.S.C. §105)	tekst PDF, voetnoten, wettelijke tekst, herhaalde koppen, moeilijk	ja
CRS report R45153: Statutory Interpretation	Public domain (U.S. Government work, per the report itself)	tekst PDF, voetnoten, wettelijke tekst, moeilijk	nee
arXiv paper 2610.39146	CC BY 4.0	tekst PDF, formules, academisch paper, moeilijk	ja
EU AI Act, Regulation 2024/1689 (Greek, EUR-Lex)	Reuse authorised, including commercial (Decision 2011/833/EU; EUR-Lex legal notice), © European Union	tekst PDF, Grieks, meerdere scripts, wettelijke tekst, moeilijk	ja
NIST SP 800-53 Rev. 5 (security controls)	No copyright in the U.S. (NIST)	tekst PDF, 3-niveaus inhoudsopgave, lang, tabellen, moeilijk	nee
Code of Federal Regulations, Title 21, Vol. 1 (2024)	Public domain (U.S. Government work, 17 U.S.C. §105)	tekst PDF, twee kolommen, lang, wettelijke tekst, moeilijk	nee
The Financial Crisis Inquiry Report (FCIC)	Public domain (U.S. Government work, 17 U.S.C. §105)	tekst PDF, boek, lang, ontbrekende ToUnicode, moeilijk	nee

Limieten van deze nummers

De margin-leak metric is alleen betrouwbaar voor engines die regels splitsen zoals pdftotext -layout; het is niet betrouwbaar voor OpenDataLoader, pdf_oxide Markdown of pdftotext zonder -layout.
Wikipedia-referenties laten tabellen en infoboxen weg, waardoor de precisie laag is voor elke engine op die documenten.
De 1867 Alice scan wordt vergeleken met een andere editie (Project Gutenberg, 1865): het is goed voor herinnering, niet voor exacte precisie. Het wordt gelezen via de PDF's eigen OCR laag: EpubCC's OCR draait alleen op gescande pagina's die geen tekstlaag hebben.
De tekstkwaliteit gemiddelden dekken alleen de documenten met een onafhankelijke referentietekst (HTML, Gutenberg-tekst of govinfo platte tekst van hetzelfde document, nooit de output van een andere tool) die elke engine heeft voltooid. De rest rapporteert tijd, geheugen, mislukte pagina's, niet-gekaart glyphs en marge-lek.
Deze metrics meten geëxtraheerde tekst. Ze meten geen hoofdstukdetectie, voetnootkoppeling of hoe de EPUB eruitziet op een lezer; de EPUBCheck validiteit wordt apart gerapporteerd voor onze EPUB output.
Calibre draait met zijn standaardinstellingen (ebook-convert, geen tuning). De tekst wordt gelezen vanuit zijn EPUB met een neutrale extractor; ons EPUB dat met dezelfde extractor leest, is de controledkolom, binnen 0.006 van de eigen tekst van onze engine op elk document. Bij de scan van 1867 heeft Calibre niet binnen 15 minuten afgerond.
Synthetische testdocumenten (gemaakt door ons of voor ons om de engine te testen) worden niet opgenomen in de gepubliceerde resultaten.

Gegevens

Deel