Måling

PDF til EPUB konverteringsbenchmark

Name: EpubCC PDF text-extraction benchmark (2026-11-09)
Creator: EpubCC
Published: 2026-11-09
License: https://creativecommons.org/licenses/by/4.0/

Tjek filerne. Sammenlign resultaterne.

I EpubCCs benchmark den 9. november 2026, nåede EpubCC motoren en gennemsnitlig 8-grams recall på 0.845 på 19 PDFs med en uafhængig reference tekst, imod 0.726 for Calibre og 0.755 for pdftotext; 33 af dens 33 EPUBs bestod EPUBCheck uden fejl.

Opdateret: 9. november 2026

Filerne, efter dokumenttype

Dokument	To kolonner	Tre kolonner	Fodnoter	Gentagne overskrifter	Kapitler	Arabisk (RTL)	Japansk	Spansk	Fransk	Tysk	Diagrammer	Scannet	Indlejrede billeder	Rapporter fodnoter	EU-forordning	Ligninger	Linjenumre
Kilde PDF	fil (PDF)	fil (PDF)	fil (PDF)	fil (PDF)	fil (PDF)	fil (PDF)	fil (PDF)	fil (PDF)	fil (PDF)	fil (PDF)	fil (PDF)	fil (PDF)	fil (PDF)	fil (PDF)	fil (PDF)	fil (PDF)	fil (PDF)
Resultat EPUB	fil (EPUB)	fil (EPUB)	fil (EPUB)	fil (EPUB)	fil (EPUB)	fil (EPUB)	fil (EPUB)	fil (EPUB)	fil (EPUB)	fil (EPUB)	fil (EPUB)	fil (EPUB)	fil (EPUB)	fil (EPUB)	fil (EPUB)	fil (EPUB)	—
EPUBCheck fejl / advarsler	0 / 0	0 / 0	0 / 0	0 / 0	0 / 0	0 / 0	0 / 0	0 / 0	0 / 0	0 / 0	0 / 0	0 / 0	0 / 0	0 / 0	0 / 0	0 / 0	0 / 0

Metodologi

Samme input. 33 PDF'er, hver offentligt tilgængelig eller under en gratis licens, kørt gennem 10 tekstudvinding motorer på November 9, 2026.
Automatiseret bedømmelse. 20 af PDF'erne har en uafhængig reference tekst af det samme dokument (HTML'en fra Wikipedia eller arXiv artiklen, teksten fra Project Gutenberg, eller govinfo's almindelige tekstudgave), aldrig output fra et andet værktøj. Tekstkvaliteten måles imod det med n-gram metrikker.
Gyldig EPUB. Hver EPUB vores motor skriver bliver kontrolleret med EPUBCheck: 33 af 33 havde ingen fejl.

4-gram tilbagekaldelse: Andel af reference tekstens 4-ords sekvenser fundet i output: indhold genvundet.
4-gram præcision: Andel af output'ets 4-ords sekvenser fundet i referencen: indhold der tilhører.
8-gram tilbagekaldelse: Som 4-gram hukommelse med 8 ord: falder når læserækkefølge eller linjesammenføjninger bryder sætninger (kontinuitet).
Merged words / 1,000: Words glued to their neighbour, per 1,000 words.
Split words / 1,000: Words broken in two, per 1,000 words.
Margin lækage: Andel af gentagne overskrifter, fodnoter og sidetal, der er tilbage i teksten.
Unmapped glyphs / 1,000: Tegn rapporteret som U+FFFD, fordi PDF ikke har Unicode for dem. Rapporteret, aldrig skjult: et højere nummer kan betyde, at motoren er ærlig om et problem, som andre falder stille hen over.
Sekunder: Vægttid for dokumentet.
Top MB: Maksimal hukommelse.

Resultater: gennemsnit pr. motor

Tekstmetrikker er gennemsnit over de 20 dokumenter med en reference; marginlækage og ikke-mappede glyphs over de dokumenter, hvor de gælder. Sekunder er det samlede for alle 33 dokumenter; peak MB er den højeste enkeltværdi.
Motor	Version	Licens	4-gram tilbagekaldelse	4-gram præcision	8-gram tilbagekaldelse	Merged words / 1,000	Split words / 1,000	Margin lækage	Unmapped glyphs / 1,000	Sekunder	Top MB
EpubCC engine (EPUB output) Tekst målt inden for EPUB, som brugeren downloader; tid og hukommelse inkluderer skrivning af EPUB.	EpubCC engine, commit cb3df10 (2026-11-09)	Ours	0.917	0.758	0.845	1.459	0.789	0.059	2.400	114.5	469
EpubCC engine (plain text) Den samme layoutmotor før EPUB skrivning.	EpubCC engine, commit cb3df10 (2026-11-09)	Ours	0.909	0.733	0.829	1.448	1.818	0.881	2.290	15.5	115
pdf_oxide · extract_text	pdf_oxide 0.3.78	MIT OR Apache-2.0	0.853	0.685	0.740	2.936	1.464	0.829	0.683	14.4	270
pdf_oxide · to_plain_text (XY-cut)	pdf_oxide 0.3.78	MIT OR Apache-2.0	0.831	0.666	0.694	2.753	1.760	0.797	0.680	15.9	272
pdf_oxide · Markdown	pdf_oxide 0.3.78	MIT OR Apache-2.0	0.821	0.657	0.692	4.445	3.638	0.108	0.478	21.5	272
PDFium · text().all()	pdfium-render 0.9.5, PDFium chromium/8125	BSD-3-Clause / Apache-2.0	0.846	0.674	0.756	1.094	2.879	0.963	3.803	6.5	100
OpenDataLoader PDF (local mode) Reference for heuristikker; udelukket som en motor på grund af dens hukommelsesforbrug.	opendataloader-pdf 2.5.17	Apache-2.0	0.818	0.664	0.734	1.474	0.373	0.044	0.439	76.3	1329
pdftotext (Poppler) Måleske kun: GPL-software leveres aldrig i EpubCC.	Poppler 25.09.1	GPL	0.853	0.680	0.755	1.318	1.040	0.230	3.045	9.0	36
Calibre · ebook-convert (EPUB output) Standardindstillinger, ingen tuning. Tekst taget fra dens EPUB med den samme extractor som kontrolkolonnen. Målestok kun: GPL-software sendes aldrig i EpubCC.	calibre 9.17.0	GPL-3.0	0.852	0.683	0.726	1.045	2.629	0.694	3.746	460.2	592
EpubCC engine (EPUB, same extractor as Calibre) Kontrol: vores EPUB læst med den extractor, der blev brugt til Calibre, så begge EPUB'er måles på samme måde.	EpubCC engine, same run	Ours	0.917	0.758	0.845	1.459	0.789	0.062	2.413	109.8	515

EpubCC vs Calibre, dokument for dokument

Begge EPUB'er læses med den samme extractor. Calibre med sine standardindstillinger.

0.845 vs 0.726 gennemsnitlig 8-gram recall på de samme 19 dokumenter
33/33 vs 16/32 EPUB'er uden EPUBCheck fejl
0.059 vs 0.694 andel af løbende overskrifter og sidenumre tilbage i teksten
113 s vs 460 s total konverteringstid

Calibre er bedre på 3 af dem; vi lister dem først. Calibre blev ikke færdig inden for 15 minutter: Alice's Adventures in Wonderland, 1867 printing (scan, Internet Archive).

Dokument	EpubCC	Calibre	EPUBCheck fejl (EpubCC / Calibre)
The Employment Situation, December 2024 (BLS)	0.929	0.937	0 / 0
Wikipedia (Arabic): One Thousand and One Nights	0.819	0.824	0 / 4
Mistral 7B paper (arXiv 2310.06825)	0.774	0.779	0 / 15
EU AI Act, Regulation 2024/1689 (Spanish, EUR-Lex)	0.988	0.987	0 / 8
EU AI Act, Regulation 2024/1689 (Greek, EUR-Lex)	0.987	0.986	0 / 6
Wikipedia (German): Johann Wolfgang von Goethe	0.862	0.853	0 / 0
QLoRA paper (arXiv 2305.14314)	0.861	0.851	0 / 39
Wikipedia (English): Alice's Adventures in Wonderland	0.778	0.763	0 / 9
Wikipedia (Spanish): Don Quijote de la Mancha	0.956	0.938	0 / 0
Calculus textbook typeset in LaTeX (Project Gutenberg #33283)	0.517	0.499	0 / 2
arXiv paper 2610.39146	0.486	0.461	0 / 6
Wikipedia (Japanese): The Tale of Genji	0.964	0.939	0 / 20
Wikipedia (French): Les Misérables	0.840	0.788	0 / 16
Direct Preference Optimization paper (arXiv 2305.18290)	0.837	0.777	0 / 37
Instructions for Schedule C (IRS, 2025)	0.917	0.784	0 / 0
Supreme Court opinion, Loper Bright v. Raimondo (22-451)	0.981	0.782	0 / 0
OLMo paper (arXiv 2402.00838)	0.892	0.640	0 / 27
Kids Online Safety Act bill, S. 1409 (line-numbered)	0.810	0.084	0 / 0
Federal Register document 2026-22443	0.851	0.121	0 / 0
The 9/11 Commission Report (GPO)	—	—	0 / 1
The Constitution of the United States (House Document 110-50)	—	—	0 / 0
Economic Report of the President 2024	—	—	0 / 9
GAO report 24-106219	—	—	0 / 0
Agriculture in the United Kingdom 2024 (Defra)	—	—	0 / 0
Income in the United States: 2023 (Census P60-282)	—	—	0 / 0
IRS Form W-4 (2026)	—	—	0 / 0
NASA Artemis presentation slides (2023)	—	—	0 / 0
NASA Spinoff 2016 (magazine)	—	—	0 / 0
CRS report R45153: Statutory Interpretation	—	—	0 / 25
NIST SP 800-53 Rev. 5 (security controls)	—	—	0 / 2419
Code of Federal Regulations, Title 21, Vol. 1 (2024)	—	—	0 / 0
The Financial Crisis Inquiry Report (FCIC)	—	—	0 / 0
Alice's Adventures in Wonderland, 1867 printing (scan, Internet Archive)	0.579	blev ikke færdig	0 / —

8-grams genkaldelse kræver en uafhængig reference tekst; dokumenter uden en viser —. Calibre er GPL-software, som vi kun kører for at måle; det er aldrig en del af EpubCC.

Hvor andre motorer overgår vores

Dokumenter hvor en anden engines 8-gram recall er mere end 0.02 over vores EPUB output. Vi offentliggør disse fordi de er hvad vi arbejder på næste.

Wikipedia (English): Alice's Adventures in Wonderland: pdf_oxide · extract_text 0.800 · EpubCC 0.778
Wikipedia (French): Les Misérables: pdf_oxide · extract_text 0.903 · EpubCC 0.841
Mistral 7B paper (arXiv 2310.06825): PDFium · text().all() 0.872 · EpubCC 0.777
QLoRA paper (arXiv 2305.14314): OpenDataLoader PDF (local mode) 0.917 · EpubCC 0.863
Alice's Adventures in Wonderland, 1867 printing (scan, Internet Archive): PDFium · text().all() 0.651 · EpubCC 0.579
Direct Preference Optimization paper (arXiv 2305.18290): OpenDataLoader PDF (local mode) 0.860 · EpubCC 0.839
The Employment Situation, December 2024 (BLS): PDFium · text().all() 0.958 · EpubCC 0.929

Resultater pr. dokument (8-gram recall)

Bedste værdi pr. række i fed. — betyder ingen reference tekst for det dokument.
Dokument	Sider	EpubCC engine (EPUB output)	EpubCC engine (plain text)	pdf_oxide · extract_text	pdf_oxide · to_plain_text (XY-cut)	pdf_oxide · Markdown	PDFium · text().all()	OpenDataLoader PDF (local mode)	pdftotext (Poppler)	Calibre · ebook-convert (EPUB output)	EpubCC engine (EPUB, same extractor as Calibre)
Wikipedia (English): Alice's Adventures in Wonderland	24	0.778	0.771	0.800	0.800	0.672	0.774	0.781	0.769	0.763	0.778
Wikipedia (Spanish): Don Quijote de la Mancha	50	0.956	0.942	0.963	0.963	0.857	0.945	0.954	0.944	0.938	0.956
Wikipedia (French): Les Misérables	22	0.841	0.833	0.903	0.903	0.751	0.884	0.891	0.846	0.788	0.840
Wikipedia (German): Johann Wolfgang von Goethe	86	0.862	0.856	0.877	0.877	0.758	0.854	0.862	0.853	0.853	0.862
Wikipedia (Arabic): One Thousand and One Nights	17	0.819	0.812	0.315	0.315	0.273	0.001	0.000	0.659	0.824	0.819
Wikipedia (Japanese): The Tale of Genji	67	0.964	0.963	0.970	0.970	0.797	0.952	0.942	0.965	0.939	0.964
OLMo paper (arXiv 2402.00838)	21	0.893	0.891	0.854	0.273	0.719	0.761	0.820	0.781	0.640	0.892
Mistral 7B paper (arXiv 2310.06825)	9	0.777	0.774	0.767	0.778	0.800	0.872	0.859	0.821	0.779	0.774
QLoRA paper (arXiv 2305.14314)	26	0.863	0.860	0.817	0.852	0.868	0.908	0.917	0.770	0.851	0.861
Federal Register document 2026-22443	45	0.857	0.853	0.334	0.035	0.339	0.859	0.801	0.835	0.121	0.851
The 9/11 Commission Report (GPO)	585	—	—	—	—	—	—	—	—	—	—
The Constitution of the United States (House Document 110-50)	85	—	—	—	—	—	—	—	—	—	—
Economic Report of the President 2024	487	—	—	—	—	—	—	—	—	—	—
Calculus textbook typeset in LaTeX (Project Gutenberg #33283)	292	0.517	0.498	0.479	0.496	0.481	0.494	0.533	0.511	0.499	0.517
Alice's Adventures in Wonderland, 1867 printing (scan, Internet Archive)	212	0.579	0.544	0.632	0.639	0.524	0.651	0.625	0.156	—	0.579
GAO report 24-106219	58	—	—	—	—	—	—	—	—	—	—
Direct Preference Optimization paper (arXiv 2305.18290)	27	0.839	0.833	0.780	0.777	0.807	0.838	0.860	0.827	0.777	0.837
EU AI Act, Regulation 2024/1689 (Spanish, EUR-Lex)	144	0.988	0.983	0.988	0.988	0.988	0.989	0.996	0.986	0.987	0.988
Kids Online Safety Act bill, S. 1409 (line-numbered)	50	0.810	0.608	0.184	0.089	0.511	0.088	0.088	0.101	0.084	0.810
Agriculture in the United Kingdom 2024 (Defra)	194	—	—	—	—	—	—	—	—	—	—
Income in the United States: 2023 (Census P60-282)	59	—	—	—	—	—	—	—	—	—	—
The Employment Situation, December 2024 (BLS)	42	0.929	0.939	0.882	0.882	0.521	0.958	0.358	0.348	0.937	0.929
IRS Form W-4 (2026)	5	—	—	—	—	—	—	—	—	—	—
Instructions for Schedule C (IRS, 2025)	19	0.917	0.911	0.933	0.933	0.850	0.933	0.825	0.912	0.784	0.917
NASA Artemis presentation slides (2023)	33	—	—	—	—	—	—	—	—	—	—
NASA Spinoff 2016 (magazine)	242	—	—	—	—	—	—	—	—	—	—
Supreme Court opinion, Loper Bright v. Raimondo (22-451)	114	0.977	0.966	0.779	0.779	0.717	0.779	0.976	0.966	0.782	0.981
CRS report R45153: Statutory Interpretation	65	—	—	—	—	—	—	—	—	—	—
arXiv paper 2610.39146	14	0.489	0.476	0.449	0.484	0.450	0.489	0.489	0.474	0.461	0.486
EU AI Act, Regulation 2024/1689 (Greek, EUR-Lex)	144	0.987	0.981	0.987	0.987	0.986	0.987	0.996	0.984	0.986	0.987
NIST SP 800-53 Rev. 5 (security controls)	492	—	—	—	—	—	—	—	—	—	—
Code of Federal Regulations, Title 21, Vol. 1 (2024)	643	—	—	—	—	—	—	—	—	—	—
The Financial Crisis Inquiry Report (FCIC)	663	—	—	—	—	—	—	—	—	—	—

Dokumenter og licenser

Dokument	Licens	Egenskaber	Reference tekst
Wikipedia (English): Alice's Adventures in Wonderland	CC BY-SA 4.0 (text); images under their own licences	tekst PDF, én kolonne, billeder, Engelsk	ja
Wikipedia (Spanish): Don Quijote de la Mancha	CC BY-SA 4.0 (text); images under their own licences	tekst PDF, én kolonne, billeder, Spansk	ja
Wikipedia (French): Les Misérables	CC BY-SA 4.0 (text); images under their own licences	tekst PDF, én kolonne, Fransk	ja
Wikipedia (German): Johann Wolfgang von Goethe	CC BY-SA 4.0 (text); images under their own licences	tekst PDF, én kolonne, Tysk	ja
Wikipedia (Arabic): One Thousand and One Nights	CC BY-SA 4.0 (text); images under their own licences	tekst PDF, én kolonne, Arabisk, højre-til-venstre	ja
Wikipedia (Japanese): The Tale of Genji	CC BY-SA 4.0 (text); images under their own licences	tekst PDF, én kolonne, Japansk, CJK	ja
OLMo paper (arXiv 2402.00838)	CC BY 4.0	tekst PDF, to kolonner, tabeller, fodnoter, figurer, akademisk artikel	ja
Mistral 7B paper (arXiv 2310.06825)	CC BY 4.0	tekst PDF, én kolonne, figurer, akademisk artikel, kort	ja
QLoRA paper (arXiv 2305.14314)	CC BY 4.0	tekst PDF, én kolonne, tabeller, fodnoter, akademisk artikel, lang	ja
Federal Register document 2026-22443	Public domain (work of the U.S. Government)	tekst PDF, tre kolonner, gentagne overskrifter, fodnoter	ja
The 9/11 Commission Report (GPO)	Public domain (work of the U.S. Government)	tekst PDF, bog, kapitler, gentagne overskrifter, slutnoter, lang, indlæs test	nej
The Constitution of the United States (House Document 110-50)	Public domain (work of the U.S. Government)	tekst PDF, bog, gentagne overskrifter, indholdsfortegnelse	nej
Economic Report of the President 2024	Public domain (work of the U.S. Government)	tekst PDF, bog, tabeller, diagrammer, bokse, fodnoter, lang	nej
Calculus textbook typeset in LaTeX (Project Gutenberg #33283)	Public domain in the U.S. (Project Gutenberg; its trademark only under its licence)	tekst PDF, bog, kapitler, gentagne overskrifter, fodnoter, formler	ja
Alice's Adventures in Wonderland, 1867 printing (scan, Internet Archive)	Public domain (1867; University of Toronto scan on the Internet Archive)	scannet, OCR lag, bog, kapitler, illustrationer	ja
GAO report 24-106219	Public domain (U.S. Government work; GAO notes it may contain third-party copyrighted material)	tekst PDF, én kolonne, fodnoter, gentagne overskrifter, figurer, tabeller, rapport	nej
Direct Preference Optimization paper (arXiv 2305.18290)	CC BY 4.0	tekst PDF, én kolonne, formler, fodnoter, akademisk artikel	ja
EU AI Act, Regulation 2024/1689 (Spanish, EUR-Lex)	Reuse authorised, including commercial (Decision 2011/833/EU; EUR-Lex legal notice), © European Union	tekst PDF, én kolonne, gentagne overskrifter, kapitler, Spansk, juridisk tekst	ja
Kids Online Safety Act bill, S. 1409 (line-numbered)	Public domain (work of the U.S. Government)	tekst PDF, én kolonne, linjenumre, juridisk tekst	ja
Agriculture in the United Kingdom 2024 (Defra)	Open Government Licence v3.0 (© Crown copyright)	tekst PDF, tabeller, billeder, rapport, Engelsk, hård	nej
Income in the United States: 2023 (Census P60-282)	Public domain (U.S. Government work, 17 U.S.C. §105)	tekst PDF, tabeller, figurer, indholdsfortegnelse, rapport, hård	nej
The Employment Situation, December 2024 (BLS)	Public domain (U.S. Government work, 17 U.S.C. §105)	tekst PDF, tabeller, multi-niveau overskrifter, hård	ja
IRS Form W-4 (2026)	Public domain (U.S. Government work, 17 U.S.C. §105)	tekst PDF, formular, formularfelter, hård	nej
Instructions for Schedule C (IRS, 2025)	Public domain (U.S. Government work, 17 U.S.C. §105)	tekst PDF, to kolonner, 3-niveau indholdsfortegnelse, tabeller, hård	ja
NASA Artemis presentation slides (2023)	Public domain (NASA; NTRS: public use permitted)	tekst PDF, dias, billeder, hård	nej
NASA Spinoff 2016 (magazine)	Text in the public domain (NASA); some images credited to third parties	tekst PDF, magasin, tre kolonner, billeder, hård	nej
Supreme Court opinion, Loper Bright v. Raimondo (22-451)	Public domain (U.S. Government work, 17 U.S.C. §105)	tekst PDF, fodnoter, juridisk tekst, gentagne overskrifter, hård	ja
CRS report R45153: Statutory Interpretation	Public domain (U.S. Government work, per the report itself)	tekst PDF, fodnoter, juridisk tekst, hård	nej
arXiv paper 2610.39146	CC BY 4.0	tekst PDF, formler, akademisk artikel, hård	ja
EU AI Act, Regulation 2024/1689 (Greek, EUR-Lex)	Reuse authorised, including commercial (Decision 2011/833/EU; EUR-Lex legal notice), © European Union	tekst PDF, Græsk, flere skrifter, juridisk tekst, hård	ja
NIST SP 800-53 Rev. 5 (security controls)	No copyright in the U.S. (NIST)	tekst PDF, 3-niveau indholdsfortegnelse, lang, tabeller, hård	nej
Code of Federal Regulations, Title 21, Vol. 1 (2024)	Public domain (U.S. Government work, 17 U.S.C. §105)	tekst PDF, to kolonner, lang, juridisk tekst, hård	nej
The Financial Crisis Inquiry Report (FCIC)	Public domain (U.S. Government work, 17 U.S.C. §105)	tekst PDF, bog, lang, mangler ToUnicode, hård	nej

Grænser for disse tal

Margin-leak-metrikken er kun pålidelig for motorer, der deler linjer som pdftotext -layout; den er ikke pålidelig for OpenDataLoader, pdf_oxide Markdown eller pdftotext uden -layout.
Wikipedia-referencer undlader tabeller og infobokse, så præcisionen er lav for hver motor på disse dokumenter.
1867 Alice scanningen sammenlignes med en anden udgave (Project Gutenberg, 1865): det er godt til recall, ikke til præcise detaljer. Det læses gennem PDF's egen OCR lag: EpubCC's OCR kører kun på scannede sider, der ikke har noget tekstlag.
Tekstkvalitetsgennemsnit dækker kun de dokumenter med en uafhængig reference tekst (HTML, Gutenberg tekst eller govinfo plain text af det samme dokument, aldrig en anden værktøjs output), som hver motor blev færdig med. Resten rapporterer tid, hukommelse, mislykkedes sider, umapped glyphs og margin læk.
Disse målinger måler udtrukket tekst. De måler ikke kapitelregistrering, fodnote-linking eller hvordan EPUB ser ud på en læser; EPUBCheck gyldighed rapporteres separat for vores EPUB output.
Calibre kører med sine standardindstillinger (ebook-convert, ingen tuning). Dens tekst læses fra dens EPUB med en neutral extractor; vores EPUB læst med den samme extractor er kontrolkolonnen, inden for 0.006 af vores motors egen tekst på hvert dokument. På 1867-scanningen blev Calibre ikke færdig inden for 15 minutter.
Syntetiske testdokumenter (lavet af os eller for os til at teste motoren) er udeladt fra de offentliggjorte resultater.

Data

Del