Måling

PDF til EPUB konverteringsbenchmark

Name: EpubCC PDF text-extraction benchmark (2026-11-09)
Creator: EpubCC
Published: 2026-11-09
License: https://creativecommons.org/licenses/by/4.0/

Sjekk filene. Sammenlign resultatene.

I EpubCC's benchmark den 9. november 2026, oppnådde EpubCC motoren en gjennomsnittlig 8-grams gjenkalling på 0.845 på 19 PDF-er med en uavhengig referansetekst, mot 0.726 for Calibre og 0.755 for pdftotext; 33 av 33 EPUB-er besto EPUBCheck uten feil.

Oppdatert: 9. november 2026

Filene, etter dokumenttype

Dokument	To kolonner	Tre kolonner	Fotnoter	Gjengitte overskrifter	Kapitler	Arabisk (RTL)	Japansk	Spansk	Fransk	Tysk	Diagrammer	Skannet	Innpakede bilder	Rapporter fotnoter	EU-forordning	Ligninger	Linjenumre
Kilde PDF	fil (PDF)	fil (PDF)	fil (PDF)	fil (PDF)	fil (PDF)	fil (PDF)	fil (PDF)	fil (PDF)	fil (PDF)	fil (PDF)	fil (PDF)	fil (PDF)	fil (PDF)	fil (PDF)	fil (PDF)	fil (PDF)	fil (PDF)
Resultat EPUB	fil (EPUB)	fil (EPUB)	fil (EPUB)	fil (EPUB)	fil (EPUB)	fil (EPUB)	fil (EPUB)	fil (EPUB)	fil (EPUB)	fil (EPUB)	fil (EPUB)	fil (EPUB)	fil (EPUB)	fil (EPUB)	fil (EPUB)	fil (EPUB)	fil (EPUB)
EPUBCheck feil / advarsler	0 / 0	0 / 0	0 / 0	0 / 0	0 / 0	0 / 0	0 / 0	0 / 0	0 / 0	0 / 0	0 / 0	0 / 0	0 / 0	0 / 0	0 / 0	0 / 0	0 / 0

Metodikk

Samme inngang. 33 PDF-er, alle offentlige eller under en gratis lisens, kjøres gjennom 10 tekstutvinningsmotorer på November 9, 2026.
Automatisert poengsetting. 20 av PDF-ene har en uavhengig referansetext av det samme dokumentet (HTML fra Wikipedia eller arXiv-artikkelen, teksten fra Project Gutenberg, eller govinfo's ren tekstutgave), aldri output fra et annet verktøy. Tekstkvaliteten måles mot dette med n-gram metrikker.
Gyldig EPUB. Hver EPUB vår motor skriver blir sjekket med EPUBCheck: 33 av 33 hadde ingen feil.

4-gram tilbakekalling: Andel av referansetekstens 4-ords sekvenser funnet i utdataene: innhold gjenvunnet.
4-gram presisjon: Andel av utdataenes 4-ords sekvenser funnet i referansen: innhold som tilhører.
8-gram tilbakekalling: Som 4-grams gjenkall med 8 ord: faller når leserekkefølge eller linje sammenføyninger bryter setninger (kontinuitet).
Sammenslåtte ord / 1 000: Ord limt til naboen sin, per 1 000 ord.
Delte ord / 1 000: Ord brutt i to, per 1 000 ord.
Marginlekkasje: Andel av gjentatte overskrifter, bunntekster og sidetall som er igjen i teksten.
Ukartlagte tegn / 1,000: Tegn rapportert som U+FFFD fordi PDF ikke har Unicode for dem. Rapportert, aldri skjult: et høyere tall kan bety at motoren er ærlig om et problem andre lar gå stille.
Sekunder: Vegg tid for dokumentet.
Maks MB: Maksimal minne.

Resultater: gjennomsnitt per motor

Tekstmetrikker er gjennomsnitt over de 20 dokumentene med en referanse; margenlekkasje og uavkortede glyfer over de dokumentene der de gjelder. Sekunder er totalen for alle 33 dokumenter; peak MB er den høyeste enkeltverdien.
Motor	Versjon	Lisens	4-gram tilbakekalling	4-gram presisjon	8-gram tilbakekalling	Sammenslåtte ord / 1 000	Delte ord / 1 000	Marginlekkasje	Ukartlagte tegn / 1,000	Sekunder	Maks MB
EpubCC engine (EPUB output) Tekst målt inne i EPUB som brukeren laster ned; tid og minne inkluderer å skrive EPUB.	EpubCC engine, commit cb3df10 (2026-11-09)	Ours	0.917	0.758	0.845	1.459	0.789	0.059	2.400	114.5	469
EpubCC engine (plain text) Den samme layout-motoren før EPUB skriving.	EpubCC engine, commit cb3df10 (2026-11-09)	Ours	0.909	0.733	0.829	1.448	1.818	0.881	2.290	15.5	115
pdf_oxide · extract_text	pdf_oxide 0.3.78	MIT OR Apache-2.0	0.853	0.685	0.740	2.936	1.464	0.829	0.683	14.4	270
pdf_oxide · to_plain_text (XY-cut)	pdf_oxide 0.3.78	MIT OR Apache-2.0	0.831	0.666	0.694	2.753	1.760	0.797	0.680	15.9	272
pdf_oxide · Markdown	pdf_oxide 0.3.78	MIT OR Apache-2.0	0.821	0.657	0.692	4.445	3.638	0.108	0.478	21.5	272
PDFium · text().all()	pdfium-render 0.9.5, PDFium chromium/8125	BSD-3-Clause / Apache-2.0	0.846	0.674	0.756	1.094	2.879	0.963	3.803	6.5	100
OpenDataLoader PDF (local mode) Referanse for heuristikk; avvist som en motor for dens minnebruk.	opendataloader-pdf 2.5.17	Apache-2.0	0.818	0.664	0.734	1.474	0.373	0.044	0.439	76.3	1329
pdftotext (Poppler) Målestokk kun: GPL-programvare blir aldri levert inn i EpubCC.	Poppler 25.09.1	GPL	0.853	0.680	0.755	1.318	1.040	0.230	3.045	9.0	36
Calibre · ebook-convert (EPUB output) Standardinnstillinger, ingen justering. Tekst hentet fra dens EPUB med den samme ekstraktoren som kontrollkolonnen. Måleverktøy kun: GPL-programvare sendes aldri i EpubCC.	calibre 9.17.0	GPL-3.0	0.852	0.683	0.726	1.045	2.629	0.694	3.746	460.2	592
EpubCC engine (EPUB, same extractor as Calibre) Kontroll: vår EPUB lest med ekstraktoren brukt for Calibre, så begge EPUB-er måles på samme måte.	EpubCC engine, same run	Ours	0.917	0.758	0.845	1.459	0.789	0.062	2.413	109.8	515

EpubCC vs Calibre, dokument for dokument

Begge EPUB-er leses med den samme ekstraktoren. Calibre med standardinnstillingene.

0.845 vs 0.726 gjennomsnittlig 8-gram gjenkalling på de samme 19 dokumentene
33/33 vs 16/32 EPUB-er uten EPUBCheck feil
0.059 vs 0.694 andel av løpende overskrifter og sidetall igjen i teksten
113 s vs 460 s total konverteringstid

Calibre er bedre på 3 av dem; vi lister de først. Calibre fullførte ikke innen 15 minutter: Alice's Adventures in Wonderland, 1867 printing (scan, Internet Archive).

Dokument	EpubCC	Calibre	EPUBCheck feil (EpubCC / Calibre)
The Employment Situation, December 2024 (BLS)	0.929	0.937	0 / 0
Wikipedia (Arabic): One Thousand and One Nights	0.819	0.824	0 / 4
Mistral 7B paper (arXiv 2310.06825)	0.774	0.779	0 / 15
EU AI Act, Regulation 2024/1689 (Spanish, EUR-Lex)	0.988	0.987	0 / 8
EU AI Act, Regulation 2024/1689 (Greek, EUR-Lex)	0.987	0.986	0 / 6
Wikipedia (German): Johann Wolfgang von Goethe	0.862	0.853	0 / 0
QLoRA paper (arXiv 2305.14314)	0.861	0.851	0 / 39
Wikipedia (English): Alice's Adventures in Wonderland	0.778	0.763	0 / 9
Wikipedia (Spanish): Don Quijote de la Mancha	0.956	0.938	0 / 0
Calculus textbook typeset in LaTeX (Project Gutenberg #33283)	0.517	0.499	0 / 2
arXiv paper 2610.39146	0.486	0.461	0 / 6
Wikipedia (Japanese): The Tale of Genji	0.964	0.939	0 / 20
Wikipedia (French): Les Misérables	0.840	0.788	0 / 16
Direct Preference Optimization paper (arXiv 2305.18290)	0.837	0.777	0 / 37
Instructions for Schedule C (IRS, 2025)	0.917	0.784	0 / 0
Supreme Court opinion, Loper Bright v. Raimondo (22-451)	0.981	0.782	0 / 0
OLMo paper (arXiv 2402.00838)	0.892	0.640	0 / 27
Kids Online Safety Act bill, S. 1409 (line-numbered)	0.810	0.084	0 / 0
Federal Register document 2026-22443	0.851	0.121	0 / 0
The 9/11 Commission Report (GPO)	—	—	0 / 1
The Constitution of the United States (House Document 110-50)	—	—	0 / 0
Economic Report of the President 2024	—	—	0 / 9
GAO report 24-106219	—	—	0 / 0
Agriculture in the United Kingdom 2024 (Defra)	—	—	0 / 0
Income in the United States: 2023 (Census P60-282)	—	—	0 / 0
IRS Form W-4 (2026)	—	—	0 / 0
NASA Artemis presentation slides (2023)	—	—	0 / 0
NASA Spinoff 2016 (magazine)	—	—	0 / 0
CRS report R45153: Statutory Interpretation	—	—	0 / 25
NIST SP 800-53 Rev. 5 (security controls)	—	—	0 / 2419
Code of Federal Regulations, Title 21, Vol. 1 (2024)	—	—	0 / 0
The Financial Crisis Inquiry Report (FCIC)	—	—	0 / 0
Alice's Adventures in Wonderland, 1867 printing (scan, Internet Archive)	0.579	fullførte ikke	0 / —

8-gram gjenkalling trenger en uavhengig referanseteks; dokumenter uten en viser —. Calibre er GPL-programvare vi bare kjører for å måle; det er aldri en del av EpubCC.

Hvor andre motorer overgår vår

Dokumenter der en annen engines 8-gram gjenkalling er mer enn 0.02 over vår EPUB output. Vi publiserer disse fordi de er hva vi jobber med neste.

Wikipedia (English): Alice's Adventures in Wonderland: pdf_oxide · extract_text 0.800 · EpubCC 0.778
Wikipedia (French): Les Misérables: pdf_oxide · extract_text 0.903 · EpubCC 0.841
Mistral 7B paper (arXiv 2310.06825): PDFium · text().all() 0.872 · EpubCC 0.777
QLoRA paper (arXiv 2305.14314): OpenDataLoader PDF (local mode) 0.917 · EpubCC 0.863
Alice's Adventures in Wonderland, 1867 printing (scan, Internet Archive): PDFium · text().all() 0.651 · EpubCC 0.579
Direct Preference Optimization paper (arXiv 2305.18290): OpenDataLoader PDF (local mode) 0.860 · EpubCC 0.839
The Employment Situation, December 2024 (BLS): PDFium · text().all() 0.958 · EpubCC 0.929

Resultater per dokument (8-gram tilbakekalling)

Best verdi per rad i fet. — betyr ingen referansetekst for det dokumentet.
Dokument	Sider	EpubCC engine (EPUB output)	EpubCC engine (plain text)	pdf_oxide · extract_text	pdf_oxide · to_plain_text (XY-cut)	pdf_oxide · Markdown	PDFium · text().all()	OpenDataLoader PDF (local mode)	pdftotext (Poppler)	Calibre · ebook-convert (EPUB output)	EpubCC engine (EPUB, same extractor as Calibre)
Wikipedia (English): Alice's Adventures in Wonderland	24	0.778	0.771	0.800	0.800	0.672	0.774	0.781	0.769	0.763	0.778
Wikipedia (Spanish): Don Quijote de la Mancha	50	0.956	0.942	0.963	0.963	0.857	0.945	0.954	0.944	0.938	0.956
Wikipedia (French): Les Misérables	22	0.841	0.833	0.903	0.903	0.751	0.884	0.891	0.846	0.788	0.840
Wikipedia (German): Johann Wolfgang von Goethe	86	0.862	0.856	0.877	0.877	0.758	0.854	0.862	0.853	0.853	0.862
Wikipedia (Arabic): One Thousand and One Nights	17	0.819	0.812	0.315	0.315	0.273	0.001	0.000	0.659	0.824	0.819
Wikipedia (Japanese): The Tale of Genji	67	0.964	0.963	0.970	0.970	0.797	0.952	0.942	0.965	0.939	0.964
OLMo paper (arXiv 2402.00838)	21	0.893	0.891	0.854	0.273	0.719	0.761	0.820	0.781	0.640	0.892
Mistral 7B paper (arXiv 2310.06825)	9	0.777	0.774	0.767	0.778	0.800	0.872	0.859	0.821	0.779	0.774
QLoRA paper (arXiv 2305.14314)	26	0.863	0.860	0.817	0.852	0.868	0.908	0.917	0.770	0.851	0.861
Federal Register document 2026-22443	45	0.857	0.853	0.334	0.035	0.339	0.859	0.801	0.835	0.121	0.851
The 9/11 Commission Report (GPO)	585	—	—	—	—	—	—	—	—	—	—
The Constitution of the United States (House Document 110-50)	85	—	—	—	—	—	—	—	—	—	—
Economic Report of the President 2024	487	—	—	—	—	—	—	—	—	—	—
Calculus textbook typeset in LaTeX (Project Gutenberg #33283)	292	0.517	0.498	0.479	0.496	0.481	0.494	0.533	0.511	0.499	0.517
Alice's Adventures in Wonderland, 1867 printing (scan, Internet Archive)	212	0.579	0.544	0.632	0.639	0.524	0.651	0.625	0.156	—	0.579
GAO report 24-106219	58	—	—	—	—	—	—	—	—	—	—
Direct Preference Optimization paper (arXiv 2305.18290)	27	0.839	0.833	0.780	0.777	0.807	0.838	0.860	0.827	0.777	0.837
EU AI Act, Regulation 2024/1689 (Spanish, EUR-Lex)	144	0.988	0.983	0.988	0.988	0.988	0.989	0.996	0.986	0.987	0.988
Kids Online Safety Act bill, S. 1409 (line-numbered)	50	0.810	0.608	0.184	0.089	0.511	0.088	0.088	0.101	0.084	0.810
Agriculture in the United Kingdom 2024 (Defra)	194	—	—	—	—	—	—	—	—	—	—
Income in the United States: 2023 (Census P60-282)	59	—	—	—	—	—	—	—	—	—	—
The Employment Situation, December 2024 (BLS)	42	0.929	0.939	0.882	0.882	0.521	0.958	0.358	0.348	0.937	0.929
IRS Form W-4 (2026)	5	—	—	—	—	—	—	—	—	—	—
Instructions for Schedule C (IRS, 2025)	19	0.917	0.911	0.933	0.933	0.850	0.933	0.825	0.912	0.784	0.917
NASA Artemis presentation slides (2023)	33	—	—	—	—	—	—	—	—	—	—
NASA Spinoff 2016 (magazine)	242	—	—	—	—	—	—	—	—	—	—
Supreme Court opinion, Loper Bright v. Raimondo (22-451)	114	0.977	0.966	0.779	0.779	0.717	0.779	0.976	0.966	0.782	0.981
CRS report R45153: Statutory Interpretation	65	—	—	—	—	—	—	—	—	—	—
arXiv paper 2610.39146	14	0.489	0.476	0.449	0.484	0.450	0.489	0.489	0.474	0.461	0.486
EU AI Act, Regulation 2024/1689 (Greek, EUR-Lex)	144	0.987	0.981	0.987	0.987	0.986	0.987	0.996	0.984	0.986	0.987
NIST SP 800-53 Rev. 5 (security controls)	492	—	—	—	—	—	—	—	—	—	—
Code of Federal Regulations, Title 21, Vol. 1 (2024)	643	—	—	—	—	—	—	—	—	—	—
The Financial Crisis Inquiry Report (FCIC)	663	—	—	—	—	—	—	—	—	—	—

Dokumenter og lisenser

Dokument	Lisens	Egenskaper	Referansetekst
Wikipedia (English): Alice's Adventures in Wonderland	CC BY-SA 4.0 (text); images under their own licences	tekst PDF, én kolonne, bilder, Engelsk	ja
Wikipedia (Spanish): Don Quijote de la Mancha	CC BY-SA 4.0 (text); images under their own licences	tekst PDF, én kolonne, bilder, Spansk	ja
Wikipedia (French): Les Misérables	CC BY-SA 4.0 (text); images under their own licences	tekst PDF, én kolonne, Fransk	ja
Wikipedia (German): Johann Wolfgang von Goethe	CC BY-SA 4.0 (text); images under their own licences	tekst PDF, én kolonne, Tysk	ja
Wikipedia (Arabic): One Thousand and One Nights	CC BY-SA 4.0 (text); images under their own licences	tekst PDF, én kolonne, Arabisk, høyre-til-venstre	ja
Wikipedia (Japanese): The Tale of Genji	CC BY-SA 4.0 (text); images under their own licences	tekst PDF, én kolonne, Japansk, CJK	ja
OLMo paper (arXiv 2402.00838)	CC BY 4.0	tekst PDF, to kolonner, tabeller, fotnoter, figurer, akademisk artikkel	ja
Mistral 7B paper (arXiv 2310.06825)	CC BY 4.0	tekst PDF, én kolonne, figurer, akademisk artikkel, kort	ja
QLoRA paper (arXiv 2305.14314)	CC BY 4.0	tekst PDF, én kolonne, tabeller, fotnoter, akademisk artikkel, lang	ja
Federal Register document 2026-22443	Public domain (work of the U.S. Government)	tekst PDF, tre kolonner, gjentatte overskrifter, fotnoter	ja
The 9/11 Commission Report (GPO)	Public domain (work of the U.S. Government)	tekst PDF, bok, kapitler, gjentatte overskrifter, sluttnoter, lang, lastetest	nei
The Constitution of the United States (House Document 110-50)	Public domain (work of the U.S. Government)	tekst PDF, bok, gjentatte overskrifter, innholdsfortegnelse	nei
Economic Report of the President 2024	Public domain (work of the U.S. Government)	tekst PDF, bok, tabeller, diagrammer, bokser, fotnoter, lang	nei
Calculus textbook typeset in LaTeX (Project Gutenberg #33283)	Public domain in the U.S. (Project Gutenberg; its trademark only under its licence)	tekst PDF, bok, kapitler, gjentatte overskrifter, fotnoter, formler	ja
Alice's Adventures in Wonderland, 1867 printing (scan, Internet Archive)	Public domain (1867; University of Toronto scan on the Internet Archive)	skannet, OCR lag, bok, kapitler, illustrasjoner	ja
GAO report 24-106219	Public domain (U.S. Government work; GAO notes it may contain third-party copyrighted material)	tekst PDF, én kolonne, fotnoter, gjentatte overskrifter, figurer, tabeller, rapport	nei
Direct Preference Optimization paper (arXiv 2305.18290)	CC BY 4.0	tekst PDF, én kolonne, formler, fotnoter, akademisk artikkel	ja
EU AI Act, Regulation 2024/1689 (Spanish, EUR-Lex)	Reuse authorised, including commercial (Decision 2011/833/EU; EUR-Lex legal notice), © European Union	tekst PDF, én kolonne, gjentatte overskrifter, kapitler, Spansk, juridisk tekst	ja
Kids Online Safety Act bill, S. 1409 (line-numbered)	Public domain (work of the U.S. Government)	tekst PDF, én kolonne, linjenummer, juridisk tekst	ja
Agriculture in the United Kingdom 2024 (Defra)	Open Government Licence v3.0 (© Crown copyright)	tekst PDF, tabeller, underskrifter, rapport, Engelsk, hard	nei
Income in the United States: 2023 (Census P60-282)	Public domain (U.S. Government work, 17 U.S.C. §105)	tekst PDF, tabeller, figurer, innholdsfortegnelse, rapport, hard	nei
The Employment Situation, December 2024 (BLS)	Public domain (U.S. Government work, 17 U.S.C. §105)	tekst PDF, tabeller, flere nivåer overskrifter, hard	ja
IRS Form W-4 (2026)	Public domain (U.S. Government work, 17 U.S.C. §105)	tekst PDF, skjema, skjema felter, hard	nei
Instructions for Schedule C (IRS, 2025)	Public domain (U.S. Government work, 17 U.S.C. §105)	tekst PDF, to kolonner, 3-nivå innholdsfortegnelse, tabeller, hard	ja
NASA Artemis presentation slides (2023)	Public domain (NASA; NTRS: public use permitted)	tekst PDF, lysbilder, bilder, hard	nei
NASA Spinoff 2016 (magazine)	Text in the public domain (NASA); some images credited to third parties	tekst PDF, magasin, tre kolonner, bilder, hard	nei
Supreme Court opinion, Loper Bright v. Raimondo (22-451)	Public domain (U.S. Government work, 17 U.S.C. §105)	tekst PDF, fotnoter, juridisk tekst, gjentatte overskrifter, hard	ja
CRS report R45153: Statutory Interpretation	Public domain (U.S. Government work, per the report itself)	tekst PDF, fotnoter, juridisk tekst, hard	nei
arXiv paper 2610.39146	CC BY 4.0	tekst PDF, formler, akademisk artikkel, hard	ja
EU AI Act, Regulation 2024/1689 (Greek, EUR-Lex)	Reuse authorised, including commercial (Decision 2011/833/EU; EUR-Lex legal notice), © European Union	tekst PDF, Gresk, flere skript, juridisk tekst, hard	ja
NIST SP 800-53 Rev. 5 (security controls)	No copyright in the U.S. (NIST)	tekst PDF, 3-nivå innholdsfortegnelse, lang, tabeller, hard	nei
Code of Federal Regulations, Title 21, Vol. 1 (2024)	Public domain (U.S. Government work, 17 U.S.C. §105)	tekst PDF, to kolonner, lang, juridisk tekst, hard	nei
The Financial Crisis Inquiry Report (FCIC)	Public domain (U.S. Government work, 17 U.S.C. §105)	tekst PDF, bok, lang, mangler ToUnicode, hard	nei

Grenser for disse tallene

Marginlekkasjemetrikken er kun pålitelig for motorer som deler linjer som pdftotext -layout; det er ikke pålitelig for OpenDataLoader, pdf_oxide Markdown eller pdftotext uten -layout.
Wikipedia-referanser utelater tabeller og infobokser, så presisjonen er lav for hver motor på de dokumentene.
1867 Alice-skanningen sammenlignes med en annen utgave (Project Gutenberg, 1865): den er god for gjenhenting, ikke for nøyaktig presisjon. Den leses gjennom PDF's egen OCR lag: EpubCC's OCR kjører kun på skannede sider som ikke har tekstlag.
Tekstkvalitetsgjennomsnitt dekker kun dokumentene med en uavhengig referanseteks (HTML, Gutenberg tekst eller govinfo enkeltekst av det samme dokumentet, aldri utdata fra et annet verktøy) som hver motor fullførte. Resten rapporterer tid, minne, feilede sider, umappede glyfer og marginlekkasje.
Disse målingene måler utdraget tekst. De måler ikke kapittelgjenkjenning, fotnote-linking eller hvordan EPUB ser ut på en leser; EPUBCheck gyldighet rapporteres separat for vårt EPUB-utdata.
Calibre kjører med standardinnstillingene (ebook-convert, ingen justering). Teksten leses fra dens EPUB med en nøytral ekstraktor; vår EPUB som ble lest med den samme ekstraktoren er kontrollkolonnen, innen 0.006 av vår motors egen tekst på hvert dokument. På 1867 skanning fullførte ikke Calibre innen 15 minutter.
Syntetiske testdokumenter (laget av oss eller for oss å teste motoren) er utelatt fra de publiserte resultatene.

Data

Del