Referenční hodnota

Srovnávací test převodu PDF na EPUB

Name: EpubCC PDF text-extraction benchmark (2026-11-09)
Creator: EpubCC
Published: 2026-11-09
License: https://creativecommons.org/licenses/by/4.0/

Zkontrolujte soubory. Porovnejte výsledky.

V hodnocení EpubCC z 9. listopadu 2026 dosáhl motor EpubCC průměrného zpětného vyvolání 8-gramů 0.845 na 19 PDF s nezávislým referenčním textem, proti 0.726 pro Calibre a 0.755 pro pdftotext; 33 ze 33 EPUBů prošlo EPUBCheck bez chyb.

Aktualizováno: 9. listopadu 2026

Soubory podle typu dokumentu

Dokument	Dva sloupce	Tři sloupce	Poznámky pod čarou	Opakující se záhlaví	Kapitoly	Arabština (RTL)	Japonština	Španělština	Francouzština	Němčina	Grafy	Naskenováno	Obrázky zabalené	Nahlaste poznámky pod čarou	Nařízení EU	Rovnice	Čísla řádků
Zdroj PDF	soubor (PDF)	soubor (PDF)	soubor (PDF)	soubor (PDF)	soubor (PDF)	soubor (PDF)	soubor (PDF)	soubor (PDF)	soubor (PDF)	soubor (PDF)	soubor (PDF)	soubor (PDF)	soubor (PDF)	soubor (PDF)	soubor (PDF)	soubor (PDF)	soubor (PDF)
Výsledek EPUB	soubor (EPUB)	soubor (EPUB)	soubor (EPUB)	soubor (EPUB)	soubor (EPUB)	soubor (EPUB)	soubor (EPUB)	soubor (EPUB)	soubor (EPUB)	soubor (EPUB)	soubor (EPUB)	soubor (EPUB)	soubor (EPUB)	soubor (EPUB)	soubor (EPUB)	soubor (EPUB)	soubor (EPUB)
EPUBCheck chyby / upozornění	0 / 0	0 / 0	0 / 0	0 / 0	0 / 0	0 / 0	0 / 0	0 / 0	0 / 0	0 / 0	0 / 0	0 / 0	0 / 0	0 / 0	0 / 0	0 / 0	0 / 0

Metodologie

Stejný vstup. 33 PDF, každý v veřejné doméně nebo pod volnou licencí, zpracovány pomocí 10 enginů pro extrakci textu na November 9, 2026.
Automatizované hodnocení. 20 z PDF má nezávislý referenční text stejného dokumentu (HTML článku z Wikipedie nebo arXiv, text z Project Gutenberg nebo prostá textová edice govinfo), nikdy výstup z jiného nástroje. Kvalita textu je měřena vůči tomu pomocí n-gramových metrik.
Platný EPUB. Každý EPUB, který náš stroj vytvoří, je kontrolován s EPUBCheck: 33 z 33 nemělo žádné chyby.

4-gramová recall: Podíl 4-slovních sekvencí referenčního textu nalezených ve výstupu: obnovený obsah.
4-gramová přesnost: Podíl 4-slovních sekvencí výstupu nalezených v referenci: obsah, který patří.
8-gramová recall: Jako zpětná vazba 4-gram s 8 slovy: klesá, když pořadí čtení nebo spojení řádků přeruší věty (kontinuita).
Sloučená slova / 1 000: Slova přilepená k jejich sousedům, na každých 1 000 slov.
Rozdělená slova / 1 000: Slova rozdělená na dva, na každých 1 000 slov.
Únik okrajů: Podíl opakovaných běžících nadpisů, záhlaví a čísel stránek ponechaných v textu.
Nezmapované glyfy / 1 000: Znaky hlášené jako U+FFFD, protože PDF pro ně nemá Unicode. Hlášené, nikdy skryté: vyšší číslo může znamenat, že stroj je upřímný ohledně problému, který jiní tiše opomíjejí.
Sekundy: Čas strávený dokumentem.
Maximální MB: Místní odkazy, které nikdy nebyly vyplněny.

Výsledky: průměr za každý engine

Metriky textu jsou prostředky nad 20 dokumenty s odkazem; únik okraje a nezmapované glyfy nad dokumenty, kde se vztahují. Sekundy jsou celkové pro všechny 33 dokumenty; vrcholový MB je nejvyšší jednotlivá hodnota.
Stroj	Verze	Licence	4-gramová recall	4-gramová přesnost	8-gramová recall	Sloučená slova / 1 000	Rozdělená slova / 1 000	Únik okrajů	Nezmapované glyfy / 1 000	Sekundy	Maximální MB
EpubCC engine (EPUB output) Text změřený uvnitř EPUB, který uživatel stahuje; čas a paměť zahrnují psaní EPUB.	EpubCC engine, commit cb3df10 (2026-11-09)	Ours	0.917	0.758	0.845	1.459	0.789	0.059	2.400	114.5	469
EpubCC engine (plain text) Stejný layout engine před EPUB psaním.	EpubCC engine, commit cb3df10 (2026-11-09)	Ours	0.909	0.733	0.829	1.448	1.818	0.881	2.290	15.5	115
pdf_oxide · extract_text	pdf_oxide 0.3.78	MIT OR Apache-2.0	0.853	0.685	0.740	2.936	1.464	0.829	0.683	14.4	270
pdf_oxide · to_plain_text (XY-cut)	pdf_oxide 0.3.78	MIT OR Apache-2.0	0.831	0.666	0.694	2.753	1.760	0.797	0.680	15.9	272
pdf_oxide · Markdown	pdf_oxide 0.3.78	MIT OR Apache-2.0	0.821	0.657	0.692	4.445	3.638	0.108	0.478	21.5	272
PDFium · text().all()	pdfium-render 0.9.5, PDFium chromium/8125	BSD-3-Clause / Apache-2.0	0.846	0.674	0.756	1.094	2.879	0.963	3.803	6.5	100
OpenDataLoader PDF (local mode) Reference pro heuristiky; vyloučeno jako motor pro jeho použití paměti.	opendataloader-pdf 2.5.17	Apache-2.0	0.818	0.664	0.734	1.474	0.373	0.044	0.439	76.3	1329
pdftotext (Poppler) Měřicí tyč pouze: GPL software nikdy není dodáván v EpubCC.	Poppler 25.09.1	GPL	0.853	0.680	0.755	1.318	1.040	0.230	3.045	9.0	36
Calibre · ebook-convert (EPUB output) Výchozí nastavení, žádné ladění. Text je převzat z jeho EPUB se stejným extraktorem jako kontrolní sloupec. Měřicí nástroj pouze: GPL software není nikdy dodáván v EpubCC.	calibre 9.17.0	GPL-3.0	0.852	0.683	0.726	1.045	2.629	0.694	3.746	460.2	592
EpubCC engine (EPUB, same extractor as Calibre) Kontrola: náš EPUB byl přečten extraktorem použitým pro Calibre, takže oba EPUBy jsou měřeny stejným způsobem.	EpubCC engine, same run	Ours	0.917	0.758	0.845	1.459	0.789	0.062	2.413	109.8	515

EpubCC vs Calibre, dokument po dokumentu

Oba EPUBy byly přečteny stejným extraktorem. Calibre s výchozím nastavením.

0.845 vs 0.726 průměrná paměť 8-gramu na stejných 19 dokumentech
33/33 vs 16/32 EPUBy bez chyb EPUBCheck
0.059 vs 0.694 podíl běžících záhlaví a číslic stránek zanechaných v textu
113 s vs 460 s celkový čas převodu

Calibre je lepší na 3 z nich; ty první uvádíme v seznamu. Calibre nedokončil za 15 minut: Alice's Adventures in Wonderland, 1867 printing (scan, Internet Archive).

Dokument	EpubCC	Calibre	Chyby EPUBCheck (EpubCC / Calibre)
The Employment Situation, December 2024 (BLS)	0.929	0.937	0 / 0
Wikipedia (Arabic): One Thousand and One Nights	0.819	0.824	0 / 4
Mistral 7B paper (arXiv 2310.06825)	0.774	0.779	0 / 15
EU AI Act, Regulation 2024/1689 (Spanish, EUR-Lex)	0.988	0.987	0 / 8
EU AI Act, Regulation 2024/1689 (Greek, EUR-Lex)	0.987	0.986	0 / 6
Wikipedia (German): Johann Wolfgang von Goethe	0.862	0.853	0 / 0
QLoRA paper (arXiv 2305.14314)	0.861	0.851	0 / 39
Wikipedia (English): Alice's Adventures in Wonderland	0.778	0.763	0 / 9
Wikipedia (Spanish): Don Quijote de la Mancha	0.956	0.938	0 / 0
Calculus textbook typeset in LaTeX (Project Gutenberg #33283)	0.517	0.499	0 / 2
arXiv paper 2610.39146	0.486	0.461	0 / 6
Wikipedia (Japanese): The Tale of Genji	0.964	0.939	0 / 20
Wikipedia (French): Les Misérables	0.840	0.788	0 / 16
Direct Preference Optimization paper (arXiv 2305.18290)	0.837	0.777	0 / 37
Instructions for Schedule C (IRS, 2025)	0.917	0.784	0 / 0
Supreme Court opinion, Loper Bright v. Raimondo (22-451)	0.981	0.782	0 / 0
OLMo paper (arXiv 2402.00838)	0.892	0.640	0 / 27
Kids Online Safety Act bill, S. 1409 (line-numbered)	0.810	0.084	0 / 0
Federal Register document 2026-22443	0.851	0.121	0 / 0
The 9/11 Commission Report (GPO)	—	—	0 / 1
The Constitution of the United States (House Document 110-50)	—	—	0 / 0
Economic Report of the President 2024	—	—	0 / 9
GAO report 24-106219	—	—	0 / 0
Agriculture in the United Kingdom 2024 (Defra)	—	—	0 / 0
Income in the United States: 2023 (Census P60-282)	—	—	0 / 0
IRS Form W-4 (2026)	—	—	0 / 0
NASA Artemis presentation slides (2023)	—	—	0 / 0
NASA Spinoff 2016 (magazine)	—	—	0 / 0
CRS report R45153: Statutory Interpretation	—	—	0 / 25
NIST SP 800-53 Rev. 5 (security controls)	—	—	0 / 2419
Code of Federal Regulations, Title 21, Vol. 1 (2024)	—	—	0 / 0
The Financial Crisis Inquiry Report (FCIC)	—	—	0 / 0
Alice's Adventures in Wonderland, 1867 printing (scan, Internet Archive)	0.579	nedokončil	0 / —

Paměť 8-gramu potřebuje nezávislý referenční text; dokumenty bez něj ukazují —. Calibre je GPL software, který používáme pouze k měření; nikdy není součástí EpubCC.

Kde jiné motory porážejí náš

Dokumenty, kde má jiný strojový model 8-gramové odvolání více než 0,02 nad naším EPUB výstupem. Tyto dokumenty zveřejňujeme, protože na nich budeme pracovat dál.

Wikipedia (English): Alice's Adventures in Wonderland: pdf_oxide · extract_text 0.800 · EpubCC 0.778
Wikipedia (French): Les Misérables: pdf_oxide · extract_text 0.903 · EpubCC 0.841
Mistral 7B paper (arXiv 2310.06825): PDFium · text().all() 0.872 · EpubCC 0.777
QLoRA paper (arXiv 2305.14314): OpenDataLoader PDF (local mode) 0.917 · EpubCC 0.863
Alice's Adventures in Wonderland, 1867 printing (scan, Internet Archive): PDFium · text().all() 0.651 · EpubCC 0.579
Direct Preference Optimization paper (arXiv 2305.18290): OpenDataLoader PDF (local mode) 0.860 · EpubCC 0.839
The Employment Situation, December 2024 (BLS): PDFium · text().all() 0.958 · EpubCC 0.929

Výsledky podle dokumentu (8-gramová přesnost)

Nejlepší hodnota na řádek tučným písmem. — znamená, že pro tento dokument není žádný referenční text.
Dokument	Stránky	EpubCC engine (EPUB output)	EpubCC engine (plain text)	pdf_oxide · extract_text	pdf_oxide · to_plain_text (XY-cut)	pdf_oxide · Markdown	PDFium · text().all()	OpenDataLoader PDF (local mode)	pdftotext (Poppler)	Calibre · ebook-convert (EPUB output)	EpubCC engine (EPUB, same extractor as Calibre)
Wikipedia (English): Alice's Adventures in Wonderland	24	0.778	0.771	0.800	0.800	0.672	0.774	0.781	0.769	0.763	0.778
Wikipedia (Spanish): Don Quijote de la Mancha	50	0.956	0.942	0.963	0.963	0.857	0.945	0.954	0.944	0.938	0.956
Wikipedia (French): Les Misérables	22	0.841	0.833	0.903	0.903	0.751	0.884	0.891	0.846	0.788	0.840
Wikipedia (German): Johann Wolfgang von Goethe	86	0.862	0.856	0.877	0.877	0.758	0.854	0.862	0.853	0.853	0.862
Wikipedia (Arabic): One Thousand and One Nights	17	0.819	0.812	0.315	0.315	0.273	0.001	0.000	0.659	0.824	0.819
Wikipedia (Japanese): The Tale of Genji	67	0.964	0.963	0.970	0.970	0.797	0.952	0.942	0.965	0.939	0.964
OLMo paper (arXiv 2402.00838)	21	0.893	0.891	0.854	0.273	0.719	0.761	0.820	0.781	0.640	0.892
Mistral 7B paper (arXiv 2310.06825)	9	0.777	0.774	0.767	0.778	0.800	0.872	0.859	0.821	0.779	0.774
QLoRA paper (arXiv 2305.14314)	26	0.863	0.860	0.817	0.852	0.868	0.908	0.917	0.770	0.851	0.861
Federal Register document 2026-22443	45	0.857	0.853	0.334	0.035	0.339	0.859	0.801	0.835	0.121	0.851
The 9/11 Commission Report (GPO)	585	—	—	—	—	—	—	—	—	—	—
The Constitution of the United States (House Document 110-50)	85	—	—	—	—	—	—	—	—	—	—
Economic Report of the President 2024	487	—	—	—	—	—	—	—	—	—	—
Calculus textbook typeset in LaTeX (Project Gutenberg #33283)	292	0.517	0.498	0.479	0.496	0.481	0.494	0.533	0.511	0.499	0.517
Alice's Adventures in Wonderland, 1867 printing (scan, Internet Archive)	212	0.579	0.544	0.632	0.639	0.524	0.651	0.625	0.156	—	0.579
GAO report 24-106219	58	—	—	—	—	—	—	—	—	—	—
Direct Preference Optimization paper (arXiv 2305.18290)	27	0.839	0.833	0.780	0.777	0.807	0.838	0.860	0.827	0.777	0.837
EU AI Act, Regulation 2024/1689 (Spanish, EUR-Lex)	144	0.988	0.983	0.988	0.988	0.988	0.989	0.996	0.986	0.987	0.988
Kids Online Safety Act bill, S. 1409 (line-numbered)	50	0.810	0.608	0.184	0.089	0.511	0.088	0.088	0.101	0.084	0.810
Agriculture in the United Kingdom 2024 (Defra)	194	—	—	—	—	—	—	—	—	—	—
Income in the United States: 2023 (Census P60-282)	59	—	—	—	—	—	—	—	—	—	—
The Employment Situation, December 2024 (BLS)	42	0.929	0.939	0.882	0.882	0.521	0.958	0.358	0.348	0.937	0.929
IRS Form W-4 (2026)	5	—	—	—	—	—	—	—	—	—	—
Instructions for Schedule C (IRS, 2025)	19	0.917	0.911	0.933	0.933	0.850	0.933	0.825	0.912	0.784	0.917
NASA Artemis presentation slides (2023)	33	—	—	—	—	—	—	—	—	—	—
NASA Spinoff 2016 (magazine)	242	—	—	—	—	—	—	—	—	—	—
Supreme Court opinion, Loper Bright v. Raimondo (22-451)	114	0.977	0.966	0.779	0.779	0.717	0.779	0.976	0.966	0.782	0.981
CRS report R45153: Statutory Interpretation	65	—	—	—	—	—	—	—	—	—	—
arXiv paper 2610.39146	14	0.489	0.476	0.449	0.484	0.450	0.489	0.489	0.474	0.461	0.486
EU AI Act, Regulation 2024/1689 (Greek, EUR-Lex)	144	0.987	0.981	0.987	0.987	0.986	0.987	0.996	0.984	0.986	0.987
NIST SP 800-53 Rev. 5 (security controls)	492	—	—	—	—	—	—	—	—	—	—
Code of Federal Regulations, Title 21, Vol. 1 (2024)	643	—	—	—	—	—	—	—	—	—	—
The Financial Crisis Inquiry Report (FCIC)	663	—	—	—	—	—	—	—	—	—	—

Dokumenty a licence

Dokument	Licence	Vlastnosti	Referenční text
Wikipedia (English): Alice's Adventures in Wonderland	CC BY-SA 4.0 (text); images under their own licences	text PDF, jediný sloupec, obrázky, Angličtina	ano
Wikipedia (Spanish): Don Quijote de la Mancha	CC BY-SA 4.0 (text); images under their own licences	text PDF, jediný sloupec, obrázky, Španělština	ano
Wikipedia (French): Les Misérables	CC BY-SA 4.0 (text); images under their own licences	text PDF, jediný sloupec, Francouzština	ano
Wikipedia (German): Johann Wolfgang von Goethe	CC BY-SA 4.0 (text); images under their own licences	text PDF, jediný sloupec, Němčina	ano
Wikipedia (Arabic): One Thousand and One Nights	CC BY-SA 4.0 (text); images under their own licences	text PDF, jediný sloupec, Arabština, správně zleva doprava	ano
Wikipedia (Japanese): The Tale of Genji	CC BY-SA 4.0 (text); images under their own licences	text PDF, jediný sloupec, Japonština, CJK	ano
OLMo paper (arXiv 2402.00838)	CC BY 4.0	text PDF, dva sloupce, tabulky, poznámky pod čarou, obrázky, akademický článek	ano
Mistral 7B paper (arXiv 2310.06825)	CC BY 4.0	text PDF, jediný sloupec, obrázky, akademický článek, krátký	ano
QLoRA paper (arXiv 2305.14314)	CC BY 4.0	text PDF, jediný sloupec, tabulky, poznámky pod čarou, akademický článek, dlouhý	ano
Federal Register document 2026-22443	Public domain (work of the U.S. Government)	text PDF, tři sloupce, opakované hlavičky, poznámky pod čarou	ano
The 9/11 Commission Report (GPO)	Public domain (work of the U.S. Government)	text PDF, kniha, kapitoly, opakované hlavičky, poznámky na konci, dlouhý, test zatížení	ne
The Constitution of the United States (House Document 110-50)	Public domain (work of the U.S. Government)	text PDF, kniha, opakované hlavičky, obsahový seznam	ne
Economic Report of the President 2024	Public domain (work of the U.S. Government)	text PDF, kniha, tabulky, grafy, krabice, poznámky pod čarou, dlouhý	ne
Calculus textbook typeset in LaTeX (Project Gutenberg #33283)	Public domain in the U.S. (Project Gutenberg; its trademark only under its licence)	text PDF, kniha, kapitoly, opakované hlavičky, poznámky pod čarou, vzorce	ano
Alice's Adventures in Wonderland, 1867 printing (scan, Internet Archive)	Public domain (1867; University of Toronto scan on the Internet Archive)	naskenováno, OCR vrstva, kniha, kapitoly, ilustrace	ano
GAO report 24-106219	Public domain (U.S. Government work; GAO notes it may contain third-party copyrighted material)	text PDF, jediný sloupec, poznámky pod čarou, opakované hlavičky, obrázky, tabulky, zpráva	ne
Direct Preference Optimization paper (arXiv 2305.18290)	CC BY 4.0	text PDF, jediný sloupec, vzorce, poznámky pod čarou, akademický článek	ano
EU AI Act, Regulation 2024/1689 (Spanish, EUR-Lex)	Reuse authorised, including commercial (Decision 2011/833/EU; EUR-Lex legal notice), © European Union	text PDF, jediný sloupec, opakované hlavičky, kapitoly, Španělština, právní text	ano
Kids Online Safety Act bill, S. 1409 (line-numbered)	Public domain (work of the U.S. Government)	text PDF, jediný sloupec, čísla řádků, právní text	ano
Agriculture in the United Kingdom 2024 (Defra)	Open Government Licence v3.0 (© Crown copyright)	text PDF, tabulky, titulek, zpráva, Angličtina, těžký	ne
Income in the United States: 2023 (Census P60-282)	Public domain (U.S. Government work, 17 U.S.C. §105)	text PDF, tabulky, obrázky, obsahový seznam, zpráva, těžký	ne
The Employment Situation, December 2024 (BLS)	Public domain (U.S. Government work, 17 U.S.C. §105)	text PDF, tabulky, víceúrovňové záhlaví, těžký	ano
IRS Form W-4 (2026)	Public domain (U.S. Government work, 17 U.S.C. §105)	text PDF, formulář, formulářová pole, těžký	ne
Instructions for Schedule C (IRS, 2025)	Public domain (U.S. Government work, 17 U.S.C. §105)	text PDF, dva sloupce, tříúrovňový obsah, tabulky, těžký	ano
NASA Artemis presentation slides (2023)	Public domain (NASA; NTRS: public use permitted)	text PDF, prezentace, obrázky, těžký	ne
NASA Spinoff 2016 (magazine)	Text in the public domain (NASA); some images credited to third parties	text PDF, časopis, tři sloupce, obrázky, těžký	ne
Supreme Court opinion, Loper Bright v. Raimondo (22-451)	Public domain (U.S. Government work, 17 U.S.C. §105)	text PDF, poznámky pod čarou, právní text, opakované hlavičky, těžký	ano
CRS report R45153: Statutory Interpretation	Public domain (U.S. Government work, per the report itself)	text PDF, poznámky pod čarou, právní text, těžký	ne
arXiv paper 2610.39146	CC BY 4.0	text PDF, vzorce, akademický článek, těžký	ano
EU AI Act, Regulation 2024/1689 (Greek, EUR-Lex)	Reuse authorised, including commercial (Decision 2011/833/EU; EUR-Lex legal notice), © European Union	text PDF, řecký, několik skriptů, právní text, těžký	ano
NIST SP 800-53 Rev. 5 (security controls)	No copyright in the U.S. (NIST)	text PDF, tříúrovňový obsah, dlouhý, tabulky, těžký	ne
Code of Federal Regulations, Title 21, Vol. 1 (2024)	Public domain (U.S. Government work, 17 U.S.C. §105)	text PDF, dva sloupce, dlouhý, právní text, těžký	ne
The Financial Crisis Inquiry Report (FCIC)	Public domain (U.S. Government work, 17 U.S.C. §105)	text PDF, kniha, dlouhý, chybějící ToUnicode, těžký	ne

Omezení těchto čísel

Metrika úniku okrajů je spolehlivá pouze pro motory, které dělí řádky jako pdftotext -layout; není spolehlivá pro OpenDataLoader, pdf_oxide Markdown nebo pdftotext bez -layout.
Odkazy z Wikipedie vynechávají tabulky a infoboxy, takže přesnost je nízká pro každý systém na těchto dokumentech.
Skener z roku 1867 se srovnává s jinou edicí (Project Gutenberg, 1865): je dobrý pro zapamatování, ne pro přesnost. Je přečten přes vlastní PDF vrstvy OCR: EpubCC OCR běží pouze na naskenovaných stránkách, které nemají textovou vrstvu.
Průměry kvality textu pokrývají pouze dokumenty s nezávislým referenčním textem (HTML, Gutenbergův text nebo plain text govinfo téhož dokumentu, nikdy výstup jiného nástroje), které každý engin dokončil. Ostatní hlásí čas, paměť, neúspěšné stránky, nemapované glyfy a únik okrajů.
Tyto metriky měří extrahovaný text. Neměří detekci kapitol, propojení poznámek pod čarou ani to, jak EPUB vypadá na čtečce; platnost EPUBCheck je hlášena zvlášť pro náš výstup EPUB.
Calibre běží s výchozím nastavením (ebook-convert, žádné ladění). Jeho text je čten z jeho EPUB s neutrálním extraktorem; náš EPUB, přečtený stejným extraktorem, je kontrolní sloupec, v rámci 0.006 vlastního textu našeho enginu v každém dokumentu. U skenu z roku 1867 Calibre nedokončil za 15 minut.
Syntetické testovací dokumenty (vyrobené námi nebo pro nás k testování enginu) jsou v publikovaných výsledcích vynechány.

Data

Sdílet