Referință

Benchmark de conversie PDF la EPUB

Name: EpubCC PDF text-extraction benchmark (2026-11-09)
Creator: EpubCC
Published: 2026-11-09
License: https://creativecommons.org/licenses/by/4.0/

Verifică fișierele. Compară rezultatele.

În evaluarea EpubCC din 9 noiembrie 2026, motorul EpubCC a atins o rată medie de rechemare de 8 grame de 0.845 pe 19 PDF-uri cu un text de referință independent, în comparație cu 0.726 pentru Calibre și 0.755 pentru pdftotext; 33 din cele 33 EPUB-uri au trecut EPUBCheck fără erori.

Actualizat: 9 Noiembrie 2026

Fișierele, după tipul de document

Document	Două coloane	Trei coloane	Note de subsol	Antete repetate	Capitole	Arabă (RTL)	Japoneză	Spaniolă	Franceză	Germană	Grafice	Scanat	Imagini înfășurate	Raportează notele de subsol	regulament european	Ecuații	Numerele de linie
Sursa PDF	fișier (PDF)	fișier (PDF)	fișier (PDF)	fișier (PDF)	fișier (PDF)	fișier (PDF)	fișier (PDF)	fișier (PDF)	fișier (PDF)	fișier (PDF)	fișier (PDF)	fișier (PDF)	fișier (PDF)	fișier (PDF)	fișier (PDF)	fișier (PDF)	fișier (PDF)
Rezultat EPUB	fișier (EPUB)	fișier (EPUB)	fișier (EPUB)	fișier (EPUB)	fișier (EPUB)	fișier (EPUB)	fișier (EPUB)	fișier (EPUB)	fișier (EPUB)	fișier (EPUB)	fișier (EPUB)	fișier (EPUB)	fișier (EPUB)	fișier (EPUB)	fișier (EPUB)	fișier (EPUB)	fișier (EPUB)
EPUBCheck erori / avertizări	0 / 0	0 / 0	0 / 0	0 / 0	0 / 0	0 / 0	0 / 0	0 / 0	0 / 0	0 / 0	0 / 0	0 / 0	0 / 0	0 / 0	0 / 0	0 / 0	0 / 0

Metodologie

Același input. 33 PDF-uri, fiecare în domeniul public sau sub o licență gratuită, procesate prin 10 motoare de extragere a textului pe November 9, 2026.
Evaluare automatizată. 20 din PDF-uri au un text de referință independent al aceluiași document (HTML-ul articolului de pe Wikipedia sau arXiv, textul Project Gutenberg sau ediția de text simplu de pe govinfo), niciodată ieșirea unui alt instrument. Calitatea textului este măsurată în raport cu acesta folosind metrici n-gram.
EPUB valid. Fiecare EPUB pe care motorul nostru îl scrie este verificat cu EPUBCheck: 33 din 33 nu a avut erori.

recall 4-gram: Procentajul secvențelor de 4 cuvinte din textul de referință găsite în ieșire: conținut recuperat.
precizie 4-gram: Procentajul secvențelor de 4 cuvinte din ieșire găsite în referință: conținut care aparține.
recall 8-gram: Asemănător recoltării cu 4-gram cu 8 cuvinte: scade când ordinea citirii sau combinațiile de linii sparg propozițiile (continuitate).
Cuvinte unite / 1,000: Cuvinte lipite de vecin, per 1,000 cuvinte.
Cuvinte rupte / 1,000: Cuvinte rupte în două, per 1,000 cuvinte.
Scurgere de margine: Procentajul antetelor, subsolurilor și numerelor de pagină repetate lăsate în text.
Glyph-uri ne-mape / 1,000: Caracterele raportate ca U+FFFD pentru că PDF nu are Unicode pentru ele. Raportați, niciodată ascunse: un număr mai mare poate însemna că motorul este sincer cu privire la o problemă pe care altele o ignoră în tăcere.
Secunde: Timpul efectiv pentru document.
MB vârf: Memorie maximă.

Rezultate: medie pe motor

Metricele de text sunt medii pe documentele 20 cu o referință; scurgerile de margine și glyph-urile nefăcute pe documentele unde se aplică. Secundele sunt totalul pentru toate documentele 33; MB-ul maxim este cea mai mare valoare individuală.
Motor	Versiune	Licență	recall 4-gram	precizie 4-gram	recall 8-gram	Cuvinte unite / 1,000	Cuvinte rupte / 1,000	Scurgere de margine	Glyph-uri ne-mape / 1,000	Secunde	MB vârf
EpubCC engine (EPUB output) Text măsurat în EPUB pe care utilizatorul îl descarcă; timpul și memoria includ scrierea EPUB.	EpubCC engine, commit cb3df10 (2026-11-09)	Ours	0.917	0.758	0.845	1.459	0.789	0.059	2.400	114.5	469
EpubCC engine (plain text) Același motor de aranjare înainte de EPUB scriere.	EpubCC engine, commit cb3df10 (2026-11-09)	Ours	0.909	0.733	0.829	1.448	1.818	0.881	2.290	15.5	115
pdf_oxide · extract_text	pdf_oxide 0.3.78	MIT OR Apache-2.0	0.853	0.685	0.740	2.936	1.464	0.829	0.683	14.4	270
pdf_oxide · to_plain_text (XY-cut)	pdf_oxide 0.3.78	MIT OR Apache-2.0	0.831	0.666	0.694	2.753	1.760	0.797	0.680	15.9	272
pdf_oxide · Markdown	pdf_oxide 0.3.78	MIT OR Apache-2.0	0.821	0.657	0.692	4.445	3.638	0.108	0.478	21.5	272
PDFium · text().all()	pdfium-render 0.9.5, PDFium chromium/8125	BSD-3-Clause / Apache-2.0	0.846	0.674	0.756	1.094	2.879	0.963	3.803	6.5	100
OpenDataLoader PDF (local mode) Referință pentru heuristici; exclus ca motor pentru utilizarea sa a memoriei.	opendataloader-pdf 2.5.17	Apache-2.0	0.818	0.664	0.734	1.474	0.373	0.044	0.439	76.3	1329
pdftotext (Poppler) Bara de măsurare doar: software GPL nu este niciodată livrat în EpubCC.	Poppler 25.09.1	GPL	0.853	0.680	0.755	1.318	1.040	0.230	3.045	9.0	36
Calibre · ebook-convert (EPUB output) Setări implicite, fără ajustări. Text luat din EPUB cu același extractor ca coloana de control. Instrument de măsurare doar: software-ul GPL nu este niciodată livrat în EpubCC.	calibre 9.17.0	GPL-3.0	0.852	0.683	0.726	1.045	2.629	0.694	3.746	460.2	592
EpubCC engine (EPUB, same extractor as Calibre) Control: EPUB al nostru citit cu extractorul utilizat pentru Calibre, astfel încât ambele EPUB-uri sunt măsurate în același mod.	EpubCC engine, same run	Ours	0.917	0.758	0.845	1.459	0.789	0.062	2.413	109.8	515

EpubCC vs Calibre, document cu document

Ambele EPUB-uri sunt citite cu același extractor. Calibre cu setările sale implicite.

0.845 vs 0.726 media de recuperare 8-gram pe aceleași documente 19
33/33 vs 16/32 EPUB-uri fără erori EPUBCheck
0.059 vs 0.694 procentul antetelor de rulare și numerele de pagină rămase în text
113 s vs 460 s timp total de conversie

Calibre este mai bun pe 3 dintre ele; le listăm pe cele întâi. Calibre nu a terminat în 15 minute: Alice's Adventures in Wonderland, 1867 printing (scan, Internet Archive).

Document	EpubCC	Calibre	erori EPUBCheck (EpubCC / Calibre)
The Employment Situation, December 2024 (BLS)	0.929	0.937	0 / 0
Wikipedia (Arabic): One Thousand and One Nights	0.819	0.824	0 / 4
Mistral 7B paper (arXiv 2310.06825)	0.774	0.779	0 / 15
EU AI Act, Regulation 2024/1689 (Spanish, EUR-Lex)	0.988	0.987	0 / 8
EU AI Act, Regulation 2024/1689 (Greek, EUR-Lex)	0.987	0.986	0 / 6
Wikipedia (German): Johann Wolfgang von Goethe	0.862	0.853	0 / 0
QLoRA paper (arXiv 2305.14314)	0.861	0.851	0 / 39
Wikipedia (English): Alice's Adventures in Wonderland	0.778	0.763	0 / 9
Wikipedia (Spanish): Don Quijote de la Mancha	0.956	0.938	0 / 0
Calculus textbook typeset in LaTeX (Project Gutenberg #33283)	0.517	0.499	0 / 2
arXiv paper 2610.39146	0.486	0.461	0 / 6
Wikipedia (Japanese): The Tale of Genji	0.964	0.939	0 / 20
Wikipedia (French): Les Misérables	0.840	0.788	0 / 16
Direct Preference Optimization paper (arXiv 2305.18290)	0.837	0.777	0 / 37
Instructions for Schedule C (IRS, 2025)	0.917	0.784	0 / 0
Supreme Court opinion, Loper Bright v. Raimondo (22-451)	0.981	0.782	0 / 0
OLMo paper (arXiv 2402.00838)	0.892	0.640	0 / 27
Kids Online Safety Act bill, S. 1409 (line-numbered)	0.810	0.084	0 / 0
Federal Register document 2026-22443	0.851	0.121	0 / 0
The 9/11 Commission Report (GPO)	—	—	0 / 1
The Constitution of the United States (House Document 110-50)	—	—	0 / 0
Economic Report of the President 2024	—	—	0 / 9
GAO report 24-106219	—	—	0 / 0
Agriculture in the United Kingdom 2024 (Defra)	—	—	0 / 0
Income in the United States: 2023 (Census P60-282)	—	—	0 / 0
IRS Form W-4 (2026)	—	—	0 / 0
NASA Artemis presentation slides (2023)	—	—	0 / 0
NASA Spinoff 2016 (magazine)	—	—	0 / 0
CRS report R45153: Statutory Interpretation	—	—	0 / 25
NIST SP 800-53 Rev. 5 (security controls)	—	—	0 / 2419
Code of Federal Regulations, Title 21, Vol. 1 (2024)	—	—	0 / 0
The Financial Crisis Inquiry Report (FCIC)	—	—	0 / 0
Alice's Adventures in Wonderland, 1867 printing (scan, Internet Archive)	0.579	nu a terminat	0 / —

recall-ul 8-gram necesită un text de referință independent; documentele fără unul arată —. Calibre este software GPL pe care-l rulăm doar pentru măsurare; nu este niciodată parte din EpubCC.

Unde alte motoare ne depășesc

Documentele în care recall-ul de 8-gram al altui motor este cu mai mult de 0.02 peste ieșirea noastră EPUB. Le publicăm pentru că sunt cele pe care lucrăm în continuare.

Wikipedia (English): Alice's Adventures in Wonderland: pdf_oxide · extract_text 0.800 · EpubCC 0.778
Wikipedia (French): Les Misérables: pdf_oxide · extract_text 0.903 · EpubCC 0.841
Mistral 7B paper (arXiv 2310.06825): PDFium · text().all() 0.872 · EpubCC 0.777
QLoRA paper (arXiv 2305.14314): OpenDataLoader PDF (local mode) 0.917 · EpubCC 0.863
Alice's Adventures in Wonderland, 1867 printing (scan, Internet Archive): PDFium · text().all() 0.651 · EpubCC 0.579
Direct Preference Optimization paper (arXiv 2305.18290): OpenDataLoader PDF (local mode) 0.860 · EpubCC 0.839
The Employment Situation, December 2024 (BLS): PDFium · text().all() 0.958 · EpubCC 0.929

Rezultate pe document (recall 8-gram)

Cea mai bună valoare pe rând cu bold. — înseamnă fără text de referință pentru acel document.
Document	Pagini	EpubCC engine (EPUB output)	EpubCC engine (plain text)	pdf_oxide · extract_text	pdf_oxide · to_plain_text (XY-cut)	pdf_oxide · Markdown	PDFium · text().all()	OpenDataLoader PDF (local mode)	pdftotext (Poppler)	Calibre · ebook-convert (EPUB output)	EpubCC engine (EPUB, same extractor as Calibre)
Wikipedia (English): Alice's Adventures in Wonderland	24	0.778	0.771	0.800	0.800	0.672	0.774	0.781	0.769	0.763	0.778
Wikipedia (Spanish): Don Quijote de la Mancha	50	0.956	0.942	0.963	0.963	0.857	0.945	0.954	0.944	0.938	0.956
Wikipedia (French): Les Misérables	22	0.841	0.833	0.903	0.903	0.751	0.884	0.891	0.846	0.788	0.840
Wikipedia (German): Johann Wolfgang von Goethe	86	0.862	0.856	0.877	0.877	0.758	0.854	0.862	0.853	0.853	0.862
Wikipedia (Arabic): One Thousand and One Nights	17	0.819	0.812	0.315	0.315	0.273	0.001	0.000	0.659	0.824	0.819
Wikipedia (Japanese): The Tale of Genji	67	0.964	0.963	0.970	0.970	0.797	0.952	0.942	0.965	0.939	0.964
OLMo paper (arXiv 2402.00838)	21	0.893	0.891	0.854	0.273	0.719	0.761	0.820	0.781	0.640	0.892
Mistral 7B paper (arXiv 2310.06825)	9	0.777	0.774	0.767	0.778	0.800	0.872	0.859	0.821	0.779	0.774
QLoRA paper (arXiv 2305.14314)	26	0.863	0.860	0.817	0.852	0.868	0.908	0.917	0.770	0.851	0.861
Federal Register document 2026-22443	45	0.857	0.853	0.334	0.035	0.339	0.859	0.801	0.835	0.121	0.851
The 9/11 Commission Report (GPO)	585	—	—	—	—	—	—	—	—	—	—
The Constitution of the United States (House Document 110-50)	85	—	—	—	—	—	—	—	—	—	—
Economic Report of the President 2024	487	—	—	—	—	—	—	—	—	—	—
Calculus textbook typeset in LaTeX (Project Gutenberg #33283)	292	0.517	0.498	0.479	0.496	0.481	0.494	0.533	0.511	0.499	0.517
Alice's Adventures in Wonderland, 1867 printing (scan, Internet Archive)	212	0.579	0.544	0.632	0.639	0.524	0.651	0.625	0.156	—	0.579
GAO report 24-106219	58	—	—	—	—	—	—	—	—	—	—
Direct Preference Optimization paper (arXiv 2305.18290)	27	0.839	0.833	0.780	0.777	0.807	0.838	0.860	0.827	0.777	0.837
EU AI Act, Regulation 2024/1689 (Spanish, EUR-Lex)	144	0.988	0.983	0.988	0.988	0.988	0.989	0.996	0.986	0.987	0.988
Kids Online Safety Act bill, S. 1409 (line-numbered)	50	0.810	0.608	0.184	0.089	0.511	0.088	0.088	0.101	0.084	0.810
Agriculture in the United Kingdom 2024 (Defra)	194	—	—	—	—	—	—	—	—	—	—
Income in the United States: 2023 (Census P60-282)	59	—	—	—	—	—	—	—	—	—	—
The Employment Situation, December 2024 (BLS)	42	0.929	0.939	0.882	0.882	0.521	0.958	0.358	0.348	0.937	0.929
IRS Form W-4 (2026)	5	—	—	—	—	—	—	—	—	—	—
Instructions for Schedule C (IRS, 2025)	19	0.917	0.911	0.933	0.933	0.850	0.933	0.825	0.912	0.784	0.917
NASA Artemis presentation slides (2023)	33	—	—	—	—	—	—	—	—	—	—
NASA Spinoff 2016 (magazine)	242	—	—	—	—	—	—	—	—	—	—
Supreme Court opinion, Loper Bright v. Raimondo (22-451)	114	0.977	0.966	0.779	0.779	0.717	0.779	0.976	0.966	0.782	0.981
CRS report R45153: Statutory Interpretation	65	—	—	—	—	—	—	—	—	—	—
arXiv paper 2610.39146	14	0.489	0.476	0.449	0.484	0.450	0.489	0.489	0.474	0.461	0.486
EU AI Act, Regulation 2024/1689 (Greek, EUR-Lex)	144	0.987	0.981	0.987	0.987	0.986	0.987	0.996	0.984	0.986	0.987
NIST SP 800-53 Rev. 5 (security controls)	492	—	—	—	—	—	—	—	—	—	—
Code of Federal Regulations, Title 21, Vol. 1 (2024)	643	—	—	—	—	—	—	—	—	—	—
The Financial Crisis Inquiry Report (FCIC)	663	—	—	—	—	—	—	—	—	—	—

Documente și licențe

Document	Licență	Trăsături	Text de referință
Wikipedia (English): Alice's Adventures in Wonderland	CC BY-SA 4.0 (text); images under their own licences	text PDF, o coloană, imagini, Engleză	da
Wikipedia (Spanish): Don Quijote de la Mancha	CC BY-SA 4.0 (text); images under their own licences	text PDF, o coloană, imagini, Spaniolă	da
Wikipedia (French): Les Misérables	CC BY-SA 4.0 (text); images under their own licences	text PDF, o coloană, Franceză	da
Wikipedia (German): Johann Wolfgang von Goethe	CC BY-SA 4.0 (text); images under their own licences	text PDF, o coloană, Germană	da
Wikipedia (Arabic): One Thousand and One Nights	CC BY-SA 4.0 (text); images under their own licences	text PDF, o coloană, Arabă, de la dreapta la stânga	da
Wikipedia (Japanese): The Tale of Genji	CC BY-SA 4.0 (text); images under their own licences	text PDF, o coloană, Japoneză, CJK	da
OLMo paper (arXiv 2402.00838)	CC BY 4.0	text PDF, două coloane, tabele, note de subsol, figuri, articol academic	da
Mistral 7B paper (arXiv 2310.06825)	CC BY 4.0	text PDF, o coloană, figuri, articol academic, scurt	da
QLoRA paper (arXiv 2305.14314)	CC BY 4.0	text PDF, o coloană, tabele, note de subsol, articol academic, lung	da
Federal Register document 2026-22443	Public domain (work of the U.S. Government)	text PDF, trei coloane, antete repetate, note de subsol	da
The 9/11 Commission Report (GPO)	Public domain (work of the U.S. Government)	text PDF, carte, capitole, antete repetate, note de subsol, lung, test de încărcare	nu
The Constitution of the United States (House Document 110-50)	Public domain (work of the U.S. Government)	text PDF, carte, antete repetate, tabloul de conținuturi	nu
Economic Report of the President 2024	Public domain (work of the U.S. Government)	text PDF, carte, tabele, grafice, cărți, note de subsol, lung	nu
Calculus textbook typeset in LaTeX (Project Gutenberg #33283)	Public domain in the U.S. (Project Gutenberg; its trademark only under its licence)	text PDF, carte, capitole, antete repetate, note de subsol, formule	da
Alice's Adventures in Wonderland, 1867 printing (scan, Internet Archive)	Public domain (1867; University of Toronto scan on the Internet Archive)	scanat, stratul OCR, carte, capitole, ilustrații	da
GAO report 24-106219	Public domain (U.S. Government work; GAO notes it may contain third-party copyrighted material)	text PDF, o coloană, note de subsol, antete repetate, figuri, tabele, raport	nu
Direct Preference Optimization paper (arXiv 2305.18290)	CC BY 4.0	text PDF, o coloană, formule, note de subsol, articol academic	da
EU AI Act, Regulation 2024/1689 (Spanish, EUR-Lex)	Reuse authorised, including commercial (Decision 2011/833/EU; EUR-Lex legal notice), © European Union	text PDF, o coloană, antete repetate, capitole, Spaniolă, text legal	da
Kids Online Safety Act bill, S. 1409 (line-numbered)	Public domain (work of the U.S. Government)	text PDF, o coloană, numere de linie, text legal	da
Agriculture in the United Kingdom 2024 (Defra)	Open Government Licence v3.0 (© Crown copyright)	text PDF, tabele, subtitrări, raport, Engleză, dificil	nu
Income in the United States: 2023 (Census P60-282)	Public domain (U.S. Government work, 17 U.S.C. §105)	text PDF, tabele, figuri, tabloul de conținuturi, raport, dificil	nu
The Employment Situation, December 2024 (BLS)	Public domain (U.S. Government work, 17 U.S.C. §105)	text PDF, tabele, antete multi-nivel, dificil	da
IRS Form W-4 (2026)	Public domain (U.S. Government work, 17 U.S.C. §105)	text PDF, formular, câmpuri de formular, dificil	nu
Instructions for Schedule C (IRS, 2025)	Public domain (U.S. Government work, 17 U.S.C. §105)	text PDF, două coloane, cuprins în 3 niveluri, tabele, dificil	da
NASA Artemis presentation slides (2023)	Public domain (NASA; NTRS: public use permitted)	text PDF, slide-uri, imagini, dificil	nu
NASA Spinoff 2016 (magazine)	Text in the public domain (NASA); some images credited to third parties	text PDF, revistă, trei coloane, imagini, dificil	nu
Supreme Court opinion, Loper Bright v. Raimondo (22-451)	Public domain (U.S. Government work, 17 U.S.C. §105)	text PDF, note de subsol, text legal, antete repetate, dificil	da
CRS report R45153: Statutory Interpretation	Public domain (U.S. Government work, per the report itself)	text PDF, note de subsol, text legal, dificil	nu
arXiv paper 2610.39146	CC BY 4.0	text PDF, formule, articol academic, dificil	da
EU AI Act, Regulation 2024/1689 (Greek, EUR-Lex)	Reuse authorised, including commercial (Decision 2011/833/EU; EUR-Lex legal notice), © European Union	text PDF, Greacă, mai multe scripturi, text legal, dificil	da
NIST SP 800-53 Rev. 5 (security controls)	No copyright in the U.S. (NIST)	text PDF, cuprins în 3 niveluri, lung, tabele, dificil	nu
Code of Federal Regulations, Title 21, Vol. 1 (2024)	Public domain (U.S. Government work, 17 U.S.C. §105)	text PDF, două coloane, lung, text legal, dificil	nu
The Financial Crisis Inquiry Report (FCIC)	Public domain (U.S. Government work, 17 U.S.C. §105)	text PDF, carte, lung, lipsă ToUnicode, dificil	nu

Limitele acestor numere

Metrica de scurgere a marginilor este fiabilă doar pentru motoare care împart linii, cum ar fi pdftotext -layout; nu este fiabilă pentru OpenDataLoader, pdf_oxide Markdown sau pdftotext fără -layout.
Referințele Wikipedia omit tabelele și infoboxurile, așa că precizia este scăzută pentru fiecare motor similar în acele documente.
Scanarea Alice din 1867 este comparată cu o ediție diferită (Project Gutenberg, 1865): este bună pentru amintire, nu pentru precizie exactă. Este citită prin PDF's propriul strat OCR: EpubCC's OCR rulează doar pe paginile scanate care nu au strat de text.
Mediile de calitate a textului acoperă doar documentele cu un text de referință independent (HTML, text Gutenberg sau text simplu govinfo al aceluiași document, niciodată ieșirea unui alt instrument) pe care fiecare motor l-a finalizat. Restul raportează timpul, memoria, paginile eșuate, glifele neîmpărtășite și scurgerile din margini.
Aceste metrici măsoară textul extras. Ele nu măsoară detectarea capitolelor, legătura notelor de subsol sau cum arată EPUB pe un cititor; validitatea EPUBCheck este raportată separat pentru ieșirea noastră EPUB.
Calibre funcționează cu setările sale implicite (ebook-convert, fără ajustări). Textul său este citit din EPUB cu un extractor neutru; EPUB are citirea cu același extractor ca și coloana de control, în cadrul 0.006 al propriului text al motorului nostru pe fiecare document. Pe scanarea din 1867 Calibre nu a terminat în 15 minute.
Documentele de test sintetic (făcute de noi sau pentru noi pentru a testa motorul) sunt omise din rezultatele publicate.

Date

Licență: CC BY 4.0 (datele rezultatelor)
Rezultate brute (JSON)
Lista de corpus (JSON)

Împărtășiți