Kvalita dat

Cíl bez metodiky měření je přání. Tenhle dokument bere pět čísel ze specifikace a dopisuje k nim, na čem a jak se měří — včetně pasti, kterou by šlo obejít jediným zvýšením prahu.

Stav

cíle dohodnuté v principu, měřicí aparát plánovaný

Nominál a věřitel z přihlášky

přesnost ≥ 98 %

Zajištění a výsledek přezkumu

přesnost ≥ 95 %

Identifikace věřitele s IČO

≥ 99 %; bez IČO se jen měří

Úplnost

≥ 97 % řízení s plně zpracovaným oddílem P

Validační vzorek

Nejméně 500 ručně anotovaných přihlášek, vybraných tak, aby odpovídaly skutečnému rozložení: kvalita skenu, stáří dokumentu, formulář proti volnému podání, jedna proti více dílčím pohledávkám.

Anotuje člověk proti zdrojovému PDF, pole po poli, a zaznamenává i vlastní nejistotu — pole, které anotátor nepřečetl, se extraktoru nezapočítává. Vzorek je verzovaný v repozitáři jako zlatá sada a používá se jako regresní sada.

Tři čísla, která se reportují společně

Přesnost se počítá na tom, co systém zapsal, protože všechno pod prahem šlo záměrně k člověku a systém to netvrdil. Dokument to ale hned doplňuje o obranu proti zjevné perverzní pobídce.

• Změna, která zlepší přesnost a přitom srazí pokrytí, nezlepšila nic.
• Report, který uvádí přesnost bez pokrytí, je neúplný a v recenzi se zamítá.

Úplnost a co se do jmenovatele nepočítá

Řízení je plně zpracované, když každá P-pozice má identifikovaného věřitele, alespoň jednu dílčí pohledávku s nominálem a výsledek přezkumu tam, kde přezkum proběhl.

Dokumenty, které zdroj nepublikoval, se ze jmenovatele vyjímají a reportují se zvlášť. Systém se nepenalizuje za to, co rejstřík nezveřejnil — a zároveň se za to nesmí schovávat.

Regrese a provozní signály

• Každá verze extraktoru projde před nasazením celou zlatou sadu; verze, která zhorší kterékoli z prvních tří kritérií, se nenasazuje bez ohledu na zisky jinde.
• Výsledky se zaznamenávají po verzích, takže kvalita je časová řada, ne historka.
• Zlatá sada roste: každá oprava z fronty kontroly je kandidát na anotaci, čímž se lidská práce kumuluje místo aby se vypařila.
• Průběžně se sledují rozdělení skóre spolehlivosti, hloubka fronty kontroly, míra selhání validace po typech dokumentů, zpoždění za rejstříkem a podíl neidentifikovaných věřitelů bez IČO.

Kde to v repozitáři žije

• docs/ACCEPTANCE.md — pět kritérií, validační vzorek, metodika měření, regresní disciplína
• docs/EXTRACTION.md — pipeline, která se měří, a prahy, které rozhodují o zápisu
• docs/TESTING.md — kam zlatá sada patří v hierarchii testů

Souvisí

Zpět na sekci Dokumentace