Model povedal „srdce, 100 %“. Boli to normálne pľúca.
Snímku normálnych pľúc z webu označil model ako srdce so stopercentnou istotou. Sivú hepatizáciu pri lobárnej pneumónii zase ako pečeň, 81,8 %. Pri vývoji littlEye AI ma takéto omyly naučili viac než pekné čísla.
Prečo sa model mýli tak sebavedomo
Model nevie povedať „neviem“. Musí vybrať jednu zo svojich tried, takže 100 % neznamená istotu patológa. Znamená len, že zo všetkého, čo pozná, sa mu snímka najviac podobala na srdce. Pneumóniu v tréningu nikdy nevidel a hustý bezvzdušný lalok sa mu podobal na pečeň. Preto littlEye AI spúšťa diagnostický model len na tkanive, ku ktorému patrí, a výsledok ukazuje ako návrh s percentom.
Čo ma tieto omyly naučili
- Zväčšenie musí sedieť. Model sa učí veľkosť buniek v pixeloch. Naučený pri objektíve 20× mal na teste presnosť 78 %. Keď sme testovacie snímky upravili tak, aby napodobnili objektív 40×, klesla na 52 %, pri imerzii 100× na 11 %, čo je pri 19 tkanivách blízko náhode. Fotky z mikroskopu preto treba kalibrovať objektívovým mikrometrom.
- Jeden preparát naučí odtieň, nie tkanivo. Keď mal model na triedu jedno či dve sklíčka, spojil si farbu preparátu s orgánom. Na cudzom materiáli test klesol asi na 65 % a červenšia pečeň z iného pracoviska vychádzala ako oblička. Na diagnózu treba aspoň tri rôzne prípady.
- Test musí byť poctivý. Výrezy z toho istého miesta sklíčka nepatria do tréningu aj do testu, inak sa model skúša z toho, čo už videl. A výrezy treba pozrieť očami, automatický filter prepustí aj iné tkanivo, než aké je na menovke.
- Aj voľne dostupná zbierka má licenciu. Modely z jednej otvorenej zbierky s nekomerčnou licenciou som po stanovisku univerzity zmazal. Odvtedy pracujem s vlastnými preparátmi a licenčne čistými dátami.
Nie je to len moja skúsenosť. Tellez a spol. (2019) opisujú na HE snímkach z 9 laboratórií, že sieť natrénovaná v jednom laboratóriu často podáva horší výkon na snímkach z iného. Howard a spol. (2021) v databáze TCGA ukázali, že pracovisko pôvodu sa dá z preparátu rozpoznať aj po normalizácii farby a že to vedie k príliš optimistickým výsledkom. Pri každom krásnom čísle v článku sa preto oplatí spýtať, či model skúšali na dátach z iného pracoviska.
Čo je littlEye AI a čo nie
littlEye AI je moja aplikácia pre iPhone, iPad a Mac, zadarmo. Lekár si v nej z vlastných mikrofotografií HE preparátov natrénuje model priamo v zariadení, nič neodchádza na server. Kolegovia môžu snímky hodnotiť, každé hodnotenie ostáva zapísané s menom a dátumom a rozhoduje väčšina. Pred tréningom semafor upozorní na slabé miesta v dátach, po tréningu ukáže výsledok na nezávislom teste a konfúznu maticu. Pracoviská si môžu vymieňať sety a modely, aby každé anotovalo to, čomu rozumie najlepšie.
Overenie na cudzom materiáli, inom skeneri a v iných rukách je len pripravené, takže čísla o tom, ako sa modely správajú mimo pracoviska, kde vznikli, zatiaľ nemám. Aj preto je pri výsledkoch v aplikácii tá istá veta: Výskumný a podporný nástroj. Nie je zdravotnícka pomôcka. Finálne posúdenie vždy patrí patológovi či súdnemu lekárovi.
Ak by ste chceli modely alebo kvantifikáciu skúsiť na vlastnom materiáli, podmienky sú v časti Spolupráca na webe aplikácie. Návrh štúdie je hotový: aplikácia je zadarmo, snímky sa neposielajú a každé zapojené pracovisko je spoluautorom. Hľadám aj HE a IHC preparáty s jasnou licenciou na zdieľanie.
Literatúra
- Šikuta J. Ako sa littlEye AI učí, a prečo občas odpovie zle. Návod k aplikácii. https://dzanino.github.io/littlEyeAI/littlEye_AI_ako_sa_uci.pdf
- Tellez D, Litjens G, Bándi P, et al. Quantifying the effects of data augmentation and stain color normalization in convolutional neural networks for computational pathology. Med Image Anal. 2019;58:101544. doi:10.1016/j.media.2019.101544
- Howard FM, Dolezal J, Kochanny S, et al. The impact of site-specific digital histology signatures on deep learning model accuracy and bias. Nat Commun. 2021;12(1):4423. doi:10.1038/s41467-021-24698-1