Das Modell sagte „Herz, 100 %“. Es war eine normale Lunge.
Ein Bild normaler Lunge aus dem Internet bezeichnete das Modell mit 100 % Sicherheit als Herz. Graue Hepatisation bei Lobärpneumonie wurde zu Leber, 81,8 %. Bei der Entwicklung von littlEye AI haben mich solche Fehler mehr gelehrt als gute Zahlen.
Warum sich ein Modell so selbstsicher irrt
Ein Modell kann nicht „ich weiß es nicht“ sagen. Es muss eine seiner Klassen wählen, und 100 % bedeuten daher nicht die Sicherheit eines Pathologen. Es bedeutet nur, dass das Bild von allem, was es kennt, am ehesten dem Herzen ähnelte. Eine Pneumonie hatte es im Training nie gesehen, und ein dichter luftleerer Lappen ähnelte für das Modell der Leber. Deshalb lässt littlEye AI ein diagnostisches Modell nur auf dem Gewebe laufen, zu dem es gehört, und zeigt das Ergebnis als Vorschlag mit einem Prozentwert.
Was mich diese Fehler gelehrt haben
- Die Vergrößerung muss passen. Ein Modell lernt die Größe von Zellen in Pixeln. Bei einem 20×-Objektiv trainiert, erreichte es im Test 78 %. Als wir die Testbilder so veränderten, dass sie ein 40×-Objektiv nachahmten, fiel der Wert auf 52 %, bei 100×-Ölimmersion auf 11 %, was bei 19 Geweben nahe am Zufall liegt. Bilder vom Mikroskop müssen deshalb mit einem Objektmikrometer kalibriert werden.
- Ein Präparat lehrt den Farbton, nicht das Gewebe. Mit ein oder zwei Objektträgern pro Klasse verband das Modell die Farbe des Präparats mit dem Organ. Auf fremdem Material fiel der Test auf etwa 65 %, und eine rötere Leber aus einem anderen Institut wurde zur Niere. Jede Diagnose braucht mindestens drei verschiedene Fälle.
- Der Test muss ehrlich sein. Ausschnitte aus derselben Stelle eines Objektträgers gehören nicht zugleich in Training und Test, sonst wird das Modell mit dem geprüft, was es schon gesehen hat. Ausschnitte muss man auch mit eigenen Augen prüfen; ein automatischer Filter lässt auch anderes Gewebe durch, als auf dem Etikett steht.
- Auch eine frei zugängliche Sammlung hat eine Lizenz. Modelle aus einer offenen Sammlung mit nichtkommerzieller Lizenz habe ich nach der Stellungnahme der Universität gelöscht. Seitdem arbeite ich mit eigenen Präparaten und lizenzrechtlich sauberen Daten.
Das ist nicht nur meine Erfahrung. Tellez et al. (2019) beschreiben an HE-Bildern aus 9 Laboren, dass ein in einem Labor trainiertes Netz auf Bildern eines anderen oft schlechter abschneidet. Howard et al. (2021) zeigten in der TCGA-Datenbank, dass sich die Herkunftseinrichtung auch nach einer Farbnormalisierung am Präparat erkennen lässt und dass dies zu übermäßig optimistischen Ergebnissen führt. Bei jeder schönen Zahl in einer Arbeit lohnt sich daher die Frage, ob das Modell an Daten einer anderen Einrichtung geprüft wurde.
Was littlEye AI ist und was nicht
littlEye AI ist meine kostenlose App für iPhone, iPad und Mac, auf Slowakisch und Englisch. Ein Arzt trainiert darin aus eigenen HE-Mikrofotografien ein Modell direkt auf dem Gerät; nichts geht an einen Server. Kollegen können Bilder bewerten, jede Bewertung bleibt mit Name und Datum erfasst, und die Mehrheit entscheidet. Vor dem Training weist eine Ampel auf Schwachstellen in den Daten hin, danach zeigt die App das Ergebnis auf einem unabhängigen Test und eine Konfusionsmatrix. Einrichtungen können Sets und Modelle austauschen, damit jede das annotiert, wovon sie am meisten versteht.
Die Prüfung an fremdem Material, mit einem anderen Scanner und in anderen Händen ist bisher nur vorbereitet, daher habe ich noch keine Zahlen dazu, wie sich die Modelle außerhalb der Einrichtung verhalten, in der sie entstanden sind. Auch deshalb steht bei den Ergebnissen in der App immer derselbe Satz: Forschungs- und Unterstützungswerkzeug. Kein Medizinprodukt. Die abschließende Beurteilung liegt immer beim Pathologen oder Rechtsmediziner.
Wer die Modelle oder die Quantifizierung am eigenen Material ausprobieren möchte, findet die Bedingungen im Abschnitt Collaboration auf der Website der App. Der Studienvorschlag liegt fertig vor: Die App ist kostenlos, Bilder werden nicht verschickt, und jede beteiligte Abteilung ist Mitautor. Ich suche auch HE- und IHC-Präparate mit klarer Lizenz zum Teilen.
Literatur
- Šikuta J. How littlEye AI learns, and why it sometimes answers wrongly. App guide. https://dzanino.github.io/littlEyeAI/littlEye_AI_how_it_learns_EN.pdf
- Tellez D, Litjens G, Bándi P, et al. Quantifying the effects of data augmentation and stain color normalization in convolutional neural networks for computational pathology. Med Image Anal. 2019;58:101544. doi:10.1016/j.media.2019.101544
- Howard FM, Dolezal J, Kochanny S, et al. The impact of site-specific digital histology signatures on deep learning model accuracy and bias. Nat Commun. 2021;12(1):4423. doi:10.1038/s41467-021-24698-1