Unstatistik des Monats Januar 2020: Google AI erkennt Brustkrebs besser als die erfahrensten Radiologen

2020-02-26

Der verantwortungsvolle Umgang mit den Ergebnissen der KI, die in aller Regel statistischer Natur sind, erfordert grundlegende mathematische Kenntnisse, die oft bei den Anwendern nicht vorhanden sind. Speziell bei Pressemitteilungen ist Vorsicht angebracht. Diesem Problem der Fehlinterpretation widmet sich das Harding-Zentrum für Risikokompetenz mit seiner Unstatistik des Monats, dem die folgende Nachricht entnommen ist.

Im Januar 2020 publizierte die Fachzeitschrift „Nature“ eine Studie über ein AI-System zur Brustkrebsfrüherkennung. AI steht dabei für „Artificial Intelligence“, also „künstliche Intelligenz“. Die Schlagzeile von nach-welt.com berichtete „Google AI erkennt Brustkrebs besser als die erfahrensten Radiologen“ /1/. „Der Spiegel“ titelte “Wie künstliche Intelligenz künftig den Job von Ärzten übernimmt” /2/. Ähnliche enthusiastisches Medienecho gab es weltweit. AI-Systeme werden in der Tat immer besser in der Krebsfrüherkennung, aber das ist nicht unser Punkt. Diese Unstatistik zeigt exemplarisch, wie AI-Erfolge in der Presse übertrieben werden und die Frage nach dem Nutzen für Patientinnen und Patienten nicht gestellt wird.

Die Studie wurde federführend von Google-Wissenschaftlern in Palo Alto und London durchgeführt. Man trainierte und testete künstliche neuronale Netzwerke mit Röntgenbildern der Brust von mehr als 25.000 Frauen aus Großbritannien und über 3.000 Frauen aus den USA. In Großbritannien, wo zwei Radiologen jede Röntgenaufnahme beurteilen und im Fall eines unklaren Ergebnisses ein Konsensus-Urteil erstellt wird, war das AI-System im Durchschnitt etwas besser als der erste Radiologe und leicht schlechter als der zweite Radiologe und das Konsensus-Urteil. In den USA, wo nur ein Radiologe das Urteil trifft, war die AI besser. Im zweiten Teil der Untersuchung wurden sechs US-Radiologen getestet, die schlechtere Werte erreichten als die AI. Von diesen hatten jedoch die meisten kein spezielles Training im Beurteilen von Mammogrammen. Die Autoren der Studie stellten selbst klar, dass die Ergebnisse bei spezialisierten Radiologen wahrscheinlich besser ausgefallen wären; die oben berichtete Schlagzeile spricht dagegen von den „erfahrensten Radiologen“.

Die wirkliche Frage, die in den Medienberichten so gut wie nie gestellt wurde, ist: Werden Frauen durch besser werdende AI einen Nutzen haben? Dieser wird suggeriert, aber zwei wissenschaftliche Erkenntnisse raten hier zur Vorsicht. Erstens, je besser die Diagnose-Systeme werden, desto mehr kleine und klinisch irrelevante Krebsformen werden entdeckt, die nur technisch gesehen Krebs sind. Das heißt, man würde diese Formen während seines Lebens nie bemerken, da sie keine negativen Auswirkungen auf die Gesundheit haben. Da man zum Zeitpunkt der Früherkennung diese harmlosen Formen von anderen nicht unterscheiden kann, erhalten bereits heute viele verunsicherte Frauen unnötige Operationen, Strahlen- oder Chemotherapien. Mit mehr AI-Diagnostik werden wahrscheinlich noch mehr Frauen unter dieser Überbehandlung leiden.

Die zweite wissenschaftliche Erkenntnis ist der geringe Nutzen des Mammographie-Screenings – für Frauen, im Gegensatz zur Industrie. Untersuchungen mit etwa 500.000 Frauen zeigen, dass von je 1.000 Frauen, die nicht zum Screening gehen, nach 10 Jahren etwa 5 an Brustkrebs gestorben sind; mit Screening sind es 4. Also etwa eine von tausend stirbt weniger an Brustkrebs. Das bedeutet aber nicht, dass Screening Leben rettet, da auch eine Frau mehr an einem anderen Krebs stirbt. Die Gesamtanzahl der Frauen, die an Krebs (einschließlich Brustkrebs) sterben, ändert sich durch Screening nicht. Sie ist jeweils etwa 22 von tausend Frauen (s. /3/). In Deutschland wird diese Information den Frauen immer noch vorenthalten, anders als etwa in der Schweiz (s. /4/). Das heißt, AI wird zwar immer mehr Krebse frühzeitig erkennen, aber man sollte auch einen Schritt weiter denken und ehrlich sagen, dass all dieser technische Erfolg den Frauen wohl wenig helfen wird.

Ref.:

/1/     Wie künstliche Intelligenz künftig den Job von Ärzten übernimmt

/2/     Harding Center

/3/     https://www.helsana.ch/de/blog/frueherkennung-mammografie?articleSource=gesundheitskompetenz

---