Fredrik Strand, forskare vid institutionen för onkologi-patologi vid Karolinska institutet och röntgenläkare på Karolinska universitetssjukhuset, visar i en studie att olika AI-algoritmer uppvisar stora skillnader i träffsäkerhet att upptäcka bröstcancer.
Det finns ett stort antal företag som utvecklar AI-algoritmer för bland annat bildanalys i vården. Granskningen som är gjord vid Karolinska institutet och Karolinska Universitetssjukhuset är den första oberoende jämförelsen av flera olika AI-algoritmers förmåga att upptäcka bröstcancer.
– Vi ville veta hur bra de är i verkligheten, och om det är någon skillnad mellan de olika algoritmerna, jämfört med röntgenläkare, säger Fredrik Strand som är forskare vid institutionen för onkologi-patologi vid Karolinska institutet och röntgenläkare på Karolinska universitetssjukhuset.
Tre tillverkare ställde upp mot löftet att få vara anonyma. Slutsatsen var att det var stor skillnad mellan de tre jämförda AI-algoritmerna. Mycket stor skillnad.
– Jag hade trott att de skulle vara jämbördiga, men det var de inte.
Det finns fler tillverkare, men som tackade nej till att delta i studien. Fredrik Strand säger att det är svårt att veta hur dessa skulle placera sig i förhållande till dem i studien.
Redo att användas i vården
Även om AI-algoritmerna fortfarande är under utveckling så är de så pass bra att de i princip är redo att provas i sjukvården under kontrollerade former, enligt forskarna. Men så länge det inte finns någon oberoende part som löpande kan utvärdera algoritmer på marknaden kan det vara svårt för sjukhusen att veta om de köper in den mest effektiva AI-lösningen.
– Det är inte vi forskare som löpande ska jämföra olika algoritmer, utan man borde bygga upp en nationell resurs med en databas, eller ännu hellre en databas för EU, där alla algoritmer som finns på marknaden testas utifrån insamlade bilder från vården.
I studien, som publicerats i JAMA Oncology, ingick mammografibilder från 8 805 kvinnor i åldrarna 40–74 år som genomgått bröstcancerscreening mellan år 2008 och 2015. Av dessa hade 739 kvinnor diagnostiserats med bröstcancer vid screeningtillfället eller upp till 12 månader efteråt.
Lika bra som genomsnittsläkaren
Varje mammografibild granskas enligt rådande praxis av två röntgenläkare, kallade granskare 1 och granskare 2, där granskare 2 ofta är mer erfaren. Studien visar att den mest effektiva av de tre AI-algoritmerna var bättre än granskare 1 men lika bra som granskare 2. Så i genomsnitt kan man säga att den bästa AI-algoritmen upptäckte lika stor andel kvinnor med cancer som den genomsnittliga röntgenläkaren.
– Även om AI-algoritmen är lika bra som granskare 2 så hittar de olika cancerfall. Så en kombination av AI-algoritm och röntgenläkare är bättre, än om bilderna granskas enbart av AI eller enbart av människa.
Det finns stora vinster med att använda AI-algoritmer i cancervården, konstaterar Fredrik Strand.
– De kan frigöra resurser. Det är stor brist på bröstradiologer, och genom att låta AI-algoritmen göra den första granskningen så kan man lägga den tiden på att undersöka dem som har mer svårbedömda mammografibilder, säger han.
En annan studie av samma forskargrupp, nyligen publicerad i The Lancet Digital Health, visade att ett AI-verktyg även kan hjälpa till att på egen hand friskförklara en betydande del av mammografibilderna och sortera ut en mindre mängd bilder som behöver granskas extra av en radiolog.
Risker med att förlita sig på AI
En fara är att tillverkarna i den fortsatta utvecklingen av algoritmen begränsar sina tester till de egna bilderna, och här skulle en samlad nationell databas kunna vara en lösning.
– Vi vet till exempel att AI-algoritmen funkade bra på de bilder som vi har för perioden 2008-2015, men vi vet inte hur algoritmen skulle funka på bilder från 2020, så det är viktigt med en bra och kontinuerlig kvalitetssäkring även efter att man tagit AI-algoritmer i kliniskt bruk.
Fredrik Strand känner också en oro för att utbildningen av röntgenläkare försämras om man alltför mycket förlitar sig på att AI-algoritmerna kommer att upptäcka cancertumörerna.
Forskarna ska nu gå vidare och undersöka hur den bästa algoritmen i studien kan fungera som en självständig granskare i den kliniska vardagen genom en studie på ett stockholmssjukhus.
– Vi ska använda AI som en tredje bedömare, en extra koll, efter de två mänskliga granskarna.
I den studien, som beräknas ta 1,5 år, ingår omkring 55 000 mammografibilder. I en annan studie planerar forskarna på Karolinska Universitetssjukhuset att titta på om en kombination av AI-algoritmer kan välja ut vilka kvinnor som bör få göra en magnetkameraundersökning som komplement till mammografin.