Prema novom istraživanju MIT-a objavljenom ovog tjedna, kritična mana umjetne inteligencije koja se koristi za analizu medicinskih slika mogla bi ugroziti sigurnost pacijenata.
Studiju, koju su vodili doktorand Kumail Alhamoud i izvanredna profesorica Marzyeh Ghassemi, otkriva da modeli za obradu slike i jezika (VLM-ovi) – AI sustavi široko primijenjeni u zdravstvenim ustanovama – u osnovi ne razumiju riječi negacije poput 'ne' i 'nije' prilikom analize medicinskih slika.
"Te riječi negacije mogu imati vrlo značajan utjecaj, i ako ove modele koristimo naslijepo, mogli bismo se suočiti s katastrofalnim posljedicama", upozorava Alhamoud, glavni autor studije.
Istraživači su ovaj problem ilustrirali kliničkim primjerom: ako radiolog pregleda rendgensku snimku prsnog koša koja pokazuje oticanje tkiva, ali nema povećanja srca, AI sustav bi mogao pogrešno pronaći slučajeve s oba stanja, što može dovesti do potpuno drugačije dijagnoze. Kada su formalno testirani, ovi AI modeli nisu bili bolji od nasumičnog pogađanja na zadacima s negacijom.
Kako bi riješili ovo ključno ograničenje, tim je razvio NegBench, sveobuhvatan okvir za evaluaciju koji obuhvaća 18 varijacija zadataka i 79.000 primjera kroz skupove podataka slika, videa i medicinskih podataka. Njihovo predloženo rješenje uključuje ponovno treniranje VLM-ova na posebno kreiranim skupovima podataka s milijunima negiranih opisa, što je pokazalo obećavajuće rezultate – poboljšanje prepoznavanja negiranih upita za 10% i povećanje točnosti na pitanjima višestrukog izbora s negiranim opisima za 28%.
"Ako je nešto tako temeljno kao negacija neispravno, ne bismo smjeli koristiti velike modele za obradu slike i jezika na način na koji ih sada koristimo – bez intenzivne evaluacije", upozorava Ghassemi, naglašavajući potrebu za pažljivom procjenom prije implementacije ovih sustava u medicinskim okruženjima visokog rizika.
Istraživanje, u kojem su sudjelovali i suradnici iz OpenAI-a i Sveučilišta Oxford, bit će predstavljeno na nadolazećoj Konferenciji o računalnom vidu i prepoznavanju uzoraka. Tim je javno objavio svoj testni okvir i izvorni kod kako bi pomogao u rješavanju ovog ključnog pitanja sigurnosti AI sustava.