Un defect critic al sistemelor de inteligență artificială folosite pentru analiza imaginilor medicale ar putea pune pacienții în pericol, potrivit unei noi cercetări publicate săptămâna aceasta de MIT.
Studiul, condus de doctorandul Kumail Alhamoud și conferențiarul asociat Marzyeh Ghassemi, arată că modelele vizion-limbaj (VLM) – sisteme AI utilizate pe scară largă în domeniul sănătății – nu reușesc să înțeleagă cuvinte de negație precum 'nu' și 'fără' atunci când analizează imagini medicale.
"Aceste cuvinte de negație pot avea un impact foarte semnificativ, iar dacă folosim aceste modele fără discernământ, putem ajunge la consecințe catastrofale", avertizează Alhamoud, autorul principal al studiului.
Cercetătorii au demonstrat această problemă printr-un exemplu clinic: dacă un radiolog examinează o radiografie toracică ce arată umflarea țesuturilor, dar fără o inimă mărită, un sistem AI ar putea recupera eronat cazuri cu ambele condiții, ceea ce poate duce la un diagnostic complet diferit. Testate formal, aceste modele AI nu au avut rezultate mai bune decât o alegere aleatorie la sarcinile ce implică negația.
Pentru a aborda această limitare critică, echipa a dezvoltat NegBench, un cadru de evaluare cuprinzător ce acoperă 18 variații de sarcini și 79.000 de exemple din seturi de date de imagini, video și medicale. Soluția propusă implică reantrenarea modelelor VLM cu seturi de date special create, ce conțin milioane de descrieri cu negații, iar rezultatele sunt promițătoare – reamintirea la interogări cu negație a crescut cu 10%, iar acuratețea la întrebări cu răspuns multiplu ce conțin negații a crescut cu 28%.
"Dacă ceva atât de fundamental precum negația este defect, nu ar trebui să folosim modelele mari vizion-limbaj în multe dintre modurile în care le folosim acum – fără evaluări intensive", avertizează Ghassemi, subliniind necesitatea unei evaluări atente înainte de implementarea acestor sisteme în medii medicale cu miză ridicată.
Cercetarea, la care au colaborat și specialiști de la OpenAI și Universitatea Oxford, va fi prezentată la viitoarea Conferință de Viziune Computerizată și Recunoaștere a Pattern-urilor. Echipa a pus la dispoziție publicului benchmark-ul și codul sursă pentru a contribui la rezolvarea acestei probleme critice de siguranță AI.