Tekoälyjärjestelmissä, joita käytetään lääketieteellisten kuvien analysointiin, on vakava puute, joka voi vaarantaa potilaiden turvallisuuden, kertoo tuore MIT:n tutkimus.
Tutkimusta johti jatko-opiskelija Kumail Alhamoud yhdessä apulaisprofessori Marzyeh Ghassemin kanssa. Heidän työnsä osoittaa, että visio-kielimallit (VLM:t) – tekoälyjärjestelmät, joita käytetään laajasti terveydenhuollossa – eivät kykene ymmärtämään kieltosanoja kuten 'ei' ja 'ei ole' analysoidessaan lääketieteellisiä kuvia.
"Kieltosanoilla voi olla erittäin merkittävä vaikutus, ja jos käytämme näitä malleja sokeasti, saatamme kohdata katastrofaalisia seurauksia", varoittaa Alhamoud, tutkimuksen pääkirjoittaja.
Tutkijat havainnollistivat ongelmaa kliinisellä esimerkillä: jos radiologi tarkastelee keuhkoröntgenkuvaa, jossa näkyy kudosturvotusta mutta ei suurentunutta sydäntä, tekoälyjärjestelmä saattaa virheellisesti hakea tapauksia, joissa molemmat löydökset esiintyvät, mikä voi johtaa täysin väärään diagnoosiin. Kun näitä tekoälymalleja testattiin muodollisesti kieltotehtävissä, niiden tulokset eivät olleet parempia kuin satunnaisarvaukset.
Tämän kriittisen rajoituksen ratkaisemiseksi tutkijat kehittivät NegBenchin – kattavan arviointikehyksen, joka sisältää 18 tehtävävariaatiota ja 79 000 esimerkkiä kuva-, video- ja lääketieteellisistä aineistoista. Heidän ehdottamansa ratkaisu perustuu VLM-mallien uudelleenkoulutukseen erityisesti luoduilla aineistoilla, jotka sisältävät miljoonia kieltolauseita. Tulokset ovat lupaavia: mallien kyky löytää kieltokysymyksiin liittyviä tapauksia parani 10 prosenttia ja monivalintatehtävien tarkkuus kieltolauseilla jopa 28 prosenttia.
"Jos jotain näin perustavanlaatuista kuin kieltosanojen ymmärtäminen on rikki, meidän ei pitäisi käyttää suuria visio-/kielimalleja nykyisellä tavalla – ilman perusteellista arviointia", painottaa Ghassemi ja korostaa huolellisen arvioinnin tarvetta ennen järjestelmien käyttöönottoa vaativissa lääketieteellisissä ympäristöissä.
Tutkimuksessa oli mukana myös OpenAI:n ja Oxfordin yliopiston tutkijoita, ja se esitellään tulevassa Computer Vision and Pattern Recognition -konferenssissa. Tutkimusryhmä on julkaissut vertailutason ja koodin avoimesti, jotta tätä kriittistä tekoälyn turvallisuushaastetta voidaan ratkaista.