Artificiella intelligenssystem som ChatGPT har blivit anmärkningsvärt skickliga på att generera trovärdiga svar på nästan alla frågor. Men dessa system misslyckas ofta med att erkänna sina begränsningar eller uttrycka osäkerhet när det är befogat – en brist som innebär betydande risker i takt med att AI används allt mer inom kritiska sektorer.
Themis AI, grundat 2021 av MIT-forskarna Daniela Rus, Alexander Amini och Elaheh Ahmadi, har utvecklat en lösning på detta problem. Deras plattform Capsa kan integreras med vilken maskininlärningsmodell som helst för att upptäcka och korrigera opålitliga resultat på bara några sekunder.
"Vi har alla sett exempel på AI som hallucinerar eller gör misstag," förklarar Amini, medgrundare av Themis AI. "I takt med att AI implementeras bredare kan dessa misstag få förödande konsekvenser. Themis gör det möjligt för vilken AI som helst att förutsäga och förvarna om sina egna fel, innan de sker."
Teknologin fungerar genom att modifiera AI-modeller så att de kan känna igen mönster i sin databehandling som indikerar tvetydighet, ofullständighet eller partiskhet. Detta gör det möjligt för modellerna att kvantifiera sin egen osäkerhet för varje utdata och flagga potentiella fel. Implementeringen är mycket enkel – det krävs bara några rader kod för att omvandla en befintlig modell till en variant som är medveten om sin osäkerhet.
Capsa används redan inom flera branscher. Läkemedelsföretag använder plattformen för att förbättra AI-modeller som identifierar läkemedelskandidater och förutspår resultat av kliniska prövningar. Utvecklare av stora språkmodeller implementerar Capsa för att möjliggöra mer tillförlitliga svar och flagga osäkra resultat. Themis AI för också diskussioner med halvledarföretag för att stärka AI-lösningar inom edge computing-miljöer.
"Genom att automatiskt kvantifiera aleatorisk och epistemisk osäkerhet är Capsa en transformerande teknik som gör det möjligt att fånga upp modellfel innan de leder till kostsamma misstag," säger Rus, som även är chef för MIT Computer Science and Artificial Intelligence Laboratory. "Det utökar användningsområdena för AI-system inom applikationer där säkerhet och tillförlitlighet är avgörande, såsom robotik och autonom körning."
I takt med att AI fortsätter att utvecklas och spridas inom kritiska sektorer kommer lösningar som Capsa att vara avgörande för att bygga mer pålitliga system som erkänner sina begränsningar – ett viktigt steg mot ansvarsfull AI-användning i högriskmiljöer.