Tutkijat ovat löytäneet hämmästyttäviä yhtäläisyyksiä siinä, miten suuret kielimallit (LLM) ja ihmisaivot käsittelevät kieltä, vaikka niiden arkkitehtuurit ja energiantarve eroavatkin merkittävästi.
Google Researchin, Princetonin yliopiston, New Yorkin yliopiston ja Jerusalemin heprealaisen yliopiston yhteistutkimus osoitti, että ihmisaivojen hermotoiminta on lineaarisesti yhteneväistä LLM-mallien sisäisten kontekstuaalisten upotusten kanssa luonnollisissa keskusteluissa. Tutkijat havaitsivat, että molemmat järjestelmät jakavat kolme perustavanlaatuista laskennallista periaatetta: ne ennustavat tulevia sanoja ennen niiden kuulemista, vertaavat ennusteita todelliseen syötteeseen yllätyksen laskemiseksi ja hyödyntävät kontekstuaalisia upotuksia sanojen merkitykselliseen edustamiseen.
"Osoitamme, että syvien kielimallien tuottamat sanatasoiset sisäiset upotukset vastaavat aivojen tunnetuilla puheen ymmärtämisen ja tuottamisen alueilla havaittuja hermotoimintakuvioita", tutkijat toteavat Nature Neuroscience -julkaisussa.
Eroja kuitenkin löytyy. Siinä missä LLM-mallit käsittelevät satoja tuhansia sanoja samanaikaisesti, ihmisaivot käsittelevät kieltä sarjallisesti, sana kerrallaan. Vielä merkittävämpää on, että ihmisaivot suorittavat monimutkaisia kognitiivisia tehtäviä poikkeuksellisella energiatehokkuudella, kuluttaen vain noin 20 wattia tehoa – kun taas modernit LLM-mallit vaativat valtavasti enemmän energiaa.
"Aivoverkot saavuttavat tehokkuutensa lisäämällä erilaisia hermosolutyyppejä ja valikoivaa yhteyksien muodostamista eri tyyppisten solujen välillä verkoston eri moduuleissa, sen sijaan että ne vain lisäisivät neuronien, kerrosten ja yhteyksien määrää", selittää Nature Human Behaviour -lehdessä julkaistu tutkimus.
Yllättävässä käänteessä BrainBenchin tutkijat havaitsivat, että LLM-mallit päihittävät nyt ihmisasiantuntijat neurotieteen kokeellisten tulosten ennustamisessa. Heidän erikoismallinsa BrainGPT saavutti 81 %:n tarkkuuden, kun taas neurotieteilijöiden tulos oli 63 %. Kuten ihmisasiantuntijat, myös LLM-mallit olivat tarkempia silloin, kun ne ilmaisivat suurempaa luottamusta ennusteisiinsa.
Nämä havainnot viittaavat tulevaisuuteen, jossa aivoista inspiroituva laskenta voi parantaa tekoälyn tehokkuutta dramaattisesti. Tutkijat kehittävät piikkimäisiä hermoverkkoja (spiking neural networks, SNN), jotka jäljittelevät biologisia neuroneita entistä tarkemmin. Tämä voi mahdollistaa sovelluksia energiatehokkaista etsintä- ja pelastusdronesta kehittyneisiin hermoprotetiikkoihin.
Kun LLM-mallit kehittyvät kohti aivojen kaltaista prosessointia, raja tekoälyn ja biologisen älykkyyden välillä hämärtyy yhä enemmän – ja herättää syviä kysymyksiä itse kognition luonteesta.