Systémy umělé inteligence, jako je ChatGPT, se staly pozoruhodně zdatnými v generování odpovědí, které znějí věrohodně téměř na jakýkoli dotaz. Tyto systémy však často nedokážou přiznat své limity nebo vyjádřit nejistotu tam, kde by to bylo na místě – což představuje významné riziko v době, kdy se AI rychle prosazuje v klíčových sektorech.
Themis AI, založená v roce 2021 výzkumníky z MIT Danielou Rus, Alexanderem Aminim a Elaheh Ahmadi, přináší řešení tohoto problému. Jejich platforma Capsa může být integrována do jakéhokoli modelu strojového učení a během několika sekund detekuje a opravuje nespolehlivé výstupy.
„Všichni jsme už viděli příklady, kdy AI halucinuje nebo dělá chyby,“ vysvětluje Amini, spoluzakladatel Themis AI. „Jakmile se AI začne používat ve větším měřítku, mohou tyto chyby vést k devastujícím následkům. Themis umožňuje, aby jakákoli AI mohla předpovídat a odhadnout své vlastní selhání ještě předtím, než k nim dojde.“
Technologie funguje tak, že upravuje AI modely, aby rozpoznávaly vzorce ve zpracování dat, které signalizují nejednoznačnost, neúplnost nebo zaujatost. Díky tomu jsou modely schopny kvantifikovat svou vlastní nejistotu u každého výstupu a označit potenciální chyby. Implementace je přitom velmi jednoduchá – stačí několik řádků kódu, aby se stávající model proměnil ve variantu citlivou na nejistotu.
Capsa už nachází uplatnění v různých odvětvích. Farmaceutické společnosti ji využívají ke zlepšení AI modelů, které identifikují kandidáty na léky a předpovídají úspěšnost klinických studií. Vývojáři velkých jazykových modelů ji implementují pro spolehlivější zodpovídání dotazů a označování nespolehlivých výstupů. Themis AI také jedná s polovodičovými firmami o využití Capsy pro zlepšení AI řešení v prostředí edge computingu.
„Díky automatickému kvantifikování aleatorní a epistemické nejistoty je Capsa transformační technologií, která umožňuje zachytit chyby modelu dříve, než se stanou nákladnými omyly,“ říká Rus, která zároveň vede Laboratoř informatiky a umělé inteligence na MIT. „Rozšiřuje možnosti využití AI systémů v aplikacích, kde jsou klíčové bezpečnost a spolehlivost, například v robotice a autonomním řízení.“
Jak se AI dále vyvíjí a proniká do klíčových odvětví, budou řešení jako Capsa zásadní pro budování důvěryhodnějších systémů, které přiznávají své limity – což je klíčový krok k odpovědnému nasazení AI v prostředích s vysokými nároky.