ChatGPT와 같은 인공지능 시스템은 거의 모든 질문에 그럴듯한 답변을 생성하는 데 놀라울 정도로 능숙해졌다. 그러나 이러한 시스템은 종종 자신의 한계를 인정하거나 적절한 상황에서 불확실성을 표현하지 못하는데, 이는 AI 도입이 중요한 분야에서 가속화됨에 따라 상당한 위험을 초래할 수 있다.
2021년 MIT 연구원 다니엘라 루스, 알렉산더 아미니, 엘라헤 아마디가 설립한 Themis AI는 이 문제에 대한 해법을 제시했다. 이들이 개발한 Capsa 플랫폼은 어떤 머신러닝 모델에도 통합이 가능하며, 신뢰할 수 없는 출력을 몇 초 만에 감지하고 수정할 수 있다.
"AI가 환각(hallucination) 현상을 보이거나 실수를 저지르는 사례를 모두 본 적이 있을 것입니다."라고 Themis AI의 공동 창업자 아미니는 설명한다. "AI가 더 널리 배포될수록 이러한 실수는 치명적인 결과로 이어질 수 있습니다. Themis는 모든 AI가 사전에 스스로의 실패를 예측하고 감지할 수 있도록 만듭니다."
이 기술은 AI 모델이 데이터 처리 과정에서 모호성, 불완전성, 편향을 나타내는 패턴을 인식하도록 수정함으로써 작동한다. 이를 통해 모델은 각 출력에 대해 스스로의 불확실성을 정량화하고, 잠재적 오류를 사전에 표시할 수 있다. 구현 방법도 매우 간단해, 기존 모델을 불확실성 인식형으로 변환하는 데 몇 줄의 코드만 추가하면 된다.
Capsa는 이미 다양한 산업 분야에서 활용되고 있다. 제약 회사들은 신약 후보물질을 식별하고 임상시험 성과를 예측하는 AI 모델의 성능을 높이기 위해 Capsa를 도입하고 있다. 대형 언어모델 개발사들은 더 신뢰할 수 있는 질의응답과 불확실한 출력의 사전 감지를 위해 Capsa를 적용 중이다. Themis AI는 반도체 기업들과도 엣지 컴퓨팅 환경에서의 AI 솔루션 강화를 위해 협의 중이다.
"Capsa는 자동으로 알레아토릭(aleatoric) 및 에피스테믹(epistemic) 불확실성을 정량화함으로써, 모델 오류가 비용이 많이 드는 실수로 이어지기 전에 사전에 포착할 수 있도록 하는 혁신적인 기술입니다."라고 MIT 컴퓨터과학 및 인공지능 연구소 소장이기도 한 루스는 말한다. "이 기술은 로보틱스, 자율주행 등 안전성과 신뢰성이 핵심인 분야에서 AI 시스템의 활용 범위를 크게 넓힐 것입니다."
AI가 계속 진화하며 주요 산업에 깊숙이 침투함에 따라, Capsa와 같은 솔루션은 스스로의 한계를 인정하는 더 신뢰할 수 있는 시스템 구축에 핵심적인 역할을 할 것이다. 이는 고위험 환경에서 책임 있는 AI 도입을 위한 필수적인 단계다.