像ChatGPT这样的人工智能系统,已经能够针对几乎任何问题生成看似合理的回答。然而,这些系统往往无法承认自身的局限性,也很少在适当时表达不确定性——随着AI在关键领域的加速应用,这一短板带来了显著风险。
Themis AI由MIT研究人员Daniela Rus、Alexander Amini和Elaheh Ahmadi于2021年创立,致力于解决这一问题。他们开发的Capsa平台可以集成到任何机器学习模型中,在几秒钟内检测并修正不可靠的输出。
“我们都见过AI出现幻觉或犯错的例子,”Themis AI联合创始人Amini解释道,“随着AI被更广泛地部署,这些错误可能造成灾难性后果。Themis让任何AI都能在错误发生前预测和预警自身的失败。”
该技术通过调整AI模型,使其能够识别数据处理过程中存在的歧义、不完整或偏差等模式。这样,模型就可以为每一个输出量化自身的不确定性,并对潜在错误进行标记。实现过程极为简便——只需几行代码,就能将现有模型转变为具备不确定性感知能力的版本。
Capsa已在多个行业落地应用。制药公司利用其提升AI模型在药物候选筛选和临床试验预测中的表现。大型语言模型开发者也在采用Capsa,以实现更可靠的问答能力并标记不可信输出。Themis AI还正与半导体企业洽谈,助力边缘计算环境下的AI解决方案。
“通过自动量化偶然性和认知性不确定性,Capsa成为一项变革性技术,使模型错误在酿成高昂代价前就能被捕捉,”MIT计算机科学与人工智能实验室主任Rus表示,“它拓展了AI系统在安全性和可靠性至关重要领域的应用边界,比如机器人和自动驾驶。”
随着AI持续演进并渗透关键行业,像Capsa这样的解决方案将成为构建更可信系统的关键,让AI能够正视自身局限——这是高风险环境下负责任部署AI的重要一步。