麻省理工学院初创公司通过教会系统承认不确定性来解决人工智能幻觉问题

随着人们越来越依赖人工智能模型来揭示关键信息和做出重大决策，与人工智能幻觉相关的风险也在不断升级。

我们都认识一些人，他们表现得像个万事通，拒绝承认自己的无知，或者根据网上浏览到的信息提供可疑的建议。人工智能幻觉就像这样的朋友--但在这种情况下，这个朋友可能是为你设计癌症治疗方案的人。

这就是 Themis AI 的优势所在。该公司从麻省理工学院分离出来，实现了一些概念上听起来简单但技术上极具挑战性的目标：教会人工智能系统识别并承认不确定性。

人工智能模型往往过于自信。Themis 的 Capsa 平台提供了现实检查，帮助模型识别它们何时是在推测，而不是在确定地运行。

Themis AI公司由麻省理工学院教授丹妮拉-鲁斯（Daniela Rus）和前研究员亚历山大-阿米尼（Alexander Amini）和伊拉赫-阿马迪（Elaheh Ahmadi）于2021年创立，该公司建立的平台几乎可以与任何人工智能系统集成，在不确定因素导致错误之前就将其标记出来。

利用 Capsa，人工智能学会识别自身数据处理中的模式，这些模式表明信息中存在混乱、偏差或空白--这些情况往往会导致幻觉。

自推出以来，Themis 已帮助电信公司避免了代价高昂的网络规划错误，帮助石油和天然气公司解读复杂的地震数据，并发表了关于构建聊天机器人的研究报告，以避免自信地捏造事实。

许多人仍然没有意识到，人工智能系统在本质上经常是在进行有根据的猜测。随着这些系统发挥越来越重要的作用，这种猜测可能会带来严重后果。Themis AI 引入了一个缺失元素：自我意识。

Themis AI 解决人工智能幻觉的路径

多年前，在麻省理工学院鲁斯教授的实验室里，研究人员开始了通往 Themis AI 的旅程，探索一个核心问题：机器如何才能意识到自身的局限性？

2018 年，丰田公司资助了他们为自动驾驶汽车开发可靠人工智能的工作--在这个行业中，错误可能会危及生命。当自动驾驶汽车必须精确探测行人和道路危险时，这一挑战尤为严峻。

他们的突破来自于一种能够识别面部识别系统中种族和性别偏见的算法。他们的系统不仅能检测出偏见，还能通过重新平衡训练数据来纠正偏见，从而有效地教会人工智能克服自身的偏见。

到 2021 年，该团队展示了这种方法如何改变药物发现。人工智能系统可以对潜在药物进行评估，同时强调预测是以可靠数据为基础，还是以猜测或完全的幻觉为基础。制药公司看到了只追求人工智能有信心的候选药物的价值，从而节省了时间和资源。

另一个好处适用于计算能力有限的设备。边缘设备通常依赖于较小的模型，其准确性无法与基于服务器的系统相提并论。Themis 的技术可以帮助这些本地模型独立处理大部分任务，只有在遇到困难时才会寻求服务器支持。

人工智能为改善我们的生活提供了巨大的潜力，但也伴随着真正的风险。随着人工智能在关键基础设施和决策中的嵌入，识别不确定性和避免幻觉的能力可能被证明是其最人性化和最有价值的特质。Themis AI 正在帮助模型学习这一基本技能。

另请参见：糖尿病管理：IBM 和罗氏利用人工智能预测血糖水平

想从行业领导者那里了解更多有关人工智能和大数据的信息？请参加在阿姆斯特丹、加利福尼亚和伦敦举行的人工智能与大数据博览会。这项综合性活动将与智能自动化大会（Intelligent Automation Conference）、BlockX、数字化转型周（Digital Transformation Week）和网络安全与云博览会（Cyber Security & Cloud Expo）等其他领先活动同期举行。

点击此处了解 TechForge 即将举办的其他企业技术活动和网络研讨会。