麻省理工学院初创公司通过教会系统承认不确定性来解决人工智能幻觉问题
随着人们越来越依赖人工智能模型来揭示关键信息和做出重大决策,与人工智能幻觉相关的风险也在不断升级。
我们都认识一些人,他们表现得像个万事通,拒绝承认自己的无知,或者根据网上浏览到的信息提供可疑的建议。人工智能幻觉就像这样的朋友--但在这种情况下,这个朋友可能是为你设计癌症治疗方案的人。
这就是 Themis AI 的优势所在。该公司从麻省理工学院分离出来,实现了一些概念上听起来简单但技术上极具挑战性的目标:教会人工智能系统识别并承认不确定性。
人工智能模型往往过于自信。Themis 的 Capsa 平台提供了现实检查,帮助模型识别它们何时是在推测,而不是在确定地运行。
Themis AI公司由麻省理工学院教授丹妮拉-鲁斯(Daniela Rus)和前研究员亚历山大-阿米尼(Alexander Amini)和伊拉赫-阿马迪(Elaheh Ahmadi)于2021年创立,该公司建立的平台几乎可以与任何人工智能系统集成,在不确定因素导致错误之前就将其标记出来。
利用 Capsa,人工智能学会识别自身数据处理中的模式,这些模式表明信息中存在混乱、偏差或空白--这些情况往往会导致幻觉。
自推出以来,Themis 已帮助电信公司避免了代价高昂的网络规划错误,帮助石油和天然气公司解读复杂的地震数据,并发表了关于构建聊天机器人的研究报告,以避免自信地捏造事实。
许多人仍然没有意识到,人工智能系统在本质上经常是在进行有根据的猜测。随着这些系统发挥越来越重要的作用,这种猜测可能会带来严重后果。Themis AI 引入了一个缺失元素:自我意识。
Themis AI 解决人工智能幻觉的路径
多年前,在麻省理工学院鲁斯教授的实验室里,研究人员开始了通往 Themis AI 的旅程,探索一个核心问题:机器如何才能意识到自身的局限性?
2018 年,丰田公司资助了他们为自动驾驶汽车开发可靠人工智能的工作--在这个行业中,错误可能会危及生命。当自动驾驶汽车必须精确探测行人和道路危险时,这一挑战尤为严峻。
他们的突破来自于一种能够识别面部识别系统中种族和性别偏见的算法。他们的系统不仅能检测出偏见,还能通过重新平衡训练数据来纠正偏见,从而有效地教会人工智能克服自身的偏见。
到 2021 年,该团队展示了这种方法如何改变药物发现。人工智能系统可以对潜在药物进行评估,同时强调预测是以可靠数据为基础,还是以猜测或完全的幻觉为基础。制药公司看到了只追求人工智能有信心的候选药物的价值,从而节省了时间和资源。
另一个好处适用于计算能力有限的设备。边缘设备通常依赖于较小的模型,其准确性无法与基于服务器的系统相提并论。Themis 的技术可以帮助这些本地模型独立处理大部分任务,只有在遇到困难时才会寻求服务器支持。
人工智能为改善我们的生活提供了巨大的潜力,但也伴随着真正的风险。随着人工智能在关键基础设施和决策中的嵌入,识别不确定性和避免幻觉的能力可能被证明是其最人性化和最有价值的特质。Themis AI 正在帮助模型学习这一基本技能。
另请参见:糖尿病管理:IBM 和罗氏利用人工智能预测血糖水平
想从行业领导者那里了解更多有关人工智能和大数据的信息?请参加在阿姆斯特丹、加利福尼亚和伦敦举行的人工智能与大数据博览会。这项综合性活动将与智能自动化大会(Intelligent Automation Conference)、BlockX、数字化转型周(Digital Transformation Week)和网络安全与云博览会(Cyber Security & Cloud Expo)等其他领先活动同期举行。
点击此处了解 TechForge 即将举办的其他企业技术活动和网络研讨会。
相关文章
华纳音乐收购AI归因初创公司Sureel AI
华纳音乐集团(WMG)于周三确认,其正在收购Sureel AI,一家专注于人工智能归因的初创公司。Sureel的专有技术为音乐曲目生成“AI DNA”,将其分解为各个组成部分,以追踪人工智能模型如何利用这些元素。通过此次收购,WMG旨在增强其监控其艺术家和词曲创作者的作品在人工智能生成内容中被使用或用于训练人工智能模型的能力。“将Sureel整合到WMG中,增强了我们的保护、控制和变现能力,确保创意社区保留对其知识产权、姓名、肖像、形象和声音的控制权,”WMG首席执行官Robert Kync
亚马逊推出“Alexa for Shopping”,同时将Rufus边缘化
亚马逊推出了“Alexa for Shopping”,将 Rufus 购物聊天机器人 Alexa+ 整合到应用程序、网站和 Echo Show 设备中。该助手回答产品查询、比较商品、跟踪价格,并支持购物提醒。它还处理计划中的购物操作和符合条件的自动购买。据该公司称,“Alexa for Shopping”将 Rufus 的产品专业知识与 Alexa+ 的个性化助手上下文相结合。亚马逊表示,Rufus 在 2025 年协助了超过 3 亿客户进行产品研究、比较和购买。GeekWire 报道称,
微软、Azure 和人工智能技术共同应对加利福尼亚州野火风险
微软投资于人工智能驱动的山火监测技术,其首席副总裁兼首席数据科学家胡安·拉维斯塔·费雷斯(Juan Lavista Ferres)探讨了减轻环境损害的策略。据美国国家航空航天局(NASA)称,气候变化影响着地球上的每个人,其表现为气温上升、降雨模式改变以及海平面上升。NASA指出,有确凿证据表明地球正以史无前例的速度变暖,而人类活动是其主要驱动因素。随着全球气温上升,野火构成的威胁日益加剧。 在美
相关专题推荐
评论 (4)
0/500
I was totally shocked by this MIT startup’s idea of teaching AI systems to admit uncertainty instead of fabricating answers, it’s like giving robots a sense of self-awareness. I wonder if this approach can really cut down the misinformation spreading on social media these days.
Just read this and wow, the 'know-it-all' analogy hits home. We've all been there where the system is confidently wrong. Teaching AI to say 'I don't know' could be a game-changer for trust in medical or legal advice. Curious about the scalability—is there a performance trade-off? Hope they can make it work at a large scale 🧐.
AIが「分からない」と言えるようになるって、逆に人間らしい進歩かも?🤔 実際、私も職場で『多分』って言える上司の方が信用できるし。でもMITのスタートアップがこれをビジネスにできるって面白い。AIの過信防止って医療や裁判で本当に必要だよね。個人的には、この技術がSNSのデマ拡散防止に使われないか心配だけど…
Diese Startup-Idee aus MIT scheint sehr vielversprechend zu sein. Modelle müssen lernen, Unsicherheiten zuzugeben - genau wie ein vernünftiger Mensch es tun würde 😂. Besonders im Bereich Medizin oder autonomes Fahren, wo fehlerhafte Antworten katastrophal sein können, wird das 'Ich weiß es nicht'-Eingeständnis zu einer lebenswichtigen Funktion. Hoffentlich setzt sich dieser Ansatz bald durch!
随着人们越来越依赖人工智能模型来揭示关键信息和做出重大决策,与人工智能幻觉相关的风险也在不断升级。
我们都认识一些人,他们表现得像个万事通,拒绝承认自己的无知,或者根据网上浏览到的信息提供可疑的建议。人工智能幻觉就像这样的朋友--但在这种情况下,这个朋友可能是为你设计癌症治疗方案的人。
这就是 Themis AI 的优势所在。该公司从麻省理工学院分离出来,实现了一些概念上听起来简单但技术上极具挑战性的目标:教会人工智能系统识别并承认不确定性。
人工智能模型往往过于自信。Themis 的 Capsa 平台提供了现实检查,帮助模型识别它们何时是在推测,而不是在确定地运行。
Themis AI公司由麻省理工学院教授丹妮拉-鲁斯(Daniela Rus)和前研究员亚历山大-阿米尼(Alexander Amini)和伊拉赫-阿马迪(Elaheh Ahmadi)于2021年创立,该公司建立的平台几乎可以与任何人工智能系统集成,在不确定因素导致错误之前就将其标记出来。
利用 Capsa,人工智能学会识别自身数据处理中的模式,这些模式表明信息中存在混乱、偏差或空白--这些情况往往会导致幻觉。
自推出以来,Themis 已帮助电信公司避免了代价高昂的网络规划错误,帮助石油和天然气公司解读复杂的地震数据,并发表了关于构建聊天机器人的研究报告,以避免自信地捏造事实。
许多人仍然没有意识到,人工智能系统在本质上经常是在进行有根据的猜测。随着这些系统发挥越来越重要的作用,这种猜测可能会带来严重后果。Themis AI 引入了一个缺失元素:自我意识。
Themis AI 解决人工智能幻觉的路径
多年前,在麻省理工学院鲁斯教授的实验室里,研究人员开始了通往 Themis AI 的旅程,探索一个核心问题:机器如何才能意识到自身的局限性?
2018 年,丰田公司资助了他们为自动驾驶汽车开发可靠人工智能的工作--在这个行业中,错误可能会危及生命。当自动驾驶汽车必须精确探测行人和道路危险时,这一挑战尤为严峻。
他们的突破来自于一种能够识别面部识别系统中种族和性别偏见的算法。他们的系统不仅能检测出偏见,还能通过重新平衡训练数据来纠正偏见,从而有效地教会人工智能克服自身的偏见。
到 2021 年,该团队展示了这种方法如何改变药物发现。人工智能系统可以对潜在药物进行评估,同时强调预测是以可靠数据为基础,还是以猜测或完全的幻觉为基础。制药公司看到了只追求人工智能有信心的候选药物的价值,从而节省了时间和资源。
另一个好处适用于计算能力有限的设备。边缘设备通常依赖于较小的模型,其准确性无法与基于服务器的系统相提并论。Themis 的技术可以帮助这些本地模型独立处理大部分任务,只有在遇到困难时才会寻求服务器支持。
人工智能为改善我们的生活提供了巨大的潜力,但也伴随着真正的风险。随着人工智能在关键基础设施和决策中的嵌入,识别不确定性和避免幻觉的能力可能被证明是其最人性化和最有价值的特质。Themis AI 正在帮助模型学习这一基本技能。
另请参见:糖尿病管理:IBM 和罗氏利用人工智能预测血糖水平
想从行业领导者那里了解更多有关人工智能和大数据的信息?请参加在阿姆斯特丹、加利福尼亚和伦敦举行的人工智能与大数据博览会。这项综合性活动将与智能自动化大会(Intelligent Automation Conference)、BlockX、数字化转型周(Digital Transformation Week)和网络安全与云博览会(Cyber Security & Cloud Expo)等其他领先活动同期举行。
点击此处了解 TechForge 即将举办的其他企业技术活动和网络研讨会。
华纳音乐收购AI归因初创公司Sureel AI
华纳音乐集团(WMG)于周三确认,其正在收购Sureel AI,一家专注于人工智能归因的初创公司。Sureel的专有技术为音乐曲目生成“AI DNA”,将其分解为各个组成部分,以追踪人工智能模型如何利用这些元素。通过此次收购,WMG旨在增强其监控其艺术家和词曲创作者的作品在人工智能生成内容中被使用或用于训练人工智能模型的能力。“将Sureel整合到WMG中,增强了我们的保护、控制和变现能力,确保创意社区保留对其知识产权、姓名、肖像、形象和声音的控制权,”WMG首席执行官Robert Kync
微软、Azure 和人工智能技术共同应对加利福尼亚州野火风险
微软投资于人工智能驱动的山火监测技术,其首席副总裁兼首席数据科学家胡安·拉维斯塔·费雷斯(Juan Lavista Ferres)探讨了减轻环境损害的策略。据美国国家航空航天局(NASA)称,气候变化影响着地球上的每个人,其表现为气温上升、降雨模式改变以及海平面上升。NASA指出,有确凿证据表明地球正以史无前例的速度变暖,而人类活动是其主要驱动因素。随着全球气温上升,野火构成的威胁日益加剧。 在美
I was totally shocked by this MIT startup’s idea of teaching AI systems to admit uncertainty instead of fabricating answers, it’s like giving robots a sense of self-awareness. I wonder if this approach can really cut down the misinformation spreading on social media these days.
Just read this and wow, the 'know-it-all' analogy hits home. We've all been there where the system is confidently wrong. Teaching AI to say 'I don't know' could be a game-changer for trust in medical or legal advice. Curious about the scalability—is there a performance trade-off? Hope they can make it work at a large scale 🧐.
AIが「分からない」と言えるようになるって、逆に人間らしい進歩かも?🤔 実際、私も職場で『多分』って言える上司の方が信用できるし。でもMITのスタートアップがこれをビジネスにできるって面白い。AIの過信防止って医療や裁判で本当に必要だよね。個人的には、この技術がSNSのデマ拡散防止に使われないか心配だけど…
Diese Startup-Idee aus MIT scheint sehr vielversprechend zu sein. Modelle müssen lernen, Unsicherheiten zuzugeben - genau wie ein vernünftiger Mensch es tun würde 😂. Besonders im Bereich Medizin oder autonomes Fahren, wo fehlerhafte Antworten katastrophal sein können, wird das 'Ich weiß es nicht'-Eingeständnis zu einer lebenswichtigen Funktion. Hoffentlich setzt sich dieser Ansatz bald durch!





首页






