该计划很可能将筹集900万美元的资金,用于打造更可靠的AI系统。

尽管大语言模型的能力不断提升,幻觉问题依然是一个长期存在的挑战。即便是最先进的模型也会产生错误,虽然已有检测方法存在,但整个行业仍在不断优化最佳解决方案。
Recently获得了Andreessen Horowitz 900万美元种子轮融资的Probably公司,旨在开发一种更为可靠的错误检测方法。
该公司创始人Peter Elias(见上图)表示,公司的使命是防止幻觉和事实性错误传递给用户,力求达到确定性系统通常所具备的99.99%准确率——这一水平对人工智能而言极为难以实现。他指出,若要用大语言模型达成这一目标,就必须重新思考人工智能工程领域的核心假设。
Probably的初始产品是一款数据科学工具,可用于从复杂数据集中快速生成答案。每个结果都会附带引用信息以及其推导过程的审计轨迹,这种做法正逐渐成为人工智能工具的标准配置。
为避免错误混入这些总结内容中,该公司构建了一套复杂的约束系统,Elias将其称为“数据科学机械战衣”。大语言模型的初始响应会由一个确定性系统进行验证,任何与数据集不一致的结果都会被剔除。据该公司介绍,该大语言模型已针对这一验证器进行了训练,整个系统也在持续优化,以提升速度和准确率。
“我们发现,约束系统的设计越完善,模型所需的算力就越低,”Elias说道,“如果能够充分优化上下文,模型就不必费力去生成正确结果。归根结底,这是为了减少歧义。”
正因如此,Probably的数据科学工具即便使用规模更小的人工智能模型也能正常运行。Elias指出,当前版本使用的模型“比最先进的模型弱四个层级”,因此可以在本地硬件——即普通台式机而非数据中心——上运行,从而大幅降低与人工智能使用相关的Token成本。
在Token成本不断上升、许多客户都在重新评估其人工智能预算的当下,这种方案显得尤为及时。Elias的愿景不仅限于数据科学领域;同样的技术架构还可以应用于会计或医疗服务等场景——用他的话来说,就是“任何对精度要求较高的应用场景”。
“令人惊讶的是,各大人工智能实验室甚至都没有尝试过这种方法,”Elias说道,“他们没有动力去这么做,因为重复修正的需求正是他们的盈利来源。”
相关文章
QueryStory 呼吁对人工智能生成的内容保持谨慎
2009年,沙波尔·纳吉布扎德在担任谷歌系统运维工程师期间,发现了引人入胜的故事讲述所蕴含的力量。 在“极光行动”期间,当受国家支持的黑客将这家科技巨头作为攻击目标时,他被紧急召至危机处理室以厘清服务器活动情况,并亲身体会到:在分散的网络中追踪网络攻击,经过验证的知识至关重要——而这一过程在他看来既耗资巨大又效率低下。他认为,大型语言模型能够在极短时间内,在各种数据库中复现这种验证能力。在随后的六
AI编写代码耗资1215万元,超出预算860%:亚马逊内部事件为企业AI成本敲响警钟
美国媒体近日报道称,亚马逊在一项人工智能项目中出现了严重的成本超支。一名工程师使用Anthropic公司的Claude Sonnet模型将作者数据与产品列表进行匹配,结果产生了180万美元的费用——比预算超支了860%。 这项旨在将作者信息与电商产品列表关联起来的常规数据处理任务,最终产生了总计约1215万元人民币的费用。更令人震惊的是,该项目从未成功部署,但高计算资源占用却持续了五个月之久。这一
Anthropic 揭示,失控的人工智能代理和你们一样讨厌验证码
Anthropic最近关于智能体不当行为的报告指出了严重风险——其Mythos 5模型绕过了安全控制措施,访问了互联网并将恶意代码上传至公共代码库——但也揭示了一个颇具幽默感的缺陷:AI智能体在破解验证码方面颇感棘手。今年4月,Anthropic通过指令该模型入侵系统并获取目标,以此评估其黑客能力。尽管该测试本应在沙箱环境中进行,但评估人员却无意中使该环境暴露在外。 该模型判断出最有效的策略是将漏
相关专题推荐
评论 (0)
0/500

尽管大语言模型的能力不断提升,幻觉问题依然是一个长期存在的挑战。即便是最先进的模型也会产生错误,虽然已有检测方法存在,但整个行业仍在不断优化最佳解决方案。
Recently获得了Andreessen Horowitz 900万美元种子轮融资的Probably公司,旨在开发一种更为可靠的错误检测方法。
该公司创始人Peter Elias(见上图)表示,公司的使命是防止幻觉和事实性错误传递给用户,力求达到确定性系统通常所具备的99.99%准确率——这一水平对人工智能而言极为难以实现。他指出,若要用大语言模型达成这一目标,就必须重新思考人工智能工程领域的核心假设。
Probably的初始产品是一款数据科学工具,可用于从复杂数据集中快速生成答案。每个结果都会附带引用信息以及其推导过程的审计轨迹,这种做法正逐渐成为人工智能工具的标准配置。
为避免错误混入这些总结内容中,该公司构建了一套复杂的约束系统,Elias将其称为“数据科学机械战衣”。大语言模型的初始响应会由一个确定性系统进行验证,任何与数据集不一致的结果都会被剔除。据该公司介绍,该大语言模型已针对这一验证器进行了训练,整个系统也在持续优化,以提升速度和准确率。
“我们发现,约束系统的设计越完善,模型所需的算力就越低,”Elias说道,“如果能够充分优化上下文,模型就不必费力去生成正确结果。归根结底,这是为了减少歧义。”
正因如此,Probably的数据科学工具即便使用规模更小的人工智能模型也能正常运行。Elias指出,当前版本使用的模型“比最先进的模型弱四个层级”,因此可以在本地硬件——即普通台式机而非数据中心——上运行,从而大幅降低与人工智能使用相关的Token成本。
在Token成本不断上升、许多客户都在重新评估其人工智能预算的当下,这种方案显得尤为及时。Elias的愿景不仅限于数据科学领域;同样的技术架构还可以应用于会计或医疗服务等场景——用他的话来说,就是“任何对精度要求较高的应用场景”。
“令人惊讶的是,各大人工智能实验室甚至都没有尝试过这种方法,”Elias说道,“他们没有动力去这么做,因为重复修正的需求正是他们的盈利来源。”
QueryStory 呼吁对人工智能生成的内容保持谨慎
2009年,沙波尔·纳吉布扎德在担任谷歌系统运维工程师期间,发现了引人入胜的故事讲述所蕴含的力量。 在“极光行动”期间,当受国家支持的黑客将这家科技巨头作为攻击目标时,他被紧急召至危机处理室以厘清服务器活动情况,并亲身体会到:在分散的网络中追踪网络攻击,经过验证的知识至关重要——而这一过程在他看来既耗资巨大又效率低下。他认为,大型语言模型能够在极短时间内,在各种数据库中复现这种验证能力。在随后的六
AI编写代码耗资1215万元,超出预算860%:亚马逊内部事件为企业AI成本敲响警钟
美国媒体近日报道称,亚马逊在一项人工智能项目中出现了严重的成本超支。一名工程师使用Anthropic公司的Claude Sonnet模型将作者数据与产品列表进行匹配,结果产生了180万美元的费用——比预算超支了860%。 这项旨在将作者信息与电商产品列表关联起来的常规数据处理任务,最终产生了总计约1215万元人民币的费用。更令人震惊的是,该项目从未成功部署,但高计算资源占用却持续了五个月之久。这一
Anthropic 揭示,失控的人工智能代理和你们一样讨厌验证码
Anthropic最近关于智能体不当行为的报告指出了严重风险——其Mythos 5模型绕过了安全控制措施,访问了互联网并将恶意代码上传至公共代码库——但也揭示了一个颇具幽默感的缺陷:AI智能体在破解验证码方面颇感棘手。今年4月,Anthropic通过指令该模型入侵系统并获取目标,以此评估其黑客能力。尽管该测试本应在沙箱环境中进行,但评估人员却无意中使该环境暴露在外。 该模型判断出最有效的策略是将漏





首页






