Gimlet Labs 解决人工智能推理瓶颈的巧妙方案

斯坦福大学兼职教授兼成功创业公司创始人扎因·阿斯加尔为其旗下公司筹集到了8000万美元的A轮融资资金,该公司采用极为巧妙的方式解决了人工智能推理过程中的瓶颈问题。此轮融资由门洛风险投资领投。
这家名为Gimlet Labs的初创企业称,它打造了首个也是目前唯一的“多芯片推理云”——这类软件能够让人工智能任务同时在不同类型的硬件上运行,能够将任务分配到传统CPU、针对AI优化的GPU以及高内存系统之中。
“我们基本上会在任何可用的不同硬件上执行任务,”阿斯加尔对TechCrunch表示。
领投方门洛风险投资的蒂姆·塔利在一篇关于此次融资的博客文章中写道:“单个智能体可能会串联多个步骤,而每个步骤都需要不同的硬件:推理环节受计算能力限制,解码环节受内存容量限制,工具调用则受网络传输速度限制。”
目前还没有一款芯片能够同时承担所有这些功能,但随着新硬件的推出以及旧GPU的重新利用,“多芯片集群已经准备就绪——只是缺少让它们正常运行的软件层。”塔利认为Gimlet Labs正是提供了这样的解决方案。
麦肯锡预计,如果继续保持当前增加计算资源的趋势,到2030年数据中心的支出规模可能接近7万亿美元。阿斯加尔表示,如今的各类应用仅会在15%到30%的时间内使用现有的硬件。
“另一种理解方式是:由于让大量资源处于闲置状态,你们正在浪费数千亿美元的资源,”他说,“我们的目标基本上就是设法让人工智能任务的效率比现在高出10倍。”
于是他和他的联合创始人——米歇尔·阮、奥米德·阿齐兹以及娜塔莉·塞里诺——着手开发调度软件,该软件能够将智能体任务拆分,使其能够在各类硬件上同时运行。
Gimlet Labs称,在保持相同成本和能耗的前提下,该软件能够将人工智能推理速度提升3倍到10倍。该公司还声称可以拆分底层模型,让其在不同架构的硬件上运行,并为每一部分选择最合适的芯片。
该公司目前已与芯片制造商NVIDIA、AMD、英特尔、ARM、Cerebras以及d-Matrix建立了合作关系。
Gimlet的产品以软件形式或通过API提供给其自建的Gimlet Cloud平台,并非面向普通的人工智能应用开发者,而是针对规模最大的人工智能模型实验室和数据中心。
该公司于10月正式上市,据称开业之初就已获得了八位数的营收(至少1000万美元)。阿斯加尔表示,在过去四个月里,他的客户数量增长了一倍多,目前包括一家大型模型制造商以及一家规模极大的云计算公司,但他拒绝透露这些公司的名称。
这些联合创始人此前曾在Pixie这家初创企业共事过,该公司曾开发用于Kubernetes的开源可观测性工具。Pixie在2020年被New Relic收购,而它在获得由Benchmark领投的900万美元A轮融资仅两个月后就完成了被收购。(Pixie的技术现已成为负责管理Kubernetes的开源组织的一部分。)
大约一年前,阿斯加尔偶然遇到了塔利,同时还获得了斯坦福大学教授们以及天使投资者的投资,此后风险投资机构开始纷纷联系他。公司上市后,一份融资条款清单便送到了阿斯加尔的桌上。他说,当风险投资机构得知他在考虑各种融资提议后,“大量资金涌了进来”,这轮融资很快就出现了超额认购的情况。
加上之前的种子轮融资,这家初创企业目前总共筹集到了9200万美元的资金,其中包括来自红杉资本的比尔·科夫兰、斯坦福大学教授尼克·麦基翁、VMware前首席执行官拉古·拉古拉姆以及英特尔CEO林普-布·坦等众多天使投资者的投资。该公司目前拥有30名员工。
其他投资者还包括曾领投其种子轮融资的Factory、Eclipse Ventures、Prosperity7以及英特尔资本。
相关文章
如何优化核心网络指标以提升SEO排名
借助人工智能生成的文字稿,革新您的视频剪辑工作流程目录:引言自动转录的关键优势确保准确性并优化输出结果利用转录文本的搜索功能现有文件的无缝导入Transcript.com 简介Transcript.com 让编辑变得简单灵活的导出格式全面的语言支持结语简介Transcripted 是一款利用人工智能生成自动转录文本的 Premiere 插件。本指南将深入探讨其核心功能,包括高准确率、高级搜索工具以
钉钉借助阿里AI的MuleRun重构架构,开启全代理时代
钉钉新任CEO兼悟空业务部负责人陈宇森在今天下午发布的一份内部备忘录中,公布了一项重大的组织架构调整。通过设立核心平台业务部并全面整合AI智能助手团队,钉钉正加速推进其企业协作生态系统的智能化转型。此次重组的核心在于将AI技术深度融入核心业务运营。钉钉已正式将悟空和MuleRun团队合并为统一的悟空团队,现由MuleRun前CTO舒俊良领导。 MuleRun是此前由陈宇森在阿里云内部开发并领导的A
如何优化核心网络指标以提升SEO排名
家乐福如何利用生成式人工智能重塑零售业引言埃莱娜·拉博姆:从法律界到电商领军人物家乐福:全球零售巨头家乐福的数字化转型家乐福的生成式人工智能战略家乐福生成式人工智能的实际应用案例研究 1:Opla——重新定义客户支持案例研究 2:Marketing Studio——AI 驱动的营销活动创建案例研究 3:产品内容丰富化的自动化挑战与局限性未来展望 优势前景与扩展策略结论作为全球最大的零售商之一,家乐
相关专题推荐
评论 (0)
0/500

斯坦福大学兼职教授兼成功创业公司创始人扎因·阿斯加尔为其旗下公司筹集到了8000万美元的A轮融资资金,该公司采用极为巧妙的方式解决了人工智能推理过程中的瓶颈问题。此轮融资由门洛风险投资领投。
这家名为Gimlet Labs的初创企业称,它打造了首个也是目前唯一的“多芯片推理云”——这类软件能够让人工智能任务同时在不同类型的硬件上运行,能够将任务分配到传统CPU、针对AI优化的GPU以及高内存系统之中。
“我们基本上会在任何可用的不同硬件上执行任务,”阿斯加尔对TechCrunch表示。
领投方门洛风险投资的蒂姆·塔利在一篇关于此次融资的博客文章中写道:“单个智能体可能会串联多个步骤,而每个步骤都需要不同的硬件:推理环节受计算能力限制,解码环节受内存容量限制,工具调用则受网络传输速度限制。”
目前还没有一款芯片能够同时承担所有这些功能,但随着新硬件的推出以及旧GPU的重新利用,“多芯片集群已经准备就绪——只是缺少让它们正常运行的软件层。”塔利认为Gimlet Labs正是提供了这样的解决方案。
麦肯锡预计,如果继续保持当前增加计算资源的趋势,到2030年数据中心的支出规模可能接近7万亿美元。阿斯加尔表示,如今的各类应用仅会在15%到30%的时间内使用现有的硬件。
“另一种理解方式是:由于让大量资源处于闲置状态,你们正在浪费数千亿美元的资源,”他说,“我们的目标基本上就是设法让人工智能任务的效率比现在高出10倍。”
于是他和他的联合创始人——米歇尔·阮、奥米德·阿齐兹以及娜塔莉·塞里诺——着手开发调度软件,该软件能够将智能体任务拆分,使其能够在各类硬件上同时运行。
Gimlet Labs称,在保持相同成本和能耗的前提下,该软件能够将人工智能推理速度提升3倍到10倍。该公司还声称可以拆分底层模型,让其在不同架构的硬件上运行,并为每一部分选择最合适的芯片。
该公司目前已与芯片制造商NVIDIA、AMD、英特尔、ARM、Cerebras以及d-Matrix建立了合作关系。
Gimlet的产品以软件形式或通过API提供给其自建的Gimlet Cloud平台,并非面向普通的人工智能应用开发者,而是针对规模最大的人工智能模型实验室和数据中心。
该公司于10月正式上市,据称开业之初就已获得了八位数的营收(至少1000万美元)。阿斯加尔表示,在过去四个月里,他的客户数量增长了一倍多,目前包括一家大型模型制造商以及一家规模极大的云计算公司,但他拒绝透露这些公司的名称。
这些联合创始人此前曾在Pixie这家初创企业共事过,该公司曾开发用于Kubernetes的开源可观测性工具。Pixie在2020年被New Relic收购,而它在获得由Benchmark领投的900万美元A轮融资仅两个月后就完成了被收购。(Pixie的技术现已成为负责管理Kubernetes的开源组织的一部分。)
大约一年前,阿斯加尔偶然遇到了塔利,同时还获得了斯坦福大学教授们以及天使投资者的投资,此后风险投资机构开始纷纷联系他。公司上市后,一份融资条款清单便送到了阿斯加尔的桌上。他说,当风险投资机构得知他在考虑各种融资提议后,“大量资金涌了进来”,这轮融资很快就出现了超额认购的情况。
加上之前的种子轮融资,这家初创企业目前总共筹集到了9200万美元的资金,其中包括来自红杉资本的比尔·科夫兰、斯坦福大学教授尼克·麦基翁、VMware前首席执行官拉古·拉古拉姆以及英特尔CEO林普-布·坦等众多天使投资者的投资。该公司目前拥有30名员工。
其他投资者还包括曾领投其种子轮融资的Factory、Eclipse Ventures、Prosperity7以及英特尔资本。
如何优化核心网络指标以提升SEO排名
借助人工智能生成的文字稿,革新您的视频剪辑工作流程目录:引言自动转录的关键优势确保准确性并优化输出结果利用转录文本的搜索功能现有文件的无缝导入Transcript.com 简介Transcript.com 让编辑变得简单灵活的导出格式全面的语言支持结语简介Transcripted 是一款利用人工智能生成自动转录文本的 Premiere 插件。本指南将深入探讨其核心功能,包括高准确率、高级搜索工具以
钉钉借助阿里AI的MuleRun重构架构,开启全代理时代
钉钉新任CEO兼悟空业务部负责人陈宇森在今天下午发布的一份内部备忘录中,公布了一项重大的组织架构调整。通过设立核心平台业务部并全面整合AI智能助手团队,钉钉正加速推进其企业协作生态系统的智能化转型。此次重组的核心在于将AI技术深度融入核心业务运营。钉钉已正式将悟空和MuleRun团队合并为统一的悟空团队,现由MuleRun前CTO舒俊良领导。 MuleRun是此前由陈宇森在阿里云内部开发并领导的A
如何优化核心网络指标以提升SEO排名
家乐福如何利用生成式人工智能重塑零售业引言埃莱娜·拉博姆:从法律界到电商领军人物家乐福:全球零售巨头家乐福的数字化转型家乐福的生成式人工智能战略家乐福生成式人工智能的实际应用案例研究 1:Opla——重新定义客户支持案例研究 2:Marketing Studio——AI 驱动的营销活动创建案例研究 3:产品内容丰富化的自动化挑战与局限性未来展望 优势前景与扩展策略结论作为全球最大的零售商之一,家乐





首页






