AI算力争夺战:Cerebras会是下一个重磅产品吗?

运行 AI 模型对算力的需求持续激增,然而行业参与者仍面临两大关键障碍:获取合适的硬件,并将其部署到数据中心以开始产生收入。
General Compute 是一家专注于推理阶段的新兴云服务商,其专长在于模型响应用户而非进行训练的阶段,提供的解决方案凸显了 AI 生态系统不断演变的方向。这些战略优势促成了由 FUSE VC 领投、Carya Venture Partners 和 Village Global Ventures 等机构参与的 1500 万美元种子轮融资,投后估值为 6000 万美元。
确定最佳芯片是第一个挑战。尽管 GPU 需求飙升,但人们越来越认识到,它们并非运行已训练 AI 模型的最有效选择。推理的计算需求与训练存在显著差异,这促使开发出一类专门为此目的设计的芯片。Nvidia 去年 12 月以 200 亿美元收购 Groq,以及 Cerebras 上周进行的 570 亿美元 IPO,都凸显了这一转变。
鉴于 Groq 和 Cerebras 产能受限,General Compute 联合创始人兼首席执行官 Finn Puklowski 和首席技术官 Jason Goodison 找到了替代方案。他们与 SambaNova 合作,这是一家由 Intel 支持的芯片制造商,专注于推理解决方案,在硅谷受到的关注较少。
当 SambaNova 今年晚些时候发布其新芯片时,这种动态可能会发生变化。该架构提供了更大的灵活性,并利用更多内存来存储推理计算期间的上下文。SambaNova 声称,这些芯片的性能不仅优于 GPU,还优于 Groq 和 Cerebras 等竞争对手的专用硬件。据 Puklowski 介绍,新芯片的速度将达到每秒 600 至 700 个 token,而标准 GPU 的速度约为每秒 250 个 token。
General Compute 已订购价值 3 亿美元的 SambaNova SN50 芯片,并旨在成为首家部署这些芯片的新兴云服务商。
这些芯片还解决了第二个主要挑战:部署地点。由于它们采用风冷而非水冷,且功耗较低,因此可以集成到现有数据中心设施中,无需新的基础设施投资。
Puklowski 正在寻求托管协议,即 General Compute 在第三方设施中安装其硬件。这些合作伙伴关系超越了传统的数据中心提供商,包括寻求重新利用其基础设施的加密货币矿工,特别是当比特币挖矿成本往往超过其市场价值时。
General Compute 上周推出了其云服务,声称目前为 MiniMax 2.7(一款强大的开源大型语言模型)提供了最快的性能。
风险投资者 Joe Hasselmann 在 2021 年推理热潮初期投资了 Groq,今年推出了专注于 AI 的新基金 Evercrest Capital Partners,并将 General Compute 作为其首笔投资。Hasselmann 认为 SambaNova 与 General Compute 的合作类似于 Coreweave 与 Nvidia 的关系,以及 Groq 的芯片制造与其此前云服务提供的结合。
“他们需要多样化的客户群,将他们的芯片部署在高增长环境中,”Hasselmann 指出。“正如 General Compute 押注 SambaNova 一样,SambaNova 也在押注 General Compute。”
关键问题仍然是哪种计算机架构将在 AI 的未来中捕获最多的价值。推理云代表了对一个拥有多种模型和智能体、没有单一提供商占据主导地位、速度和成本成为主要竞争因素的格局的隐性押注。这反映在 OpenRouter 最近完成的 1.13 亿美元 B 轮融资中,该轮融资凸显了其为客户提供访问多种模型以优化 token 支出的能力。
速度对于定价和能力至关重要。Puklowski 旨在将长达一小时的编码智能体工作量缩短至五到十分钟,并通过实现更快的推理速度使客户服务音频智能体更具经济性,从而促进有效对话。
“如果你使用 ChatGPT,它每秒生成 50 个 token,这仍然比人类阅读速度快得多,”Puklowski 告诉 TechCrunch。“然而,随着向智能体对智能体交互的转变,其中智能体代表我们阅读或查询数据库,它们需要以高得多的速度运行。”
相关文章
那些令人毫无食欲的AI生成菜单背后的同质化问题
起初,你可能会怀疑自己的理智。你走进一家咖啡馆,浏览一份摆满贝果三明治的菜单,却发现每张图片都完美得令人不安——对称得无可挑剔,质感过于光滑——这触发了你本能的感觉:有什么地方不对劲。你并非在胡思乱想;你的直觉是正确的。生成式人工智能图像已经渗透进餐饮业,这些图像由训练有素的模型生成,其美学风格狭窄且“讨喜”,即使你无法立即解释原因,也会让人觉得 inherently(本质上)是错误的。有时,这些图像明显是伪造的,比如一个芝士气泡丰富、融化得如同前卫艺术而非食物的墨西哥卷饼。更多时候,它们看起来
Hello Robot 为硅谷推出家用机器人
加利福尼亚州的马丁内斯位于旧金山湾区最东北端,与硅谷这个科技中心相距甚远。这里有一家名为“Hello Robot”的初创公司,它刻意与仅在南边45英里处运营的南方竞争对手们那些夸夸其谈的宣传保持距离。上个月,Hello Robot推出了其家用辅助机器人“Stretch”的第四代产品。称其为类人机器人未免有些牵强。尽管它拥有一个隐约像人的躯干和一个装有传感器的头部,但其伸缩臂末端是钳子,且通过一个笨
前印孚瑟斯首席执行官的人工智能初创公司再获5300万美元融资
Hang Ten Systems,一家由前印孚瑟斯(Infosys)首席执行官 Vishal Sikka 在四个月前创立的人工智能初创公司,已获得额外的 5300 万美元种子轮融资。根据该公司向 TechCrunch 提供的声明,这一最新投资轮次在初始 3200 万美元种子轮融资结束仅仅五周后敲定。由淡马锡旗下早期投资平台 Xora 领投,这笔新资金使 Hang Ten 的总融资金额达到 8500 万美元。此前领投的 Mayfield 也参与了本轮投资。其他知名投资者包括 Aramco Ven
相关专题推荐
评论 (0)
0/500

运行 AI 模型对算力的需求持续激增,然而行业参与者仍面临两大关键障碍:获取合适的硬件,并将其部署到数据中心以开始产生收入。
General Compute 是一家专注于推理阶段的新兴云服务商,其专长在于模型响应用户而非进行训练的阶段,提供的解决方案凸显了 AI 生态系统不断演变的方向。这些战略优势促成了由 FUSE VC 领投、Carya Venture Partners 和 Village Global Ventures 等机构参与的 1500 万美元种子轮融资,投后估值为 6000 万美元。
确定最佳芯片是第一个挑战。尽管 GPU 需求飙升,但人们越来越认识到,它们并非运行已训练 AI 模型的最有效选择。推理的计算需求与训练存在显著差异,这促使开发出一类专门为此目的设计的芯片。Nvidia 去年 12 月以 200 亿美元收购 Groq,以及 Cerebras 上周进行的 570 亿美元 IPO,都凸显了这一转变。
鉴于 Groq 和 Cerebras 产能受限,General Compute 联合创始人兼首席执行官 Finn Puklowski 和首席技术官 Jason Goodison 找到了替代方案。他们与 SambaNova 合作,这是一家由 Intel 支持的芯片制造商,专注于推理解决方案,在硅谷受到的关注较少。
当 SambaNova 今年晚些时候发布其新芯片时,这种动态可能会发生变化。该架构提供了更大的灵活性,并利用更多内存来存储推理计算期间的上下文。SambaNova 声称,这些芯片的性能不仅优于 GPU,还优于 Groq 和 Cerebras 等竞争对手的专用硬件。据 Puklowski 介绍,新芯片的速度将达到每秒 600 至 700 个 token,而标准 GPU 的速度约为每秒 250 个 token。
General Compute 已订购价值 3 亿美元的 SambaNova SN50 芯片,并旨在成为首家部署这些芯片的新兴云服务商。
这些芯片还解决了第二个主要挑战:部署地点。由于它们采用风冷而非水冷,且功耗较低,因此可以集成到现有数据中心设施中,无需新的基础设施投资。
Puklowski 正在寻求托管协议,即 General Compute 在第三方设施中安装其硬件。这些合作伙伴关系超越了传统的数据中心提供商,包括寻求重新利用其基础设施的加密货币矿工,特别是当比特币挖矿成本往往超过其市场价值时。
General Compute 上周推出了其云服务,声称目前为 MiniMax 2.7(一款强大的开源大型语言模型)提供了最快的性能。
风险投资者 Joe Hasselmann 在 2021 年推理热潮初期投资了 Groq,今年推出了专注于 AI 的新基金 Evercrest Capital Partners,并将 General Compute 作为其首笔投资。Hasselmann 认为 SambaNova 与 General Compute 的合作类似于 Coreweave 与 Nvidia 的关系,以及 Groq 的芯片制造与其此前云服务提供的结合。
“他们需要多样化的客户群,将他们的芯片部署在高增长环境中,”Hasselmann 指出。“正如 General Compute 押注 SambaNova 一样,SambaNova 也在押注 General Compute。”
关键问题仍然是哪种计算机架构将在 AI 的未来中捕获最多的价值。推理云代表了对一个拥有多种模型和智能体、没有单一提供商占据主导地位、速度和成本成为主要竞争因素的格局的隐性押注。这反映在 OpenRouter 最近完成的 1.13 亿美元 B 轮融资中,该轮融资凸显了其为客户提供访问多种模型以优化 token 支出的能力。
速度对于定价和能力至关重要。Puklowski 旨在将长达一小时的编码智能体工作量缩短至五到十分钟,并通过实现更快的推理速度使客户服务音频智能体更具经济性,从而促进有效对话。
“如果你使用 ChatGPT,它每秒生成 50 个 token,这仍然比人类阅读速度快得多,”Puklowski 告诉 TechCrunch。“然而,随着向智能体对智能体交互的转变,其中智能体代表我们阅读或查询数据库,它们需要以高得多的速度运行。”
那些令人毫无食欲的AI生成菜单背后的同质化问题
起初,你可能会怀疑自己的理智。你走进一家咖啡馆,浏览一份摆满贝果三明治的菜单,却发现每张图片都完美得令人不安——对称得无可挑剔,质感过于光滑——这触发了你本能的感觉:有什么地方不对劲。你并非在胡思乱想;你的直觉是正确的。生成式人工智能图像已经渗透进餐饮业,这些图像由训练有素的模型生成,其美学风格狭窄且“讨喜”,即使你无法立即解释原因,也会让人觉得 inherently(本质上)是错误的。有时,这些图像明显是伪造的,比如一个芝士气泡丰富、融化得如同前卫艺术而非食物的墨西哥卷饼。更多时候,它们看起来
Hello Robot 为硅谷推出家用机器人
加利福尼亚州的马丁内斯位于旧金山湾区最东北端,与硅谷这个科技中心相距甚远。这里有一家名为“Hello Robot”的初创公司,它刻意与仅在南边45英里处运营的南方竞争对手们那些夸夸其谈的宣传保持距离。上个月,Hello Robot推出了其家用辅助机器人“Stretch”的第四代产品。称其为类人机器人未免有些牵强。尽管它拥有一个隐约像人的躯干和一个装有传感器的头部,但其伸缩臂末端是钳子,且通过一个笨
前印孚瑟斯首席执行官的人工智能初创公司再获5300万美元融资
Hang Ten Systems,一家由前印孚瑟斯(Infosys)首席执行官 Vishal Sikka 在四个月前创立的人工智能初创公司,已获得额外的 5300 万美元种子轮融资。根据该公司向 TechCrunch 提供的声明,这一最新投资轮次在初始 3200 万美元种子轮融资结束仅仅五周后敲定。由淡马锡旗下早期投资平台 Xora 领投,这笔新资金使 Hang Ten 的总融资金额达到 8500 万美元。此前领投的 Mayfield 也参与了本轮投资。其他知名投资者包括 Aramco Ven





首页






