首页运行人工智能模型已成为一项内存挑战
关于人工智能基础设施成本的讨论往往聚焦于英伟达和GPU，但内存正逐渐成为这幅拼图中至关重要的一环。随着超大规模云服务商斥资数十亿美元建设新数据中心，DRAM芯片价格在过去一年里飙升了约七倍。
与此同时，一个日益兴起的新领域致力于协调管理这些内存，以确保正确的数据在正确的时间送达正确的AI代理。在这方面表现卓越的企业能够使用更少的令牌执行相同的查询——这一差异足以决定企业在竞争激烈的市场中的生存与否。
半导体分析师丹·奥劳克林（Dan O’Laughlin）在其Substack专栏中，通过与Weka首席AI官瓦尔·伯科维奇（Val Bercovici）的对话，对内存芯片的重要性提出了极具说服力的见解。两位专家均拥有半导体行业背景，因此他们的讨论侧重于硬件层面，但这对AI软件的启示同样意义重大。
其中一段尤为引人注目，伯科维奇在评论Anthropic公司提示词缓存文档日益复杂化的现象时指出：
线索就在Anthropic的提示缓存定价页面上。六七个月前，尤其是Claude Code发布之际，该页面还很简单，基本上就是说：“使用缓存，更便宜。”如今，它读起来却像是一本关于预购多少缓存写入量的建议百科全书。 你会看到行业常见的5分钟和1小时等时间段——但再长的时间段就没有了。这是一个耐人寻味的细节。当然，围绕缓存读取定价还存在各种套利机会，这取决于你预先购买了多少缓存写入次数。
核心问题在于Claude会在缓存中保留你的提示多长时间。你可以购买5分钟的时段，也可以选择更昂贵的小时级时段。访问仍处于缓存中的数据成本要低得多，因此有效的管理可以带来可观的节省。然而，这里有一个陷阱：查询中添加的每一条新数据都可能将缓存中的其他内容挤出。
尽管细节复杂，结论却很明确：AI模型内的内存管理将成为未来AI发展的关键因素。掌握这一技术的公司将获得显著的竞争优势。
这一新兴领域仍有巨大的发展空间。去年10月，我曾撰文介绍过一家名为TensorMesh的初创公司，该公司正在致力于技术栈中被称为“缓存优化”的这一层。
TechCrunch活动TechCrunch 2026 创始人峰会：门票开售
6月23日，波士顿 将迎来1,100余位创始人 齐聚TechCrunch 2026创始人峰会，共同度过聚焦增长、执行与实际规模化的一整天。向塑造了整个行业的创始人及投资人学习。与处于相似成长阶段的同行建立联系。带走可立即付诸实践的策略
购买个人通行证最高可节省300美元，四人及以上团队购买团体票最高可享30%折扣。
TechCrunch创始人峰会：门票开售
6月23日，波士顿将 迎来TechCrunch 2026创始人峰会 ，届时将有超过1,100位创始人齐聚一堂，共同度过一个专注于增长、执行与实际规模化发展的全天活动。向那些塑造了整个行业的创始人及投资者学习。与处于相似成长阶段的同行建立联系。带走可立即付诸实践的策略
购买通行证最高可节省300美元，四人及以上团队购买团体票最高可享30%折扣。
马萨诸塞州波士顿 | 2026年6月23日 立即注册技术栈的其他环节也蕴藏着机遇。例如，在更底层，存在数据中心如何利用不同类型内存的问题。（采访中包含关于何时使用DRAM芯片与HBM的深刻讨论，尽管内容相当技术性。）而在技术栈的更高层，终端用户正在学习如何构建模型集群，以有效利用共享缓存。
随着企业在内存编排方面的能力提升，其消耗的令牌将减少，从而降低推理成本。与此同时，模型在处理每个令牌时的效率也在提高，进一步推动成本下降。随着服务器支出的减少，许多目前被认为不可行的应用将开始接近盈利。
相关文章
AstroForge 部署人工智能控制下一代航天器
抵达小行星、安全着陆并执行完美机动听起来简单——但远非易事。探索太阳系的 NASA 航天器依赖冗余设计和自动化，但地球上的飞行控制人员仍管理着大部分操作。例如，2018 年的 Osiris-Rex 小行星任务，每班八小时需要 100 名操作员。初创公司缺乏此类资源，因此小行星采矿技术开发商 AstroForge 转向人工智能。该公司为其航天器构建了“Solo”，这是一个基于 Transformer 的内部自主控制堆栈。AstroForge 计划于 2027 年通过 Stock Space
由里德·霍夫曼和马克·平库斯联合创立的新AI实验室Prentis，正在洽谈筹集1亿美元资金。
据两位知情人士透露，专注于计算机使用模型的新兴AI研究实验室Prentis，由连续创业者Ritankar Das与科技行业资深人士Reid Hoffman和Mark Pincus联合创立，目前正在谈判以10亿美元的估值筹集1亿美元资金。自今年4月推出以来，Prentis一直在训练模型，使其掌握办公人员在各种文档和系统中处理的常规工作流程，旨在创建能够控制计算机以自动化这些任务的AI代理。Prentis计划开发针对特定客户需求定制的代理，例如处理保险索赔和自动化关税退税例外情况，从而消除人类手
DeepMind 三人组打造的扑克 AI 现在正为量化对冲基金创造回报
三位前 DeepMind 研究人员此前曾开发出能够击败人类扑克冠军的人工智能，如今他们将该技术转向金融市场——且该策略正带来显著回报。据 TechCrunch 报道，这家总部位于布拉格的 AI 企业 EquiLibre Technologies 在完成一轮未披露金额的 A 轮融资后，估值已达 5 亿美元。Creandum 领投了本轮融资。尽管这家风险投资公司未披露具体金额，但其副总裁 Cameron Sellers 告诉 TechCrunch，这代表该公司有史以来对单一公司的最大单笔投资。扑
相关专题推荐
设计与艺术
顶级AI插画工具：更快地创作编辑类场景和封面插图
2026年最新高评分AI插画工具：我们精心挑选的这份清单汇集了功能强大的顶级工具，助您快速创作令人惊艳的编辑场景和引人注目的封面艺术。每款工具都经过了严格的实际测试，并提供了免费版与付费版的对比，帮助您找到最适合您工作流程的工具。 立即尝试这些必试解决方案，释放您的AI优势，提升创作效率。立即访问 XIX.AI 探索更多。
10 个工具
xix.ai
教育与学习
备考首选的顶尖AI辅导老师：练习数学、科学和英语
2026年最新、评分最高的考试备考AI辅导工具现已登陆XIX.AI！我们精心筛选的这份清单汇集了多款功能强大、颠覆传统的工具，提供免费与付费版本的对比、实际测试以及每周更新的排行榜。它们能帮助你提升写作效率、简化复杂主题的学习，并释放你的学术潜能。 立即探索，发现最适合您的备考工具，今天就开始创作，释放您的AI优势！
10 个工具
xix.ai
金融
用于个人财务管理的 AI 预算规划工具
2026 年最新最佳顶级评分 AI 预算规划工具，专为个人财务管理打造，现已登陆 XIX.AI！本精选合集收录了强大且具颠覆性的解决方案，助您开展实际测试、理解消费习惯，并制定个性化计划以提升生产力。享受免费与付费版的对比及详细排名。这些必试工具旨在简化财务管理，助您释放 AI 优势。立即探索！
11 个工具
xix.ai
健康养生
AI睡眠追踪助手：通过养成更好的睡前习惯来促进身体恢复
2026年最新精选高评分AI睡眠追踪助手，助您实现最佳恢复效果。这份全面更新的每周指南汇集了强大的工具，提供实际测试结果、免费与付费版本对比以及详细排名，助您找到必试的解决方案，从而提升睡眠质量并养成更好的就寝习惯。 立即访问 XIX.AI，解锁您的AI优势。
10 个工具
xix.ai
数据分析
用于产品和收入分析的 AI SQL 辅助工具
2026年最新、最受欢迎、评分最高的AI SQL辅助工具，助力产品与营收分析！ XIX.AI 精心遴选了一系列功能强大、颠覆性的必试工具，这些工具均经过每周更新的排名体系进行实战测试。它们能通过加速数据分析、简化复杂查询并生成精准洞察，帮助用户显著提升工作效率，从而推动更明智的商业决策。立即探索，发现最适合您的工具，释放您的AI优势！
14 个工具
xix.ai
教育与学习
最佳的、兼具教学功能的AI作业助手：学习概念，而不仅仅是答案
2026年最新最佳高评分AI作业助手：不仅提供答案，更传授核心概念。专为学生打造的强大工具，精选必试清单，每周更新，免费与付费版本对比，真实使用测试，精准排名，助您充分释放学习潜能。立即探索，发现最适合您的工具，让学习更高效。
10 个工具
xix.ai
评论 (1)
0/500
![NicholasNelson]()
這篇文章點出了AI發展中常被忽略的記憶體瓶頸，挺有意思的。大家都在搶GPU，但DRAM價格一年漲七倍也太誇張了吧！這會不會讓小公司更難玩得起AI啊？🤔
关于人工智能基础设施成本的讨论往往聚焦于英伟达和GPU，但内存正逐渐成为这幅拼图中至关重要的一环。随着超大规模云服务商斥资数十亿美元建设新数据中心，DRAM芯片价格在过去一年里飙升了约七倍。
与此同时，一个日益兴起的新领域致力于协调管理这些内存，以确保正确的数据在正确的时间送达正确的AI代理。在这方面表现卓越的企业能够使用更少的令牌执行相同的查询——这一差异足以决定企业在竞争激烈的市场中的生存与否。
半导体分析师丹·奥劳克林（Dan O’Laughlin）在其Substack专栏中，通过与Weka首席AI官瓦尔·伯科维奇（Val Bercovici）的对话，对内存芯片的重要性提出了极具说服力的见解。两位专家均拥有半导体行业背景，因此他们的讨论侧重于硬件层面，但这对AI软件的启示同样意义重大。
其中一段尤为引人注目，伯科维奇在评论Anthropic公司提示词缓存文档日益复杂化的现象时指出：
线索就在Anthropic的提示缓存定价页面上。六七个月前，尤其是Claude Code发布之际，该页面还很简单，基本上就是说：“使用缓存，更便宜。”如今，它读起来却像是一本关于预购多少缓存写入量的建议百科全书。 你会看到行业常见的5分钟和1小时等时间段——但再长的时间段就没有了。这是一个耐人寻味的细节。当然，围绕缓存读取定价还存在各种套利机会，这取决于你预先购买了多少缓存写入次数。
核心问题在于Claude会在缓存中保留你的提示多长时间。你可以购买5分钟的时段，也可以选择更昂贵的小时级时段。访问仍处于缓存中的数据成本要低得多，因此有效的管理可以带来可观的节省。然而，这里有一个陷阱：查询中添加的每一条新数据都可能将缓存中的其他内容挤出。
尽管细节复杂，结论却很明确：AI模型内的内存管理将成为未来AI发展的关键因素。掌握这一技术的公司将获得显著的竞争优势。
这一新兴领域仍有巨大的发展空间。去年10月，我曾撰文介绍过一家名为TensorMesh的初创公司，该公司正在致力于技术栈中被称为“缓存优化”的这一层。
TechCrunch活动TechCrunch 2026 创始人峰会：门票开售
6月23日，波士顿 将迎来1,100余位创始人 齐聚TechCrunch 2026创始人峰会，共同度过聚焦增长、执行与实际规模化的一整天。向塑造了整个行业的创始人及投资人学习。与处于相似成长阶段的同行建立联系。带走可立即付诸实践的策略
购买个人通行证最高可节省300美元，四人及以上团队购买团体票最高可享30%折扣。
TechCrunch创始人峰会：门票开售
6月23日，波士顿将 迎来TechCrunch 2026创始人峰会 ，届时将有超过1,100位创始人齐聚一堂，共同度过一个专注于增长、执行与实际规模化发展的全天活动。向那些塑造了整个行业的创始人及投资者学习。与处于相似成长阶段的同行建立联系。带走可立即付诸实践的策略
购买通行证最高可节省300美元，四人及以上团队购买团体票最高可享30%折扣。
马萨诸塞州波士顿 | 2026年6月23日 立即注册技术栈的其他环节也蕴藏着机遇。例如，在更底层，存在数据中心如何利用不同类型内存的问题。（采访中包含关于何时使用DRAM芯片与HBM的深刻讨论，尽管内容相当技术性。）而在技术栈的更高层，终端用户正在学习如何构建模型集群，以有效利用共享缓存。
随着企业在内存编排方面的能力提升，其消耗的令牌将减少，从而降低推理成本。与此同时，模型在处理每个令牌时的效率也在提高，进一步推动成本下降。随着服务器支出的减少，许多目前被认为不可行的应用将开始接近盈利。
AstroForge 部署人工智能控制下一代航天器
抵达小行星、安全着陆并执行完美机动听起来简单——但远非易事。探索太阳系的 NASA 航天器依赖冗余设计和自动化，但地球上的飞行控制人员仍管理着大部分操作。例如，2018 年的 Osiris-Rex 小行星任务，每班八小时需要 100 名操作员。初创公司缺乏此类资源，因此小行星采矿技术开发商 AstroForge 转向人工智能。该公司为其航天器构建了“Solo”，这是一个基于 Transformer 的内部自主控制堆栈。AstroForge 计划于 2027 年通过 Stock Space
由里德·霍夫曼和马克·平库斯联合创立的新AI实验室Prentis，正在洽谈筹集1亿美元资金。
据两位知情人士透露，专注于计算机使用模型的新兴AI研究实验室Prentis，由连续创业者Ritankar Das与科技行业资深人士Reid Hoffman和Mark Pincus联合创立，目前正在谈判以10亿美元的估值筹集1亿美元资金。自今年4月推出以来，Prentis一直在训练模型，使其掌握办公人员在各种文档和系统中处理的常规工作流程，旨在创建能够控制计算机以自动化这些任务的AI代理。Prentis计划开发针对特定客户需求定制的代理，例如处理保险索赔和自动化关税退税例外情况，从而消除人类手
DeepMind 三人组打造的扑克 AI 现在正为量化对冲基金创造回报
三位前 DeepMind 研究人员此前曾开发出能够击败人类扑克冠军的人工智能，如今他们将该技术转向金融市场——且该策略正带来显著回报。据 TechCrunch 报道，这家总部位于布拉格的 AI 企业 EquiLibre Technologies 在完成一轮未披露金额的 A 轮融资后，估值已达 5 亿美元。Creandum 领投了本轮融资。尽管这家风险投资公司未披露具体金额，但其副总裁 Cameron Sellers 告诉 TechCrunch，这代表该公司有史以来对单一公司的最大单笔投资。扑
2026年最新高评分AI插画工具：我们精心挑选的这份清单汇集了功能强大的顶级工具，助您快速创作令人惊艳的编辑场景和引人注目的封面艺术。每款工具都经过了严格的实际测试，并提供了免费版与付费版的对比，帮助您找到最适合您工作流程的工具。 立即尝试这些必试解决方案，释放您的AI优势，提升创作效率。立即访问 XIX.AI 探索更多。
10 个工具
xix.ai
2026年最新、评分最高的考试备考AI辅导工具现已登陆XIX.AI！我们精心筛选的这份清单汇集了多款功能强大、颠覆传统的工具，提供免费与付费版本的对比、实际测试以及每周更新的排行榜。它们能帮助你提升写作效率、简化复杂主题的学习，并释放你的学术潜能。 立即探索，发现最适合您的备考工具，今天就开始创作，释放您的AI优势！
10 个工具
xix.ai
2026 年最新最佳顶级评分 AI 预算规划工具，专为个人财务管理打造，现已登陆 XIX.AI！本精选合集收录了强大且具颠覆性的解决方案，助您开展实际测试、理解消费习惯，并制定个性化计划以提升生产力。享受免费与付费版的对比及详细排名。这些必试工具旨在简化财务管理，助您释放 AI 优势。立即探索！
11 个工具
xix.ai
2026年最新精选高评分AI睡眠追踪助手，助您实现最佳恢复效果。这份全面更新的每周指南汇集了强大的工具，提供实际测试结果、免费与付费版本对比以及详细排名，助您找到必试的解决方案，从而提升睡眠质量并养成更好的就寝习惯。 立即访问 XIX.AI，解锁您的AI优势。
10 个工具
xix.ai
2026年最新、最受欢迎、评分最高的AI SQL辅助工具，助力产品与营收分析！ XIX.AI 精心遴选了一系列功能强大、颠覆性的必试工具，这些工具均经过每周更新的排名体系进行实战测试。它们能通过加速数据分析、简化复杂查询并生成精准洞察，帮助用户显著提升工作效率，从而推动更明智的商业决策。立即探索，发现最适合您的工具，释放您的AI优势！
14 个工具
xix.ai
2026年最新最佳高评分AI作业助手：不仅提供答案，更传授核心概念。专为学生打造的强大工具，精选必试清单，每周更新，免费与付费版本对比，真实使用测试，精准排名，助您充分释放学习潜能。立即探索，发现最适合您的工具，让学习更高效。
10 个工具
xix.ai
這篇文章點出了AI發展中常被忽略的記憶體瓶頸，挺有意思的。大家都在搶GPU，但DRAM價格一年漲七倍也太誇張了吧！這會不會讓小公司更難玩得起AI啊？🤔
