谷歌发布Gemma 4 E2B架构,实现设备端AI领域的突破

开源大模型生态系统在其底层架构方面取得了重大突破。 谷歌DeepMind近期发布了迄今为止最强大的开源模型——Gemma4。尽管该模型的参数数量与前代产品相近,约为300亿,但其“每参数智能度”已实现显著飞跃。目前,该模型在多项核心任务上的表现已可与一年半前顶尖的闭源大模型相媲美。
Gemma4最引人注目的技术创新在于引入了全新的“E2B”(参数卸载)架构。在传统的Transformer设计中,大型嵌入层通常会消耗大量GPU内存。新架构巧妙地在每一层中添加了一个嵌入表,用查找表机制取代了耗资源的全矩阵乘法。 例如,在采用 E2B 架构的 500 亿参数模型中,只需将 200 亿参数加载到 GPU 内存中,其余 300 亿参数则可安全地卸载到 CPU 甚至磁盘上。 这使得模型仅需 2GB 的 GPU 内存即可进行快速推理,从而突破了手机和树莓派等边缘设备上的部署瓶颈。
作为一项极具雄心且复杂的发布,Google DeepMind 团队与近 50 家外部合作伙伴进行了协作,包括 Hugging Face、llama.cpp、Ollama、NVIDIA 和 AMD。目前,Gemma4 已与 Android Studio 深度集成。 开发者可在离线环境中安全地调用AI来本地编写Android代码,在“代理模式”下无需将任何代码上传至云API。这极大地满足了工作场所对数据隐私和离线工作的强烈需求。
在多模态能力和核心体验方面,Gemma4 继承了 Gemini3 的研究成果。即使是参数规模仅为 2B 或 4B 的小型边缘模型,也能提供出色的多语言支持(140 种语言)和多模态理解能力,轻松处理语音识别、语音查询以及 30 至 60 秒的视频分析。 尽管该模型在绝对知识容量上仍落后于更大规模的模型,且在文本扩散(Diffusion Transformer)和专家混合(MoE)微调等前沿实验领域面临业界公认的挑战,但其高密度智能已不容小觑。
随着大模型开箱即用的能力持续提升,垂直领域开发生态系统正在经历深刻的重构,而纯粹的传统微调方式正逐渐式微。 展望未来,谷歌 DeepMind 做出了一个里程碑式的预测:在未来一到两年内,用户的智能手机将能够直接在设备上运行性能相当于 Gemini3Pro 的强大模型。 届时,大多数复杂的智能代理任务都将本地完成,无需依赖云计算能力,这无疑将为下一代消费级应用集成和用户体验带来颠覆性的变革。
相关文章
优步人力资源部门4个月内将耗尽年度预算,裁减员工;官方否认与人工智能有关
优步(Uber)已启动人力资源部门的大规模重组,由新任总裁吉尔·哈泽尔贝克(Jill Hazelbaker)领导。此次重组将裁减该部门23%的员工,以优化运营效率。首席执行官达拉·科斯罗沙希在内部备忘录中澄清,此举旨在提升团队效能。公司发言人指出,此次裁员人数占优步3.4万名员工总数的不到1%。澄清裁员并非由人工智能驱动针对外界对自动化带来的担忧,优步确认此次裁员与人工智能的采用无关。哈泽尔贝克解
前TikTok高管推出一款基于人工智能的应用程序,帮助用户掌握拍照姿势
越来越多的企业开始利用人工智能图像生成技术,向用户传授摄影技巧。去年,谷歌在Pixel设备上推出了“相机教练”(Camera Coach)功能,帮助用户调整取景和构图;今年7月,Adobe在其实验性相机应用中推出了一项新功能,利用人工智能对照片进行点评并推荐调整方案。顺应这一趋势,前TikTok员工Melody Chu和Jing Liu即将推出一款名为“Superpose”的全新iOS应用,该应用
港股人工智能板块上涨,MiniMax与智谱股价表现强劲
5月27日,港股大模型概念板块展现出强劲势头。午盘前,MINIMAX-W(00100.HK)股价飙升逾8%,智谱(02513.HK)亦表现强劲,涨幅接近5%。1. 市场背景:AI龙头持续走强近期,港股大模型板块呈现出持续增长态势。市场数据显示,该板块在多个交易日中保持韧性:MINIMAX-W: 恒生指数公司于5月22日宣布将MiniMax纳入恒生科技指数后,市场关注度升温,推动股价表现活跃。行业协同效应: 作为港股市场的“AI大模型双子星”,MiniMax与智谱凭借深厚的技术实力和不断推
相关专题推荐
评论 (0)
0/500

开源大模型生态系统在其底层架构方面取得了重大突破。 谷歌DeepMind近期发布了迄今为止最强大的开源模型——Gemma4。尽管该模型的参数数量与前代产品相近,约为300亿,但其“每参数智能度”已实现显著飞跃。目前,该模型在多项核心任务上的表现已可与一年半前顶尖的闭源大模型相媲美。
Gemma4最引人注目的技术创新在于引入了全新的“E2B”(参数卸载)架构。在传统的Transformer设计中,大型嵌入层通常会消耗大量GPU内存。新架构巧妙地在每一层中添加了一个嵌入表,用查找表机制取代了耗资源的全矩阵乘法。 例如,在采用 E2B 架构的 500 亿参数模型中,只需将 200 亿参数加载到 GPU 内存中,其余 300 亿参数则可安全地卸载到 CPU 甚至磁盘上。 这使得模型仅需 2GB 的 GPU 内存即可进行快速推理,从而突破了手机和树莓派等边缘设备上的部署瓶颈。
作为一项极具雄心且复杂的发布,Google DeepMind 团队与近 50 家外部合作伙伴进行了协作,包括 Hugging Face、llama.cpp、Ollama、NVIDIA 和 AMD。目前,Gemma4 已与 Android Studio 深度集成。 开发者可在离线环境中安全地调用AI来本地编写Android代码,在“代理模式”下无需将任何代码上传至云API。这极大地满足了工作场所对数据隐私和离线工作的强烈需求。
在多模态能力和核心体验方面,Gemma4 继承了 Gemini3 的研究成果。即使是参数规模仅为 2B 或 4B 的小型边缘模型,也能提供出色的多语言支持(140 种语言)和多模态理解能力,轻松处理语音识别、语音查询以及 30 至 60 秒的视频分析。 尽管该模型在绝对知识容量上仍落后于更大规模的模型,且在文本扩散(Diffusion Transformer)和专家混合(MoE)微调等前沿实验领域面临业界公认的挑战,但其高密度智能已不容小觑。
随着大模型开箱即用的能力持续提升,垂直领域开发生态系统正在经历深刻的重构,而纯粹的传统微调方式正逐渐式微。 展望未来,谷歌 DeepMind 做出了一个里程碑式的预测:在未来一到两年内,用户的智能手机将能够直接在设备上运行性能相当于 Gemini3Pro 的强大模型。 届时,大多数复杂的智能代理任务都将本地完成,无需依赖云计算能力,这无疑将为下一代消费级应用集成和用户体验带来颠覆性的变革。
优步人力资源部门4个月内将耗尽年度预算,裁减员工;官方否认与人工智能有关
优步(Uber)已启动人力资源部门的大规模重组,由新任总裁吉尔·哈泽尔贝克(Jill Hazelbaker)领导。此次重组将裁减该部门23%的员工,以优化运营效率。首席执行官达拉·科斯罗沙希在内部备忘录中澄清,此举旨在提升团队效能。公司发言人指出,此次裁员人数占优步3.4万名员工总数的不到1%。澄清裁员并非由人工智能驱动针对外界对自动化带来的担忧,优步确认此次裁员与人工智能的采用无关。哈泽尔贝克解
前TikTok高管推出一款基于人工智能的应用程序,帮助用户掌握拍照姿势
越来越多的企业开始利用人工智能图像生成技术,向用户传授摄影技巧。去年,谷歌在Pixel设备上推出了“相机教练”(Camera Coach)功能,帮助用户调整取景和构图;今年7月,Adobe在其实验性相机应用中推出了一项新功能,利用人工智能对照片进行点评并推荐调整方案。顺应这一趋势,前TikTok员工Melody Chu和Jing Liu即将推出一款名为“Superpose”的全新iOS应用,该应用
港股人工智能板块上涨,MiniMax与智谱股价表现强劲
5月27日,港股大模型概念板块展现出强劲势头。午盘前,MINIMAX-W(00100.HK)股价飙升逾8%,智谱(02513.HK)亦表现强劲,涨幅接近5%。1. 市场背景:AI龙头持续走强近期,港股大模型板块呈现出持续增长态势。市场数据显示,该板块在多个交易日中保持韧性:MINIMAX-W: 恒生指数公司于5月22日宣布将MiniMax纳入恒生科技指数后,市场关注度升温,推动股价表现活跃。行业协同效应: 作为港股市场的“AI大模型双子星”,MiniMax与智谱凭借深厚的技术实力和不断推





首页






