腾讯混元利用2位和1.25位量化技术,将其18亿参数的翻译模型压缩以适配边缘设备,在保持近乎无损质量的同时,将模型大小分别缩减至约574MB和440MB。 该解决方案已部署在哔哩哔哩,用于实时直播评论翻译,内存占用为500-700MB,处理评论耗时500-800毫秒,并通过本地运行降低成本并增强隐私保护。这标志着该技术已实现从实验室演示到移动和PC平台高并发商业应用的重大突破。
评论 (0)
0/300





首页
