LPM1.0模型能够基于单张图像生成实时交互式的数字人视频。

研究人员正式发布了LPM1.0模型,该项目旨在仅通过一张参考图像即可生成人们说话、倾听和唱歌的实时视频。其核心突破在于多模态处理技术——通过同步文本、音频与图像输入,打造出唇形匹配精准、面部表情细腻且情绪过渡自然的动态场景。该模型可直接与ChatGPT、豆包等主流语音AI平台集成,将传统的语音对话转化为带有视觉反馈的实时互动体验。
从技术层面来看,LPM1.0采用了“多粒度身份条件化”机制,能够从参考素材中提取多个角度和不同表情下的详细特征,从而无需让模型自行生成牙齿、皱纹或侧脸轮廓等复杂元素。这极大提升了跨风格处理能力——无需重新训练即可快速生成逼真的面部图像、动画或3D游戏角色。此外该模型还支持流式传输,即便生成长度达45分钟的视频也能保持系统稳定性。
在交互逻辑方面,LPM1.0能够准确识别三种对话状态:倾听时会产生点头或视线移动等相应表情;说话时会根据音频驱动身体动作和唇形变化;空闲状态下则会依据文本提示生成自然的休息姿态。项目负责人曾艾玲表示,LPM1.0不仅适用于实时对话,也适合离线音频驱动的视频生成,可为播客及电影制作提供技术冗余保障。
尽管该模型具备巨大的应用潜力,开发团队仍强调它目前仍处于研究阶段,暂无公开发布代码或权重计划的打算。研究人员承认生成的视频与真实影像之间存在质量差异,且其固有的深度伪造风险不容忽视。这项研究的意义在于为人工智能系统的未来发展指明了方向——即从单一的逻辑交互向融入情感反应、眼神交流及视觉呈现的多维度交互转变。
相关文章
韩国启动国家人工智能计算中心建设,投资2.5万亿韩元,目标2028年完成
韩国媒体EtNews报道,韩国AI计算中心(KOACC)的奠基仪式于8月3日在全罗南道顺天市的Solar City数据中心园区举行。该项目总投资额为2.5万亿韩元(约合118.38亿元人民币),计划于2028年投入运营,成为迄今为止韩国在AI基础设施领域规模最大的国家投资之一。该项目的股权分布凸显了深化政企合作的战略意图。三星SDS作为最大股东持有30%的股份,而包括科学技术信息通信部、金融监督院和国家成长基金在内的公共实体合计持有29%的股份。NAVER Cloud紧随其后,持股26.1%,
六大科技巨头向 Linux 基金会捐赠 1250 万美元,以应对人工智能漏洞噪音
为应对由人工智能自动化工具产生的大量低质量安全报告,六家主要科技公司——Anthropic、亚马逊(AWS)、GitHub、Google、Microsoft 和 OpenAI——共同向 Linux 基金会项目提供了 1250 万美元 的资金支持。这项投资旨在减轻开源软件(FOSS)维护者手动筛选的工作负担,使他们能够专注于真正的安全威胁。随着人工智能技术降低了漏洞发现的门槛,开源社区正面临前所未有的挑战:无效报告:自动生成的 AI 报告使维护者应接不暇。虽然数量庞大,但这些提交往往缺乏深度,
马斯克曾考虑将OpenAI留给他的孩子,而奥特曼正在作证
今早,OpenAI 首席执行官山姆·阿尔特曼出庭作证,回应前联合创始人埃隆·马斯克针对该公司企业结构提起的诉讼。当被问及马斯克声称其他联合创始人通过成立一家以营利为目的的子公司来推广基于人工智能的产品,从而“窃取了一家慈善机构”的说法时,阿尔特曼表现出明显的犹豫。“这种说法甚至让人难以理解,”阿尔特曼在停顿后说道,“我们成立的是全球最大的慈善机构之一。该基金会正在开展令人难以置信的工作,并将继续做更多事情。”马斯克的律师团队指出,OpenAI 基金会目前持有的资产价值约为 2000 亿美元
相关专题推荐
评论 (0)
0/500

研究人员正式发布了LPM1.0模型,该项目旨在仅通过一张参考图像即可生成人们说话、倾听和唱歌的实时视频。其核心突破在于多模态处理技术——通过同步文本、音频与图像输入,打造出唇形匹配精准、面部表情细腻且情绪过渡自然的动态场景。该模型可直接与ChatGPT、豆包等主流语音AI平台集成,将传统的语音对话转化为带有视觉反馈的实时互动体验。
从技术层面来看,LPM1.0采用了“多粒度身份条件化”机制,能够从参考素材中提取多个角度和不同表情下的详细特征,从而无需让模型自行生成牙齿、皱纹或侧脸轮廓等复杂元素。这极大提升了跨风格处理能力——无需重新训练即可快速生成逼真的面部图像、动画或3D游戏角色。此外该模型还支持流式传输,即便生成长度达45分钟的视频也能保持系统稳定性。
在交互逻辑方面,LPM1.0能够准确识别三种对话状态:倾听时会产生点头或视线移动等相应表情;说话时会根据音频驱动身体动作和唇形变化;空闲状态下则会依据文本提示生成自然的休息姿态。项目负责人曾艾玲表示,LPM1.0不仅适用于实时对话,也适合离线音频驱动的视频生成,可为播客及电影制作提供技术冗余保障。
尽管该模型具备巨大的应用潜力,开发团队仍强调它目前仍处于研究阶段,暂无公开发布代码或权重计划的打算。研究人员承认生成的视频与真实影像之间存在质量差异,且其固有的深度伪造风险不容忽视。这项研究的意义在于为人工智能系统的未来发展指明了方向——即从单一的逻辑交互向融入情感反应、眼神交流及视觉呈现的多维度交互转变。
韩国启动国家人工智能计算中心建设,投资2.5万亿韩元,目标2028年完成
韩国媒体EtNews报道,韩国AI计算中心(KOACC)的奠基仪式于8月3日在全罗南道顺天市的Solar City数据中心园区举行。该项目总投资额为2.5万亿韩元(约合118.38亿元人民币),计划于2028年投入运营,成为迄今为止韩国在AI基础设施领域规模最大的国家投资之一。该项目的股权分布凸显了深化政企合作的战略意图。三星SDS作为最大股东持有30%的股份,而包括科学技术信息通信部、金融监督院和国家成长基金在内的公共实体合计持有29%的股份。NAVER Cloud紧随其后,持股26.1%,
六大科技巨头向 Linux 基金会捐赠 1250 万美元,以应对人工智能漏洞噪音
为应对由人工智能自动化工具产生的大量低质量安全报告,六家主要科技公司——Anthropic、亚马逊(AWS)、GitHub、Google、Microsoft 和 OpenAI——共同向 Linux 基金会项目提供了 1250 万美元 的资金支持。这项投资旨在减轻开源软件(FOSS)维护者手动筛选的工作负担,使他们能够专注于真正的安全威胁。随着人工智能技术降低了漏洞发现的门槛,开源社区正面临前所未有的挑战:无效报告:自动生成的 AI 报告使维护者应接不暇。虽然数量庞大,但这些提交往往缺乏深度,
马斯克曾考虑将OpenAI留给他的孩子,而奥特曼正在作证
今早,OpenAI 首席执行官山姆·阿尔特曼出庭作证,回应前联合创始人埃隆·马斯克针对该公司企业结构提起的诉讼。当被问及马斯克声称其他联合创始人通过成立一家以营利为目的的子公司来推广基于人工智能的产品,从而“窃取了一家慈善机构”的说法时,阿尔特曼表现出明显的犹豫。“这种说法甚至让人难以理解,”阿尔特曼在停顿后说道,“我们成立的是全球最大的慈善机构之一。该基金会正在开展令人难以置信的工作,并将继续做更多事情。”马斯克的律师团队指出,OpenAI 基金会目前持有的资产价值约为 2000 亿美元





首页






