> 导语：今日AI界风起云涌，视频生成领域的技术竞赛进入白热化阶段。生数科技Vidu与火山引擎豆包纷纷亮剑，开放API并上线新功能，致力于提升视频内容的真实感与叙事性。与此同时，Runway将目光投向垂直行业，开放模型微调权限，推动AI在机器人与建筑业的深度应用。资本市场同样热闹非凡，LiblibAI创下国内AI应用单笔融资新高，而Snapchat则向全体用户免费开放AI图像生成功能，社交媒体的AI之战愈演愈烈。腾讯亦在3D重建技术上取得突破，发布混元世界模型1.1，大幅降低了3D内容创作的门槛。

---

## Vidu大模型API全面开放，开启“精工”视频时代
生数科技正式开放旗下Vidu Q2参考生视频大模型的API接口，此举标志着AI视频生成技术正从基础的“可用”阶段，迈向追求细节与质感的“精工”阶段。该模型凭借其卓越的画面一致性、细腻的情感表达能力以及强大的创意特效引擎，将在广告营销、电商商品展示、互动娱乐及动漫制作等领域发挥巨大潜力，有望显著提升内容的真实感与用户的转化率，为数字内容创作行业带来一场深刻的变革。

![image.png](https://static.downly.cn/images/0e00ec699801877681208fba11200e16.png)
图源备注：图片由AI生成
 

## 豆包视频模型精准叙事，首尾帧功能惊艳上线
火山引擎发布的豆包视频生成模型Seedance 1.0 pro，近期上线了一项创新的“首尾帧”能力。该功能通过在复杂场景中保持主体一致性、遵循物理规律以及进行精确的节奏推理，极大地增强了视频中主角的跟随效果。这使得AI生成的视频能够实现更精准的叙事和更强的沉浸感，为广大企业和个人创作者提供了一款强大的AI视频创作新工具。

![image.png](https://static.downly.cn/images/e2d72fee00a4b87866826f5265586b84.png)
图源备注：图片由AI生成
 

## Runway聚焦垂直应用，开放模型微调权限赋能行业革新
AI视频领域的先驱Runway推出了视频模型微调工具，将业务重心进一步拓展至行业应用。这项新功能旨在帮助机器人、建筑业和教育等垂直领域的合作伙伴，使用更少的数据和算力就能定制化AI模型。此举解决了通用大模型在专业领域表现力不足的痛点，简化了模型定制流程，标志着Runway正向着更深度的产业赋能方向发展。

![image.png](https://static.downly.cn/images/fbbdebbfac0d98645ad356a5b7f4aa03.png)
图源备注：图片由AI生成
 

## 资本风向标转向，LiblibAI斩获1.3亿美元巨额融资
国内AI应用公司LiblibAI近日宣布完成1.3亿美元的B轮融资，刷新了国内AI应用领域的单笔融资金额记录。本轮融资由红杉中国、CMC资本等多家知名机构联合投资，现有股东也超额增持。这一事件标志着资本市场的关注点正从AI的底层基础设施模型，逐渐转移到更具商业潜力和落地前景的应用层。

![image.png](https://static.downly.cn/images/d118232b6c0eb1d1a497c2fad69c2310.png)
图源备注：图片由AI生成
 

## Snapchat免费开放Imagine Lens，全民AI创作时代来临
为应对来自Meta AI和OpenAI在视频领域的激烈竞争，Snapchat宣布向所有用户免费开放其AI图像生成工具“Imagine Lens”。这一原先的付费功能，现在允许任何用户通过简单的文本提示来创作或编辑图片。此举旨在吸引年轻用户，将专业的AI创作能力普及化，让AI生成内容成为全民参与的社交新玩法。

![image.png](https://static.downly.cn/images/11898d4eeebe25c8caedba0272f4a2a2.png)
图源备注：图片由AI生成
 

## 腾讯混元世界模型1.1发布，秒级生成专业级3D场景
腾讯正式开源了混元世界模型1.1版本，该模型在3D重建技术上实现了重大突破。新版本增加了对多视图和视频输入的支持，并经过性能优化，可在单张显卡上高效部署。用户现在可以利用几张图片或一段短视频，在数秒内生成专业级别的3D场景。该模型的发布极大地降低了3D内容创作的技术门槛，让普通用户也能轻松进入3D世界。

![image.png](https://static.downly.cn/images/17bafc244e4fbc16b534ee735cb693fb.png)
图源备注：图片由AI生成

每日AI资讯1023：视频生成模型军备竞赛升级，AI应用层获资本青睐

> 导语：今日AI领域精彩纷呈，技术革新正深刻改变着数字内容的创作与消费方式。从Luma AI的推理视频模型，到腾讯混元的分钟级3D创作工具，再到阿里云开源的动作生成模型，AI正在将专业级的影视与3D制作能力普及化。同时，AI也在重塑我们的怀旧体验与工作效率，无论是腾讯视频通过AI修复经典老片，还是Notion、微软Teams推出的AI智能体，都在深刻地改变着我们的娱乐和工作模式。

## AI修复经典，腾讯视频让老剧焕发4K新生

腾讯视频近期上线了“AI修复”片单，利用先进的AI技术，将《家有儿女》、《食神》等一批承载着观众集体回忆的经典影视作品，成功修复至4K超高清画质。这项技术不仅提升了分辨率，还显著增强了画面的纯净度与播放流畅度，为SVIP用户带来了“臻彩MAX”的一键升级观影体验，让模糊的记忆瞬间变得清晰，引发了一波怀旧热潮。

![image.png](https://static.downly.cn/images/5330f3e9a8a4ce0c837ed52f545211d4.png)
<center>图源备注：图片由AI生成</center>
 

## AI“听诊”超声波，香港“聆音”大模型让诊断更轻松

为了应对超声科医生严重短缺的现状，香港中科院团队研发了名为“聆音”（EchoCare）的超声大模型。该模型基于全球首个超400万张超声影像的数据集进行训练，旨在提升诊断的效率与准确性。面对中国每年高达20亿次的检查需求和15万名医生的缺口，“聆音”的出现有望大大缩短医生的培养周期，让AI成为医生的得力助手。

![image.png](https://static.downly.cn/images/fce9ed72cfdff05ef190de7d33980c83.png)
<center>图源备注：图片由AI生成</center>
 

## 阿里云Wan2.2-Animate模型开源，人人都是动作导演

阿里云最近全面开源了其新一代动作生成模型Wan2.2-Animate。该模型在生成视频的人物一致性和动作质量上实现了巨大飞跃，无论是短视频创作、舞蹈模仿还是动漫制作，用户都能轻松上手。模型支持动作模仿和角色扮演两种模式，创作者可以通过GitHub等平台免费获取，极大地降低了高质量动画制作的技术门槛。

![image.png](https://static.downly.cn/images/ac11a65ff2e32754d632d00e93a92ec7.png)
<center>图源备注：图片由AI生成</center>
 

## AI音乐创作迎革命，Suno v5模型即将震撼发布

AI音乐生成领域的领跑者Suno公司，即将在全球范围内推出其第五代音乐模型“v5”。从发布的预告视频来看，新模型在音乐质量、可控性和创造性上都将有“变革性”的提升。v5的发布预示着AI音乐创作将进入一个新纪元，进一步模糊人机创作的界限，让无论是音乐爱好者还是专业制作人，都能以前所未有的便捷方式，将脑海中的旋律变为现实。

![image.png](https://static.downly.cn/images/14f8d1aaa759386f68ba4c5f0bac46b9.png)
<center>图源备注：图片由AI生成</center>
 

## 3D创作进入“分钟”时代，腾讯混元3D Studio惊艳亮相

腾讯混元3D Studio的推出，彻底颠覆了传统3D资产的生产流程。这款专为3D设计师和游戏开发者打造的AI工作台，将原本以“天”为单位的3D建模和创作周期，极速缩短至“分钟”级别。它支持从文本到图像生成，再到任意姿势的角色转换，实现了从概念设计到动画制作的全流程一站式AI创作体验。

![image.png](https://static.downly.cn/images/19ce0d0f51846f835ea33211d223e75e.png)
<center>图源备注：图片由AI生成</center>
 

## Luma Ray 3模型发布，AI视频一键“思考”生成4K大片

Luma AI公司发布了全球首个“推理视频模型”——Ray 3。这个模型内置了强大的多模态推理系统，能够深刻理解用户的意图，自主规划复杂的场景并进行自我评估和修正。它就像一位经验丰富的动画师，能够将简单的草图或文字描述，一步步“思考”并创作出电影级别的4K HDR视频，极大地提升了AI视频生成的艺术性和准确性。

![image.png](https://static.downly.cn/images/654106a08f3a69cc222bd2f424ab8239.png)
<center>图源备注：图片由AI生成</center>
 

## 数据价值引关注，Reddit与谷歌重议AI合作

社交媒体平台Reddit正在与科技巨头谷歌就AI数据交易展开新一轮谈判。Reddit希望在这次合作中争取到更有利的条款，旨在获得更多资金支持，并提升自身在谷歌AI生态中的战略地位。此次谈判也反映出AI时代下，内容平台正在积极探索如何平衡用户数据价值与商业变现，以开创新的收入来源。

![image.png](https://static.downly.cn/images/cac374fcabe6ca96fe88dfb7f1793b3b.png)
<center>图源备注：图片由AI生成</center>
 

## 谷歌联手PayPal，AI智能体将重塑电商购物体验

谷歌与支付巨头PayPal宣布达成一项多年的深度合作。双方将融合谷歌领先的AI技术与PayPal成熟的支付基础设施，共同打造由“智能体”（Agent）驱动的全新AI购物体验。这项合作将重点推广谷歌新推出的Agent支付协议，未来，AI助手或许能帮你完成从挑选商品到完成支付的全过程，预示着电商生态可能迎来重大变革。

![image.png](https://static.downly.cn/images/9a63d9d2d5186f9068bd5100b39274e7.png)
<center>图源备注：图片由AI生成</center>
 

## Meta推出Hyperscape Capture，人人都是VR场景构建师

Meta公司为Quest 3用户带来了一款名为Hyperscape Capture的Beta版工具，它让普通用户也能轻松创建照片级的VR场景。通过这项工具，用户可以扫描现实世界中的任何物体或空间，并将其以极高的保真度在VR中重现。这标志着去年大会上承诺的高斯飞溅技术正式向消费级应用开放，极大地推动了虚拟现实体验的真实感和沉浸感。

![image.png](https://static.downly.cn/images/e87e6de686ad93daf6fb30b715a4e095.png)
<center>图源备注：图片由AI生成</center>
 

## Notion发布AI智能体，你的专属自动化工作秘书

生产力工具Notion推出了其首个AI智能体，将自动化提升到了新高度。这个智能体能够深度整合用户所有的Notion页面和数据库，自动完成生成会议纪要、撰写竞品分析报告等复杂任务。它甚至能连接Slack、邮件等外部平台，根据收到的信息自动创建和更新数据库，20分钟内处理数百页文档，堪称一个不知疲倦的超级秘书。

![image.png](https://static.downly.cn/images/404bae6d5e9c3f9c16cb264059047a35.png)
<center>图源备注：图片由AI生成</center>
 

## 微软为Teams引入AI助手，会议从此高效不超时

微软为其协作平台Teams上线了全新的AI助手功能，专供Microsoft 365 Copilot用户使用。该助手的核心是“主持人助手”，它可以在会议中实时发挥作用，不仅能自动生成会议纪要、回答与会者提问，还能主动管理会议议程、合理分配发言时间，有效防止会议超时。移动端助手的同步推出，让高效协作随时随地发生。

![image.png](https://static.downly.cn/images/c1f2bab301f96490d49b20710ed05d8a.png)
<center>图源备注：图片由AI生成</center>

每日AI资讯0920：AI重塑数字内容创作，从经典修复到分钟级3D建模

> 科技巨头的AI竞赛愈演愈烈，本日焦点无疑是谷歌。从开源手机端多模态模型Gemma3n，到用Gemini全面取代谷歌助手，再到推出Offerwall工具应对AI搜索冲击，谷歌正以前所未有的力度将其AI能力渗透到从底层技术到上层应用的每一个角落。与此同时，AI在内容创作领域的革命也在加速，HeyGen的一键视频生成工具和Suno对音乐编辑软件的收购，预示着一个普通人也能轻松创作专业级内容的时代正在到来。而在这场变革的背后，Meta与OpenAI的人才争夺战，则揭示了驱动这一切的核心——顶尖智慧的激烈角逐。

## 手机也能跑云端AI 谷歌开源多模态模型Gemma3n

谷歌近日投下一枚重磅炸弹，正式开源了其全新的端侧多模态大模型[Gemma3n](https://huggingface.co/collections/google/gemma-3n-685065323f5984ef315c93f4)。该系列模型旨在将以往依赖云端服务器的强大AI能力，直接带入用户的个人设备中。Gemma3n提供了E2B和E4B两个版本，以其惊人的小体积和高内存效率，实现了在手机等移动设备上进行复杂的图像、音频、视频及文本处理。


![image.png](https://static.downly.cn/images/6510a108a2a3ef47c21d515ab39ec1b2.png)


得益于MatFormer、PLE、KV Cache共享等一系列创新技术，Gemma3n不仅在多语言理解、数学、编码方面表现出色，其推理能力也获得了显著提升。此举无疑将极大地推动移动应用和智能硬件的创新，让AI真正无缝融入我们的日常生活。

## 再见Google助手 Gemini全面接管安卓智能体验

谷歌正式宣布，其强大的AI助手Gemini将全面整合进Android手机系统，并于7月7日起逐步上线。这意味着，经典的Google Assistant将逐渐退出历史舞台。更新后，用户无需打开特定应用，即可通过Gemini执行拨打电话、发送消息等日常操作，实现更深层次的系统级智能交互。
![image.png](https://static.downly.cn/images/e5b9fae8f48fca6eeeec8419ca4c560f.png)


针对用户普遍关心的隐私问题，谷歌也给出了解决方案。用户可以随时在设置中禁用“应用活动”选项，从而阻止自己的聊天记录被用于AI模型的训练，确保个人数据的安全。Gemini的全面上位，标志着Android设备将迎来一个更便捷、更智能也更注重隐私的AI新时代。

## 谷歌推新利器Offerwall 力挽AI搜索狂澜助出版商增收

随着AI驱动的搜索（如SGE）逐渐改变用户获取信息的方式，传统网站和内容出版商面临着流量下滑的巨大挑战。为此，谷歌在Ad Manager中免费推出了名为Offerwall的全新工具，旨在帮助出版商开辟新的变现途径。Offerwall允许读者通过多种方式灵活地访问付费内容，例如完成一次小额支付、观看一段广告视频，或是参与一项简短的调查。


![image.png](https://static.downly.cn/images/f7ce2b0b795478a996a134f834ac0bca.png)


在一千家出版商参与的前期测试中，该工具取得了显著成效，平均为他们带来了9%的收入提升。这对于在AI浪潮中寻求生存与发展的数字内容创作者而言，无疑是一个积极的信号。

## 一键生成爆款视频 HeyGen推出AI视频代理颠覆内容创作

视频创作的门槛正在被AI彻底打破。知名AI视频公司HeyGen最近推出了一款革命性的“AI视频Agent”，它能够将视频制作流程完全自动化。用户只需上传图片、视频片段或简单的文本描述，这个AI代理就能自动完成从故事构思、脚本撰写到镜头选择、剪辑合成的全过程。


![image.png](https://static.downly.cn/images/663d105e0649f0eada2cbe256056d471.png)


在短短几分钟内，即便是毫无经验的普通人也能生成一部专业水准的视频。这项技术为广告营销、短视频内容生产等领域提供了前所未有的高效解决方案，让内容创作者能以更低的成本和更高的效率，将创意变为现实。

## AI人才争夺白热化 Meta从OpenAI挖走顶尖研究员

AI领域的竞争，归根结底是顶尖人才的竞争。近日，Meta公司成功从其主要竞争对手OpenAI挖角，引进了强化学习和AI推理领域的顶尖研究员Trapit Bansal。他将加入Meta内部一个星光熠熠的“AI超级智能部门”，该部门由前Scale AI首席执行官领导，并已吸引了多位来自Open-AI和Google DeepMind的核心人才。

![image.png](https://static.downly.cn/images/b324fceda98a6e05ef43faaa071fc2ef.png)

此次挖角被视为Meta在AI模型竞赛中为取得领先优势而采取的关键一步。尽管此前Meta尝试收购AI初创公司的计划未能成功，但通过精准引进顶尖人才，Meta正不断加强其研发实力，以应对日益激烈的行业挑战。

## AI应用与工具速览

### YouTube测试AI摘要与对话式搜索

YouTube正在测试两项新的AI功能以提升用户体验：在搜索结果中直接显示由AI生成的视频内容摘要，以及扩展其对话式AI工具。然而，这一举措引发了内容创作者的担忧，他们害怕AI摘要会减少用户的实际视频观看量，从而影响其广告收入。

### 谷歌发布虚拟试衣应用Doppl

谷歌推出了一款名为Doppl的AI虚拟试衣应用（目前仅限美国）。用户只需上传一张自己的全身照，就能将网上的任意服装图片“穿”在自己身上，甚至可以生成动态的试穿效果视频，为线上购物提供了极具未来感的体验。
<video src="https://static.downly.cn/images/61db2b003feb947f62e7df849ffad7f9.mp4" title="doppl1 - Compressed with FlexClip.mp4"></video>
### 黑森林团队开源最强图像编辑模型FLUX.1

Black Forest Labs（黑森林团队）开源了其强大的图像编辑模型FLUX.1 Kontext [dev]。开发者现在可以在ComfyUI等工作流平台中结合LoRA使用该模型，实现更高自由度和更精细的图像编辑效果。
![image.png](https://static.downly.cn/images/a944c19d1d7bb088aee047be0e02a56a.png)

### Anthropic推出Claude Artifacts Space

AI公司Anthropic为其大模型产品Claude推出了名为“Artifacts Space”的新功能。它允许用户将自己基于Claude创建的各种AI应用工具发布到一个共享空间，供其他人浏览和使用，极大地促进了AI应用的共享和创新。
<video src="https://static.downly.cn/images/a7669a676e786af417176f1d1751de1c.mp4" title="30716920954-1-16.mp4"></video>

### Suno收购WavTool强化AI音乐创作

AI音乐生成领域的明星公司Suno，近日收购了基于浏览器的AI音乐制作软件WavTool。此举旨在为其用户提供更强大的后期编辑能力，让音乐人不仅能用AI生成音乐，还能像在专业工作站中一样对AI生成的音轨进行精细的调整和修改。
![image.png](https://static.downly.cn/images/39578c84acf5e8765f93dc85738c4bc9.png)

AI每日资讯0627

> 近日，浙江大学与 vivo 联合宣布，正式开源一项突破性的视频虚拟试穿框架——**MagicTryOn**。 该框架基于先进的 **Wan 2.1 技术**，能够实现**高质量、逼真且高度一致的视频虚拟试穿效果**。 MagicTryOn 的开源，有望彻底改变在线服装零售、虚拟时尚体验以及数字内容创作等领域，为消费者带来前所未有的沉浸式试穿体验。


在电商和数字时尚日益发展的今天，虚拟试穿技术正成为连接消费者与商品的桥梁。 传统的虚拟试穿多局限于静态图片，难以真实反映服装在动态人体上的效果。 如今，这一局限正被一项革命性技术打破。 MagicTryOn 的出现，标志着虚拟试穿从静态图像迈向动态视频的新纪元，有望为消费者带来更真实、更沉浸的购物体验。

<video src="https://static.downly.cn/images/7aa730ae2fe7c13aeca6263286dae155.mp4" title="project_page_video5.mp4"></video>

### MagicTryOn 突破性视频试穿体验

MagicTryOn 的核心优势在于其能够实现**高质量的视频虚拟试穿**。 与传统的图片试穿不同，它能处理人物在视频中的复杂动作和姿态变化，并确保服装在这些动态下的真实呈现。

#### 1. 真实且一致的试穿效果

MagicTryOn 能够将目标服装**无缝地“穿到”视频中人物的身上**，并**保持服装纹理、光影和褶皱的自然变化**，极大地提升了试穿的真实感。 即使人物在视频中移动、旋转或摆出复杂姿势，服装也能保持高度一致性和逻辑性，如同真实穿着一般。

#### 2. 基于 Wan 2.1 的强大支撑

该框架的核心技术是基于 **Wan 2.1**，这是一种在处理弱对齐数据方面表现卓越的网络架构。 Wan 2.1 能够有效地解决视频中人体姿态和服装之间复杂对应关系的问题，即使在没有精确人体骨架或服装裁剪信息的情况下，也能实现高质量的虚拟试穿。

#### 3. 处理复杂人物姿态与服装变形

MagicTryOn 的另一大亮点是其处理**复杂人物姿态和服装变形**的能力。 无论是手臂的抬起、身体的扭动，还是裙摆的飘动，该框架都能准确地模拟服装的物理效果，让试穿结果更具说服力。

<video src="https://static.downly.cn/images/54a531433b570ee58f3e65cb7bbc21c7.mp4" title="prpject1.mp4"></video>

### 技术细节与创新点

MagicTryOn 的卓越性能源于其多方面的技术创新

#### 1. 细粒度特征编码与融合

该框架采用了先进的**细粒度特征编码技术**，能够捕捉服装和人体的微小细节。 通过巧妙的特征融合机制，确保了服装能够精准地适应人体的轮廓和动作。

#### 2. 时序一致性保持

为解决视频虚拟试穿中常见的**帧间闪烁和不连贯**问题，MagicTryOn 设计了独特的时序一致性保持策略，确保了视频中服装的流畅和自然变化。

#### 3. 开放性与可扩展性

作为一个开源框架，MagicTryOn 不仅提供了核心代码，还为开发者提供了**丰富的接口和灵活的配置选项**，便于二次开发和集成到不同的应用场景中。

![image.png](https://static.downly.cn/images/489a1f62ebb62dfecf56235a735eb71e.png)

### 应用前景 颠覆零售与娱乐

MagicTryOn 的开源，将对多个行业产生深远影响

* **在线服装零售** 消费者可以在线“试穿”服装，大大降低退货率，提升购物体验。
* **虚拟时尚与元宇宙** 为元宇宙中的虚拟形象提供更真实的服装穿搭体验。
* **数字内容创作** 电影、游戏、广告等行业可用于快速生成虚拟人物的服装动画。
* **个性化定制** 帮助用户预览定制服装效果。

浙大与 vivo 的合作，不仅展现了学术界与产业界的紧密结合，更通过开源的方式，推动了虚拟试穿技术乃至整个 AI 视觉领域的发展，为未来数字生活描绘了更丰富的图景。

浙大联合vivo通信公司 开源视频虚拟试穿框架MagicTryOn

> 字节跳动正式推出小云雀 AI，主打一键生成数字人视频功能。



随着数字内容创作需求的爆发，效率和便捷性成为新的追求。 近日，字节跳动正式发布了其在 AI 领域的又一重要产品——小云雀 AI。 这款 AI 应用的核心亮点在于其强大的数字人视频一键生成功能，极大地降低了数字人视频的制作门槛。目前仅支持安卓版本，iOS用户可能要再等等啦～
oppo 商店已经上架
![](https://static.downly.cn/images/20250530082105.161737324.png)

小云雀 AI 的“一键生成”能力，意味着用户只需要输入文本或上传少量素材，AI 即可自动生成带有数字人口播的视频内容。 这种便捷的操作方式，有望彻底改变传统的数字人视频制作流程，使其变得更加高效和亲民。

## 一键生成 轻松打造专属数字人视频

小云雀 AI 的“一键生成”能力，主要体现在以下几个方面

* **文本驱动** 用户输入文字，AI 即可将文字转化为自然流畅的数字人口播。
* **形象定制** 提供多种数字人形象选择，或允许用户定制自己的数字人形象。
* **背景与场景选择** 提供丰富的虚拟背景和场景，或支持用户上传自定义背景。
* **智能剪辑与合成** 自动完成口播与画面的同步，生成完整的视频文件。

<video src="https://static.downly.cn/images/20250530081548.653310493.mp4" title="171_1748592810.mp4"></video>

这些功能使得小云雀 AI 用户即使没有专业的视频制作经验，也能快速、轻松地创建数字人视频，将创意想法转化为生动的视频内容。

## 应用广泛 多领域迎来效率提升

小云雀 AI 的出现，有望在多个领域发挥重要作用，提升内容制作效率。



例如

* **教育培训** 快速生成课程讲解视频，降低教师制作成本。
* **企业宣传** 制作公司介绍、产品演示视频，提升品牌形象。
* **短视频内容创作** 为短视频创作者提供新的内容形式和生产工具。
* **新闻媒体** 快速生成新闻播报或资讯类视频。
* **客服互动** 打造智能数字客服，提供更加生动自然的交互体验。

小云雀 AI 的出现，为这些领域的内容创作者和企业提供了强大的工具，帮助他们以更低的成本和更高的效率生产高质量的视频内容。

## 技术驱动 未来数字人视频新趋势

小云雀 AI 的核心在于其背后强大的 AI 技术支持，包括但不限于

* **先进的语音合成技术** 将文本转化为逼真的人类语音。
* **高质量的数字人建模与驱动技术** 创建栩栩如生的数字人形象并实现自然的表情和动作。
* **智能视频合成与编辑算法** 将不同的元素 seamlessly 地整合到视频中。


字节跳动在 AI 领域的深厚积累，为小云雀 AI 提供了坚实的技术基础。 随着技术的不断发展，数字人视频的质量和逼真度也将持续提升。 小云雀 AI 的推出，无疑是数字人视频制作迈向普惠化、智能化道路上的重要一步，预示着数字人视频在未来将扮演越来越重要的角色。

 告别复杂 字节跳动小云雀 AI 一键生成 视频创作从未如此简单

> 在人工智能驱动的数字内容生成领域，如何让虚拟形象更加生动、自然地与用户互动，一直是技术探索的热点。近日，腾讯混元大模型团队推出了一个重磅开源项目——HunyuanVideo-Avatar。这项技术的核心在于能够仅凭一段语音，就驱动生成具有丰富表情和自然口型变化的数字人视频。这一创新不仅极大地降低了数字人视频制作的门槛，更为虚拟直播、教育、娱乐等多个领域带来了全新的可能性，标志着语音驱动数字人技术迈入了新的阶段。


腾讯混元大模型团队在人工智能领域持续发力，继文本生成图片、视频生成等技术之后，再次向开源社区贡献了重要的研究成果——HunyuanVideo-Avatar。这一项目的开源，旨在 democratize（民主化）数字人视频的生成过程，让更多开发者和使用者能够轻松地利用语音来驱动虚拟形象的生成。

![image.png](https://static.downly.cn/images/20250529032514.968715463.png)

HunyuanVideo-Avatar 的核心功能正如其名 所言，能够实现“语音驱动生成数字人”。这意味着用户不再需要复杂的 3D 建模、动作捕捉或专业的视频编辑技能，只需要提供一段音频，系统就能够根据语音的内容、情感和语速，自动生成一个数字人说话的视频。这无疑是一项具有颠覆性的技术，将极大提升内容创作的效率和便捷性。

<video src="https://static.downly.cn/images/20250529085234.658090026.mov" controls width="70%" title="teaser.mov"></video>

在线测试HunyuanVideo-Avatar：[https://hunyuan.tencent.com/modelSquare/home/play?modelId=126](https://hunyuan.tencent.com/modelSquare/home/play?modelId=126)

## 技术揭秘 语音如何“驱动”数字人

实现从音频到数字人视频的无缝转换，需要跨越多模态技术的壁垒。HunyuanVideo-Avatar 在技术上可能采用了以下几个关键组成部分


* **语音特征提取与分析** 系统首先需要对输入的语音进行深入分析，提取出语音的语言内容、语调、情感以及与口型运动相关的声学特征。
* **面部动作与表情生成** 基于语音特征，模型需要推断出数字人相应的面部动作、表情变化以及最关键的——口型变化。这需要对人脸的肌肉运动和语音发声机制有深刻的理解。
* **图像生成与渲染** 最后，模型将生成或操纵数字人的图像，使其面部表情和口型与分析出的语音特征同步，最终输出一段连贯自然的数字人视频。

![image.png](https://static.downly.cn/images/20250529032542.076218755.png)

为了确保生成视频的自然度和逼真度，HunyuanVideo-Avatar 可能采用了先进的深度学习模型，如基于 Transformer 的架构、生成对抗网络（GAN）或扩散模型，并结合了大量的多模态数据集进行训练。[论文](https://arxiv.org/pdf/2505.20156)中可能详细描述了其具体的模型结构和训练策略，例如可能采用了创新的注意力机制来对齐语音和视觉特征，或者使用了新的损失函数来优化生成视频的质量和一致性。

## 开源的价值 普惠 AI 的重要一步

腾讯选择将 HunyuanVideo-Avatar 开源，具有重要的战略意义和社区价值
<video src="https://static.downly.cn/images/20250529082542.256822829.mp4" controls width="70%" title="黑白相声-2.mp4"></video>

* **加速技术普及与应用** 开源使得更多的开发者和研究机构能够接触和使用这一先进技术，基于其进行二次开发和创新应用，从而加速语音驱动数字人技术的普及和落地。
* **激发社区创新活力** 开源社区的力量是巨大的。 全球的开发者可以共同对 HunyuanVideo-Avatar 进行改进、优化和拓展功能，推动技术的快速迭代和演进。
* **构建开放生态** 腾讯通过开源，有助于构建一个围绕混元大模型和数字人技术的开放生态系统，吸引更多合作伙伴共同参与，共同推动产业发展。
* **提升技术透明度** 开源有助于提高技术的透明度，让使用者更加了解模型的原理和潜在限制，促进技术的健康发展。

![image.png](https://static.downly.cn/images/20250529032750.526292890.png)

HunyuanVideo-Avatar 的开源，是腾讯在践行“科技向善”理念、推动 AI 普惠化方面的重要一步，为降低数字内容创作门槛、赋能更多个体和企业提供了强大的工具。


## 广泛应用前景 数字人进入千家万户

HunyuanVideo-Avatar 的出现，将极大地拓展数字人的应用边界，为各行各业带来新的机遇
<video src="https://static.downly.cn/images/20250529083258.269327757.mp4" controls width="70%" title="女声田野独唱.mp4"></video>
* **虚拟直播** 个体创作者和品牌可以快速生成具有个性化形象的虚拟主播，降低直播成本，提升内容吸引力。
* **在线教育** 创建生动有趣的数字老师，根据学生的语音输入进行互动式教学。
* **客服与导览** 生成智能数字客服或虚拟导览员，提供更加人性化的服务体验。
* **娱乐与营销** 制作创意短视频、广告或虚拟偶像，进行更具互动性和趣味性的内容传播。
* **个人表达与社交** 未来用户甚至可以轻松创建自己的数字分身，用于社交互动和内容分享。

![image.png](https://static.downly.cn/images/20250529032918.759711415.png)

凭借语音驱动这一便捷高效的方式，HunyuanVideo-Avatar 有望让数字人不再是高门槛的技术，而是人人都可以轻松使用的工具，真正让数字人“走进千家万户”。
<video src="https://static.downly.cn/images/20250529083247.466789044.mp4" controls width="70%" title="女声吉他独唱森林火焰.mp4"></video>

## 本地部署

需要支持CUDA的NVIDIA GPU
 - 该模型在8GPU的机器上进行了测试。
 - **最低配置**：生成720px1280px129帧视频所需的最小GPU内存为24GB，但速度很慢。
 - **推荐配置**：我们建议使用80GB显存的GPU以获得更好的生成质量。
- 测试过的操作系统：Linux

### 🛠️ 依赖项和安装

首先克隆仓库：

```shell
git clone https://github.com/Tencent/HunyuanVideo-Avatar.git
cd HunyuanVideo-Avatar
```

### Linux安装指南

我们推荐使用CUDA 12.4或11.8版本进行手动安装。

Conda的安装说明可在[这里](https://www.anaconda.com/docs/main)找到。

```shell
# 1. 创建conda环境
conda create -n HunyuanVideo-Avatar python==3.10.9

# 2. 激活环境
conda activate HunyuanVideo-Avatar

# 3. 使用conda安装PyTorch和其他依赖
# 对于CUDA 11.8
conda install pytorch==2.4.0 torchvision==0.19.0 torchaudio==2.4.0 pytorch-cuda=11.8 -c pytorch -c nvidia
# 对于CUDA 12.4
conda install pytorch==2.4.0 torchvision==0.19.0 torchaudio==2.4.0 pytorch-cuda=12.4 -c pytorch -c nvidia

# 4. 安装pip依赖
python -m pip install -r requirements.txt
# 5. 安装flash attention v2以加速（需要CUDA 11.8或更高版本）
python -m pip install ninja
python -m pip install git+https://github.com/Dao-AILab/flash-attention.git@v2.6.3
```

如果在特定GPU类型上遇到浮点异常（核心转储），您可以尝试以下解决方案：

```shell
# 方案1：确保您已安装CUDA 12.4、CUBLAS>=12.4.5.8和CUDNN>=9.00（或直接使用我们的CUDA 12 docker镜像）
pip install nvidia-cublas-cu12==12.4.5.8
export LD_LIBRARY_PATH=/opt/conda/lib/python3.8/site-packages/nvidia/cublas/lib/

# 方案2：强制显式使用CUDA 11.8编译版本的PyTorch和所有其他包
pip uninstall -r requirements.txt # 卸载所有包
pip install torch==2.4.0 --index-url https://download.pytorch.org/whl/cu118
pip install -r requirements.txt
pip install ninja
pip install git+https://github.com/Dao-AILab/flash-attention.git@v2.6.3
```

此外，您也可以使用混元视频Docker镜像。使用以下命令拉取并运行docker镜像。

```shell
# 对于CUDA 12.4（更新以避免浮点异常）
docker pull hunyuanvideo/hunyuanvideo:cuda_12
docker run -itd --gpus all --init --net=host --uts=host --ipc=host --name hunyuanvideo --security-opt=seccomp=unconfined --ulimit=stack=67108864 --ulimit=memlock=-1 --privileged hunyuanvideo/hunyuanvideo:cuda_12
pip install gradio==3.39.0 diffusers==0.33.0 transformers==4.41.2

# 对于CUDA 11.8
docker pull hunyuanvideo/hunyuanvideo:cuda_11
docker run -itd --gpus all --init --net=host --uts=host --ipc=host --name hunyuanvideo --security-opt=seccomp=unconfined --ulimit=stack=67108864 --ulimit=memlock=-1 --privileged hunyuanvideo/hunyuanvideo:cuda_11
pip install gradio==3.39.0 diffusers==0.33.0 transformers==4.41.2
```

### 🧱 下载预训练模型

预训练模型的下载详情请参见[这里](https://github.com/Tencent-Hunyuan/HunyuanVideo-Avatar/blob/main/weights/README.md)。

### 🚀 多GPU并行推理

例如，要使用8个GPU生成视频，可以使用以下命令：

```bash
cd HunyuanVideo-Avatar

JOBS_DIR=$(dirname $(dirname "$0"))
export PYTHONPATH=./
export MODEL_BASE="./weights"
checkpoint_path=${MODEL_BASE}/ckpts/hunyuan-video-t2v-720p/transformers/mp_rank_00_model_states.pt

torchrun --nnodes=1 --nproc_per_node=8 --master_port 29605 hymm_sp/sample_batch.py \
 --input 'assets/test.csv' \
 --ckpt ${checkpoint_path} \
 --sample-n-frames 129 \
 --seed 128 \
 --image-size 704 \
 --cfg-scale 7.5 \
 --infer-steps 50 \
 --use-deepcache 1 \
 --flow-shift-eval-video 5.0 \
 --save-path ${OUTPUT_BASEPATH} 
```

### 🔑 单GPU推理

例如，要使用1个GPU生成视频，可以使用以下命令：

```bash
cd HunyuanVideo-Avatar

JOBS_DIR=$(dirname $(dirname "$0"))
export PYTHONPATH=./

export MODEL_BASE=./weights
OUTPUT_BASEPATH=./results-single
checkpoint_path=${MODEL_BASE}/ckpts/hunyuan-video-t2v-720p/transformers/mp_rank_00_model_states_fp8.pt

export DISABLE_SP=1 
CUDA_VISIBLE_DEVICES=0 python3 hymm_sp/sample_gpu_poor.py \
 --input 'assets/test.csv' \
 --ckpt ${checkpoint_path} \
 --sample-n-frames 129 \
 --seed 128 \
 --image-size 704 \
 --cfg-scale 7.5 \
 --infer-steps 50 \
 --use-deepcache 1 \
 --flow-shift-eval-video 5.0 \
 --save-path ${OUTPUT_BASEPATH} \
 --use-fp8 \
 --infer-min
```

### 低显存运行方案

```bash
cd HunyuanVideo-Avatar

JOBS_DIR=$(dirname $(dirname "$0"))
export PYTHONPATH=./

export MODEL_BASE=./weights
OUTPUT_BASEPATH=./results-poor

checkpoint_path=${MODEL_BASE}/ckpts/hunyuan-video-t2v-720p/transformers/mp_rank_00_model_states_fp8.pt

export CPU_OFFLOAD=1
CUDA_VISIBLE_DEVICES=0 python3 hymm_sp/sample_gpu_poor.py \
 --input 'assets/test.csv' \
 --ckpt ${checkpoint_path} \
 --sample-n-frames 129 \
 --seed 128 \
 --image-size 704 \
 --cfg-scale 7.5 \
 --infer-steps 50 \
 --use-deepcache 1 \
 --flow-shift-eval-video 5.0 \
 --save-path ${OUTPUT_BASEPATH} \
 --use-fp8 \
 --cpu-offload \
 --infer-min
```

### 运行Gradio服务器

```bash
cd HunyuanVideo-Avatar

bash ./scripts/run_gradio.sh
```

## 未来展望 AI 驱动数字内容新浪潮

腾讯开源 HunyuanVideo-Avatar，是人工智能驱动数字内容生成浪潮中的一个重要里程碑。它不仅展示了腾讯在多模态 AI 领域的深厚技术积累，更通过开源的方式，将前沿技术分享给全球社区，共同推动数字人技术的创新和应用。

随着技术的不断发展和社区的共同努力，我们可以期待 HunyuanVideo-Avatar 在未来能够支持更多复杂的语音情绪、更细腻的面部表情以及更多样的数字人形象。这场由语音驱动的数字人新浪潮，才刚刚开始，它将深刻改变我们创作、消费和互动数字内容的方式。

腾讯开源 HunyuanVideo-Avatar 语音驱动数字人视频生成

> 随着人工智能在视觉生成领域的飞速发展，人物风格迁移技术正迎来新的突破。近日，一项名为 OmniConsistency 的创新研究成果引起了广泛关注。这项技术旨在实现媲美甚至超越现有顶尖模型（如某些人眼中具备“GPT-4O 级”多模态能力的模型）的人物风格迁移效果，尤其是在保持跨图像和跨帧的一致性方面展现出非凡潜力。这不仅仅是技术的又一次迭代，更预示着在逼真、流畅且高度可控的数字人物创作领域，即将开启一个全新的时代。

在数字内容创作领域，将一个人物的风格（包括外观细节、表情、动作等）精确地迁移到另一张图片或一段视频上，同时保持高度的逼真度和一致性，一直是研究的难点。传统的风格迁移方法往往在处理复杂人物、动态场景或需要跨多张图像保持一致风格时力不从心，容易出现细节丢失、风格不连贯或“鬼影”等问题。

![image.png](https://static.downly.cn/images/20250529031154.092702304.png)

OmniConsistency 的出现，正是为了解决这些痛点。根据相关研究资料（https://arxiv.org/abs/2505.18445），OmniConsistency 的核心创新在于其对“一致性”的极致追求。它不仅仅关注单张图像的风格迁移效果，更强调在连续帧或多视角图像中，被迁移风格的人物能够始终保持高度的视觉一致性和身份特征。这种对一致性的强大控制能力，正是其被称为具备“GPT-4O 级”潜力的人物风格迁移模型的关键所在——就像 GPT-4O 在多模态交互中展现出的流畅性和连贯性一样，OmniConsistency 旨在让人物风格迁移在复杂场景中同样实现自然、逼真且高度可控的效果。

## 技术深度解析 “一致性”是核心

OmniConsistency 的技术突破，主要体现在其独特的设计理念和算法实现上。虽然具体的细节需要深入研究其代码和论文，但可以推测其核心可能围绕以下几个方面构建

*   **跨图像一致性建模** OmniConsistency 可能采用了先进的特征表示和匹配技术，使得模型能够精确地捕捉到人物的关键风格特征（如面部细节、服装纹理、身体形态等），并在不同的图像或帧中稳定地重现这些特征。
*   **时间一致性保持** 在处理视频或连续图像时，保持时间上的一致性至关重要。 OmniConsistency 可能引入了时序建模或帧间约束，确保人物风格在连续帧之间平滑过渡，避免闪烁或突变现象。
*   **多模态融合与控制** 虽然主要聚焦视觉风格，但优秀的人物风格迁移往往需要结合人物的动作、表情等信息。 OmniConsistency 可能具备一定的多模态融合能力，允许用户更精细地控制风格迁移的效果。
*   **生成与优化的协同** 模型可能采用了生成对抗网络（GAN）、扩散模型或其他先进的生成技术，并结合精心设计的损失函数和优化策略，以同时保证生成图像的逼真度和风格迁移的准确性与一致性。

![image.png](https://static.downly.cn/images/20250529031416.746300786.png)

这些技术创新使得 OmniConsistency 在处理复杂的人物风格迁移任务时，能够展现出超越传统方法的卓越性能，为实现“GPT-4O 级”的逼真效果奠定了基础。

## 潜在应用场景 开启内容创作新可能

OmniConsistency 带来的强大人物风格迁移能力，将在多个领域带来革命性的影响

*   **影视与动画制作** 可以大幅降低人物换装、特效化妆或角色风格统一的工作量，实现更高效、更逼真的视觉效果。
*   **游戏开发** 快速生成具有特定风格的游戏角色，或在游戏过程中动态改变角色外观，增强游戏体验。
*   **虚拟现实与增强现实** 创建高度个性化、逼真的虚拟形象，并实现跨平台、跨场景的风格一致性。
*   **社交媒体与个性化内容** 用户可以轻松地将自己喜欢的风格应用到照片或视频中的人物上，创造更具创意和个性化的内容。
*   **数字人与虚拟主播** 快速生成具备不同风格和形象的数字人，满足直播、营销、教育等多种需求。

![image.png](https://static.downly.cn/images/20250529031935.685598915.png)

想象一下，借助 OmniConsistency，你可以轻松地将一个人物的复古造型风格迁移到现代场景中，或者让一个角色的卡通风格在不同动画片段中保持完美一致，而这一切都将以前所未有的便捷和逼真度实现。

## 未来展望 迈向更真实的数字世界

OmniConsistency 的出现，标志着人物风格迁移技术正在迈向一个全新的高度。它所展现出的对“一致性”的强大控制力，预示着我们正在加速迈向一个能够更真实、更流畅地操控数字人物外观和风格的未来。

虽然要真正达到“GPT-4O 级”的通用性和多模态能力，可能还需要更多的研究和突破，但 OmniConsistency 无疑已经为这一目标的实现铺平了道路。我们期待这项技术能够在开源社区或商业应用中得到进一步发展和普及，为全球的内容创作者和技术开发者带来更多可能性，共同构建一个更加生动、逼真的数字世界。



搜索结果: 数字内容创作