

> 导语 9月17日凌晨，阿里巴巴震撼开源其首个深度研究AI智能体——通义DeepResearch。 这一模型在多项权威Agent评测中，凭借仅3B的激活参数规模，性能全面超越基于OpenAI o3、DeepSeek V3.1等业界顶尖模型的Agent，登顶开源Agent模型榜首。 目前，该模型的代码、框架和方案均已在多个开源社区上线。


9月17日凌晨，阿里巴巴宣布正式开源其首个深度研究Agent模型——通义DeepResearch。 这标志着阿里在AI智能体领域的开源布局再度加码。今年以来，阿里已相继开源了WebWalker、WebDancer和WebSailor等多款在检索和推理方面取得SOTA（State-of-the-art）成绩的智能体，而通义DeepResearch的加入，无疑为这一布局增添了浓墨重彩的一笔。

![image.png](https://static.downly.cn/images/779a61d655042321d25cae436701f015.png)

## 性能卓越 登顶开源榜首

在Humanity’s Last Exam（HLE）、BrowseComp、GAIA等多个权威Agent评测基准上，通义DeepResearch的表现尤为出色。 该模型以仅3B的激活参数，其性能却超越了基于OpenAI o3、DeepSeek V3.1和Claude-4-Sonnet等旗舰级大模型的ReAct Agent（推理-行动智能体）。 这一成就使其成功登顶开源Agent模型排行榜，为深度研究Agent领域带来了“轻量化高性能”的全新可能性。

![image.png](https://static.downly.cn/images/3b91bf284cc488369072adf19541e277.png)

## 技术创新 破解行业难题

深度研究是近年来AI领域的研究热点，吸引了包括谷歌、OpenAI在内的众多科技巨头投入。 然而，现有的研发方法普遍采用“单窗口、线性累加”的信息处理模式，这使得Agent在处理长周期任务时，容易出现“认知空间窒息”和“不可逆的噪声污染”，从而导致推理能力下降，难以胜任复杂的研究任务。

为攻克这些难题，阿里通义团队构建了一套创新的训练与推理方案。

### **训练阶段**
团队以Qwen3-30B-A3B模型为基础，构建了由合成数据驱动的完整训练链路，覆盖了预训练到后训练的全过程。 通过引入RL算法验证与真实训练模块，并结合异步强化学习算法和自动化数据策展流程，极大地提升了模型的迭代速度和泛化能力。

### **推理阶段**
团队设计了两种模式：ReAct模式和基于自研IterResearch的Heavy模式。 其中，ReAct模式用于精准评估模型的基础能力，而Heavy模式则通过test-time scaling策略，深度挖掘模型性能上限，确保其在长周期任务中也能保持高质量的推理水平。

## 全面开源 赋能全球开发者

目前，通义DeepResearch的模型、代码和完整方案已经全面开源，并在Github、Hugging Face以及魔搭社区同步上线。 全球的开发者和研究人员均可免费下载和使用，这为攻克长周期、高复杂度的研究任务提供了强有力的工具支撑。

**开源地址**
*   Github: https://github.com/Alibaba-NLP/DeepResearch
*   Hugging Face: https://huggingface.co/Alibaba-NLP/Tongyi-DeepResearch-30B-A3B
*   魔搭社区: https://modelscope.cn/models/iic/Tongyi-DeepResearch-30B-A3B

![image.png](https://static.downly.cn/images/bd7dfb71b80714252d5543359a7b66b5.png)

这一举措不仅进一步完善了阿里在AI智能体领域的开源生态，也为全球AI社区的发展注入了新的活力。

阿里再放“王炸” 开源通义DeepResearch

> 导语：今日AI领域动态纷呈，从Zendesk利用GPT-5大幅提升客服效率，到商汤科技为开发者提供及时的迁移支持，再到谷歌、通义千问等巨头不断推出革新性模型，AI技术正以前所未有的速度渗透并重塑各行各业。与此同时，AI在艺术创作领域的潜力也得到进一步释放，无论是动画长片还是音乐单曲，都展现了惊人的创造力。而麻省理工学院的“读心”设备和AI人才市场的激烈竞争，更是预示着一个由AI驱动的全新时代正在加速到来。

---

## Zendesk集成GPT-5 AI客服独立解决问题能力飙升

Zendesk宣布其平台已成功整合OpenAI的GPT-5技术，这一升级使其AI客户服务代理的能力实现了质的飞跃。现在，AI不仅能处理复杂的、需要多轮对话的客户咨询，还能独立执行如退货处理等多步骤操作。数据显示，整合后AI能够独立解决超过50%的客户服务请求，在某些场景下，这一比例甚至高达80%至90%，极大地提升了客户服务的效率和问题解决率。

![image.png](https://static.downly.cn/images/75c240eebb82149de9a9c1e19bfdec7e.png)
<center>图源备注：图片由AI生成</center>
 

---

## 商汤科技雪中送炭 为Claude API用户提供5000万免费Token

针对Anthropic公司停止向部分中国企业提供Claude API服务的突发情况，商汤科技迅速响应，推出了“日日新”SenseNova大模型平台的迁移支持计划。为了帮助受影响的用户平滑过渡，避免业务中断，商汤科技慷慨地为迁移用户提供了高达5000万的Token免费体验包，展现了其作为本土AI巨头的责任与担当。

![image.png](https://static.downly.cn/images/48910bbf87b534a29a37ec63fea982c4.png)
<center>图源备注：图片由AI生成</center>
 

---

## 报告撰写神器 Google NotebookLM新增80种语言与自定义风格

谷歌对其强大的笔记工具NotebookLM进行了重要更新，新增了报告生成功能。新功能支持超过80种语言，并且允许用户根据上传的资料，自定义生成报告的语气、风格和结构。无论是撰写博客文章还是正式报告，AI都能根据文档类型动态推荐最佳格式。用户还可以通过输入长达千字的详细提示词，对生成内容进行精细化的控制。

![image.png](https://static.downly.cn/images/c5fabf5f868c87dc5cb038186fc1b830.png)
<center>图源备注：图片由AI生成</center>
 

---

## OpenAI入局动画电影 《Critterz》欲以AI颠覆好莱坞

OpenAI正投入资源，支持一部名为《Critterz》的AI动画长片的制作。这部影片的制作模式极具颠覆性：预算低于3000万美元，团队仅30人，制作周期预计9个月。该片计划在2026年5月的戛纳电影节上首映，其目标是验证通过AI技术大幅降低好莱坞电影制作成本和时间的可行性，或将为电影行业带来一场深刻的变革。

![image.png](https://static.downly.cn/images/3522adc8281067738c4415f3ed180b77.png)
<center>图源备注：图片由AI生成</center>
 

---

## AI当歌手 昆仑万维Mureka V7.5发布全球首支AI单曲

昆仑万维发布了由其最新的Mureka V7.5模型创作的全球首支AI音乐单曲《Digital Heartbeat》。这首歌曲支持多达十种语言的演绎，充分展示了AI在音乐创作领域的惊人潜力。特别是在中文歌曲的演绎上，无论是在音色、演唱技巧还是情感表达的细腻程度上，都取得了显著的进步，让人们看到了AI成为专业音乐人的可能性。

![image.png](https://static.downly.cn/images/47244d45596d1f29a560a52a348e94c6.png)
<center>图源备注：图片由AI生成</center>
 

---

## 歌声也能精准识别 通义千问发布全新语音识别模型

通义千问团队发布了其最新的语音识别模型Qwen3-ASR-Flash。该模型基于强大的Qwen3基座，并经过海量多模态及ASR数据的训练，具备极高的识别精度和鲁棒性。尤为突出的是，它在极具挑战性的歌声识别任务上，错误率低于8%。在中英文及多语种的基准测试中，该模型均表现出色，为语音转文字技术树立了新的标杆。

![image.png](https://static.downly.cn/images/8933f951c68057a18dfa381b55682fb1.png)
<center>图源备注：图片由AI生成</center>
 

---

## 抢人大战升级 MiniMax与字节跳动祭出天价期权激励

AI领域的人才争夺战已进入白热化阶段。为了吸引并留住顶尖人才，MiniMax与字节跳动等头部公司纷纷推出了极具吸引力的高额期权激励计划。MiniMax为核心员工提供了价值数十万至数百万美元的期权，旨在将个人利益与公司长期发展深度绑定。而字节跳动则对其Seed部门的大模型技术员工实施月度快速兑现的期权激励，月薪高达9至13万元人民币，力度空前。

![image.png](https://static.downly.cn/images/d1921e260d3b88762558d77c1ba69878.png)
<center>图源备注：图片由AI生成</center>
 

---

## 心里想什么AI就知道 麻省理工发布“无声沟通”设备AlterEgo

麻省理工学院（MIT）的科学家们开发了一款名为AlterEgo的非侵入式可穿戴AI设备，它开启了“无声沟通”的全新可能。该设备能够捕捉到用户在心中默念指令时，面部和喉部产生的微弱神经肌肉信号，并将其转化为语音输出或设备指令，整个过程无需用户发出任何声音。这项技术预示着人机交互方式的革命性未来。

![image.png](https://static.downly.cn/images/45e8dc19cde36e7b5e5c5e32e6d62010.png)
<center>图源备注：图片由AI生成</center>
 

---

## 滤镜新玩法 Snapchat推出文本生成AI图像功能

社交应用Snapchat为其付费订阅用户推出了一项名为“Imagine Lens”的创新AI功能。这是Snapchat首款开放式提示词图像生成滤镜，允许Snapchat+ Platinum和Lens+的用户通过输入简单的文本提示词，来实时生成、编辑和重制独特的图像滤镜。用户可以将这些个性化创作分享到Snapchat平台内外，极大地丰富了社交表达的创意空间。

![image.png](https://static.downly.cn/images/e68d40fad4d578e4ee50ebed5918104c.png)
<center>图源备注：图片由AI生成</center>
 

---

## 移动端文本处理利器 谷歌发布高效嵌入模型EmbeddingGemma

谷歌深度学习团队发布了一款专为移动设备设计的开源文本嵌入模型——EmbeddingGemma。该模型拥有3.08亿参数，在权威的MTEB基准测试中，被评为500M参数以下级别中性能最佳的多语言嵌入模型。它能够高效支持RAG和语义搜索等任务，并且无需联网即可在设备端本地运行，其性能甚至可以媲美体量两倍于它的模型。

![image.png](https://static.downly.cn/images/89e12614fd621da022f4ba9c64f021dc.png)
<center>图源备注：图片由AI生成</center>
 

---

## AI帮你深度研究 InfoSeek框架构建复杂知识网络

一个名为InfoSeek的全新人工智能框架被提出，旨在合成用于复杂深度研究任务的数据。该框架通过一个创新的双代理系统，深度挖掘文本中的实体与关系，并构建起一棵“研究树”。通过引导用户在这棵知识树上进行层层深入的探索，InfoSeek能够帮助用户获得对复杂问题更全面的答案。其相关数据集已经向公众开放。

![image.png](https://static.downly.cn/images/6c2f1948635bbb9f46a966a1657af8c2.png)
<center>图源备注：图片由AI生成</center>

每日AI资讯0909：AI应用全面爆发，重塑客服、颠覆创作、开启“无声沟通”新纪元





> 导语：本期AI快讯聚焦全球顶尖科技公司的最新动态。OpenAI的GPT-5在万众期待中揭开面纱，不仅传出将免费开放，其多版本策略和性能细节也引发热议。国内方面，百度文心5.0与科大讯飞代码画布展示了中国AI力量的加速追赶。同时，微软在AI代理训练和图像生成领域再推新品，而摩尔线程与腾讯的开源项目则进一步丰富了AI生态。从底层硬件适配到上层应用创新，AI技术正以前所未有的速度渗透到各个领域。

## OpenAI GPT-5双重爆料 免费开放与多版本策略并行

OpenAI正式发布了其迄今为止最强大的GPT-5模型，并宣布将逐步向所有用户免费开放。该模型在编程、写作、健康及视觉等多个领域展现出卓越能力，其Pro订阅者更可享受无限制访问。GPT-5采用一个高度统一的系统，集成了智能高效模型、深度推理模型和实时路由器，显著提升了响应速度和指令遵循能力，并有效减少了幻觉。然而，一份泄露的文档显示，GPT-5计划推出四个各具专长的版本，但内部测试表明其性能提升可能属于渐进式升级，而非革命性飞跃。

![image.png](https://static.downly.cn/images/7c2821dd290bc0e72fb37174c489d7d8.png)

## 百度文心大模型迎重磅升级 剑指OpenAI

百度正在加速其文心大模型的更新迭代，计划最快于八月底发布最新的推理模型，其性能目标是超越OpenAI的o3满血版。此外，功能更全面的基座大模型 文心5.0 预计将在未来数月内推出，并可能在百度世界大会上正式亮相。此举旨在强化模型在逻辑推理和复杂计算方面的能力，以应对AI从简单聊天向更复杂任务演进的趋势，提升在全球AI市场的竞争力。

![image.png](https://static.downly.cn/images/a0b07ced927d96835a1969ab35ae5d75.png)

## 微软双管齐下 Agent Lightning与GPT-4o免费绘图齐亮相

微软研究院近期推出了名为Agent Lightning的强化学习训练框架，其创新的解耦设计允许不同架构的AI代理系统进行统一训练，解决了传统方法在通用性上的挑战，尤其适用于多轮对话和工具调用等复杂场景。与此同时，微软Bing Image Creator也已免费集成OpenAI最新的GPT-4o图像生成模型。相比DALL-E 3，GPT-4o在文本渲染和理解用户意图方面更为精准，进一步降低了高质量AI创作的门槛。

![image.png](https://static.downly.cn/images/f0ba332e1f81472a55c13f365315ef63.png)

## 科大讯飞“代码画布”发布 一句话开启网页生成新模式

科大讯飞在其开放平台上线了“星火代码画布”新功能，它允许用户通过语音、草图、链接甚至一句话描述，就能快速生成可交互的网页。这项创新极大地赋能了产品经理、设计师等非技术背景的人员，让他们的创意能够轻松转化为数字产品，丰富了工作与生活的数字化体验。

![image.png](https://static.downly.cn/images/273a875709b70a0e4997e63660803569.png)

## 国产AI芯魂注入 摩尔线程MUSA强势适配llama.cpp

国产GPU厂商摩尔线程宣布，其MUSA架构已成功适配流行的开源推理框架llama.cpp。这一进展意味着开发者现在可以在摩尔线程的GPU上高效运行大语言模型推理，并且其支持范围已扩展至Intel处理器和国产海光平台。此举不仅为本土AI硬件生态注入了新的活力，也有效降低了大模型技术的部署门槛。

![image.png](https://static.downly.cn/images/9587e1c09489ba973711109e64410030.png)

## 腾讯WeKnora开源 你的文档管理难题AI来解

腾讯正式开源了其基于大模型的文档理解与检索工具WeKnora。该工具能够高效处理包括PDF、Word、图片在内的多种格式文档，通过深度学习技术提取并整合信息，最终提供统一的语义视图。WeKnora具备精准的问答和多轮对话能力，其模块化的架构使其能灵活应用于构建知识库、进行文献分析等多个领域。

![image.png](https://static.downly.cn/images/93b0795b7fd860b0c26971ff00ee5719.png)

## FlowSpeech引领语音革命 全球首个书面语转口语TTS诞生

一款名为FlowSpeech的新型AI文本转语音（TTS）工具面世，它被誉为全球首个能将书面语转化为自然口语的TTS系统。通过深度理解文本语义并结合多模态技术，FlowSpeech解决了传统TTS工具发音机械、缺乏感情的问题，能够生成流畅自然的口语化表达。该技术在有声书、内容创作、企业培训等领域拥有广阔的应用前景。

![image.png](https://static.downly.cn/images/f62928d0ad3f8fa145f8752c1a2d33e0.png)

## AI技术新动态 Truth Social联手Perplexity 哈勃网络构建太空蓝牙

在其他科技前沿，由美国前总统特朗普创建的社交平台Truth Social宣布推出由Perplexity AI支持的搜索引擎，并将在未来几周内开启公测。与此同时，哈勃网络（Hubble Network）计划通过Muon公司的新型XL卫星平台对其卫星进行大规模升级，旨在创建一个覆盖全球的蓝牙通信层。

![image.png](https://static.downly.cn/images/49c4156b88df687263190ec24d9cf703.png)



每日AI资讯0808：GPT-5细节曝光与免费开放，百度文心5.0蓄势待发，微软连发AI新工具

> 谷歌最新发布的Veo 3迎来逆天升级，其核心功能已能将普通的静态照片直接转化成能开口讲话的“活人”视频，栩栩如生。这一突破性技术正迅速冲击广告和动漫制作行业，预示着一个全新的内容创作时代即将来临。

## Veo 3“活化”照片惊艳亮相

谷歌最新一代视频生成模型Veo 3近日迎来了一次颠覆性的功能升级，其核心亮点在于能够将一张普通的静态照片，通过AI技术瞬间“活化”成一段流畅、自然的视频，其中人物不仅能动起来，甚至能模拟开口讲话的动作和面部表情，达到以假乱真的效果。
<video src="https://static.downly.cn/images/0337ce2ce8c2af06e84359dec44e48eb.mp4" title="New Veo 3 Update ｜ Audio + Video from an Image.mp4"></video>
这项技术的强大之处在于，它超越了传统的图片动画或简单的面部表情合成，能够生成更具连贯性和真实感的动态视频内容，仿佛让照片中的人物真的“活了过来”。这一能力的展示，迅速在科技界和内容创作领域引起了广泛关注和热议。


## 技术突破：从静态到“开口说话”的质变

Veo 3能够实现“照片秒变活人开口讲话”的关键，在于其在深度学习和生成对抗网络（GAN）或扩散模型等技术上的显著进步。模型不仅能够精准地捕捉并理解人脸的细微特征和表情，还能根据预设的语音或文本，智能地生成与声音同步的嘴型、面部肌肉运动以及头部姿态。

这一技术不再局限于简单的2D平面动画，而是能够模拟3D空间中的运动和光影变化，使得生成的视频在视觉上更加自然流畅，避免了以往AI生成视频中常见的“僵硬感”或“恐怖谷效应”。这种质的飞跃，将极大地降低视频内容创作的门槛和成本。
![image.png](https://static.downly.cn/images/6325f8bc7237bc49cf3db57660dbb11c.png)

## 广告与动漫圈的“一夜沦陷”

Veo 3的这项能力，对广告和动漫行业而言，无异于一场革命。

在**广告行业**：
* **成本骤降**：企业无需再投入巨资聘请真人模特、拍摄团队、租用场地，甚至可以“复活”已故名人或创造虚拟代言人，极大降低广告制作成本。
* **效率提升**：从创意到产出视频广告的时间将大幅缩短，加速营销活动的迭代。
* **个性化定制**：可以根据不同的受众群体，快速生成定制化的广告视频，实现精准营销。想象一下，一个代言人可以用几十种不同的语言，以完全逼真的口型对着不同的消费者讲话。

在**动漫及虚拟人行业**：
* **角色活化**：可以直接将静态的动漫角色图片或虚拟人形象，赋予其说话、表达情感的能力，省去了大量的手绘动画和面部骨骼绑定工作。
* **内容生产加速**：动画师可以将更多精力投入到创意和故事叙述上，而非繁琐的动画制作细节。
* **虚拟偶像新纪元**：进一步推动虚拟偶像和数字分身的发展，让虚拟形象的互动性和表现力达到前所未有的高度。

业界普遍认为，Veo 3的出现，将彻底改变这两个行业的生产流程和商业模式，引发一轮全新的内容创作高潮。

![image.png](https://static.downly.cn/images/4772a84a47d7e6416fd024a8892e5147.png)

## 挑战与未来展望

尽管Veo 3展现出惊人的潜力，但其普及和应用仍面临一些挑战。例如，技术成熟度、伦理问题（如深度伪造）、以及如何平衡自动化与人类创意等。如何确保生成内容的真实性和可信度，将是未来需要重点关注的问题。

然而，不可否认的是，谷歌Veo 3的升级，为我们描绘了一个充满无限可能的未来。它预示着一个“每个人都能成为视频创作者”的时代即将到来，传统内容制作的壁垒将被打破，创意将成为更核心的竞争力。随着技术的进一步发展，我们有望看到更多颠覆性的应用，彻底改变我们获取和消费信息的方式。

![image.png](https://static.downly.cn/images/3f92522c5dde19229d2843798f784782.png)

谷歌Veo 3震撼升级：静态照片秒变开口说话活人，广告动漫界或被颠覆

> 近日，Meta AI 正式发布了其颠覆性的**视频联合嵌入预测架构 V-JEPA 2** (Video Joint Embedding Predictive Architecture2)。 作为其世界模型战略的关键一步，V-JEPA 2 能够通过**非生成式学习**理解和预测视频内容，不仅在视频理解任务上表现卓越，更在数据效率和泛化能力上展现出巨大潜力，特别是能赋能**机器人在陌生环境中的零样本规划**，有望推动 AI 领域向更接近人类智能的方向发展。



在人工智能领域，构建能够像人类一样理解世界、预测未来事件的“世界模型”一直是研究的圣杯。 近日，互联网巨头 Meta AI 在这一宏伟目标上迈出了关键一步，正式发布了其最新成果——**V-JEPA 2 (Video Joint Embedding Predictive Architecture2)**。 作为 Meta AI 首席科学家 Yann LeCun 倡导的联合嵌入预测架构 (JEPA) 理念在视频领域的重要实践，V-JEPA 2 的出现，预示着 AI 对复杂动态世界的理解能力将达到一个新的高度，尤其对于**机器人在陌生环境中自主执行任务**具有里程碑式的意义。

<video src="https://static.downly.cn/images/c859cc99f1929a0984f111882da40833.mp4" title="30448618124-1-16.mp4"></video>

V-JEPA 2 的核心突破在于其**非生成式学习范式**，它避开了传统生成模型在预测像素点上的高计算成本和潜在误差累积，而是通过学习视频片段之间的抽象表示来理解和预测世界，这使其在效率和泛化能力上具有显著优势，进而支撑了其在机器人具身智能领域的重大应用潜力。
[开源地址](https://github.com/facebookresearch/vjepa2)
![image.png](https://static.downly.cn/images/e461164bcc3cf343f15061ed3b7b492f.png)

### 非生成式学习 V-JEPA 2 的核心范式

与目前流行的通过生成缺失像素或帧来预测内容的“生成式”模型不同，V-JEPA 2 采用了**非生成式**的自监督学习方法。 这种方法的核心思想是

* **学习抽象表示** V-JEPA 2 不会试图精确地“画出”视频中缺失的部分，而是通过学习视频中不同片段的**联合嵌入 (Joint Embedding)**，来预测未来或被遮挡的视频帧的**高级抽象表示**。
* **避免高维噪声** 生成式模型需要处理像素级别的高维细节，容易受到噪声和微小扰动的影响。 非生成式方法则专注于学习语义信息和结构关系，大大提高了学习效率和模型的鲁棒性。

这种学习方式使得 V-JEPA 2 能够高效地从海量视频数据中学习世界的动力学和因果关系，而无需耗费巨大资源去“重建”每一个像素。

### V-JEPA 2 的卓越性能与潜力

V-JEPA 2 的发布，不仅是理论上的突破，更在实际应用中展现出强大的性能和潜力

#### 1. 顶尖的视觉理解和预测能力

V-JEPA 2 在视频理解任务上表现出领先的性能，能够更好地理解视频中的动作、事件和对象之间的关系，从而在行为识别、动作检测等下游任务中提供高质量的特征表示。 其强大的视觉理解和预测能力，使其能够精准地把握动态环境中的关键信息，为高层决策提供支撑。

#### 2. 实现机器人在陌生环境中的零样本规划

这是 V-JEPA 2 最令人兴奋的应用前景之一。 凭借其卓越的视觉理解和预测能力，V-JEPA 2 能够帮助机器人在**不熟悉的环境中**进行**零样本规划 (zero-shot planning)**，即无需事先对新环境进行大量训练或编程，机器人也能规划并执行复杂任务。 这意味着，当机器人被部署到一个全新的、未曾见过的场景时，它可以通过 V-JEPA 2 对环境进行实时理解和预测，从而自主制定行动方案，大大提升了机器人的自主性和适应性。

![image.png](https://static.downly.cn/images/e3bc58ba2d3b4d80c6c93ab9f6686675.png)

#### 3. 高效的数据利用率与强大的泛化能力

由于 V-JEPA 2 不需要进行像素级别的精确生成，它在学习过程中对数据的需求更为高效。 这意味着即使面对有限的数据集，V-JEPA 2 也能学习到有用的世界知识，降低了训练成本和时间。 同时，非生成式学习使得模型能够学习到更本质、更泛化的世界规律。 当应用于新的、未见过的数据或场景时，V-JEPA 2 也能保持良好的表现，展现出优秀的泛化能力，这对于机器人从模拟环境到真实世界的迁移至关重要。


### 世界模型战略的关键一步

V-JEPA 2 的发布，是 Meta AI 推动其“世界模型”战略向前迈出的重要一步。 Yann LeCun 曾多次强调，构建能够像人类一样理解世界并进行预测的 AI 模型，是实现真正通用人工智能的关键。

* **向人类智能靠拢** 人类智能的一个核心特征是能够预测即将发生的事情，即使没有完整的感官输入。 V-JEPA 2 试图模仿这种能力，通过学习抽象表示来预测视频中的未来事件，使其更接近人类的直觉和理解，特别是能将这种理解应用于具身智能体。
* **赋能具身智能** 对于机器人等具身 AI 而言，能够理解动态环境并预测未来状态的能力至关重要。 V-JEPA 2 提供的顶尖视觉理解和零样本规划能力，是实现机器人自主学习、自主决策和自主行动的基础，有望加速通用机器人的实现。
* **更安全的 AI** 相较于生成式模型，基于预测抽象表示的模型在处理错误时更具鲁棒性，也可能更容易被理解和控制，从而为构建更安全、更可信的 AI 系统奠定基础。



V-JEPA 2 的发布，不仅是 Meta AI 在深度学习基础研究上的又一里程碑，也为整个 AI 社区指明了一个激动人心的研究方向。 随着这类模型的不断发展，我们有理由相信，能够真正理解并预测世界的 AI，以及能够因此在复杂环境中自主行动的机器人，将不再是遥不可及的梦想。

Meta AI 重磅发布 V-JEPA 2 世界模型

> 一项名为 Linear-MoE 的新技术，将线性序列建模与混合专家模型相结合，有望提升大型语言模型的效率。



在大型语言模型（LLMs）飞速发展的浪潮中，如何平衡模型的性能与计算效率一直是研究的重点。 近日，一项名为 Linear-MoE 的新技术引起了学术界和业界的关注。 这项技术创造性地将线性序列建模（Linear Sequence Modeling）的思想与混合专家模型（Mixture-of-Experts, MoE）的架构相结合，为构建更高效、更强大的 LLMs 提供了新的思路。

![image.png](https://static.downly.cn/images/20250530092144.587112889.png)

传统的 Transformer 模型在处理长序列时面临计算量大的挑战。 而 MoE 模型虽然通过稀疏激活提高了计算效率，但在不同的专家之间仍然存在协调和路由的问题。 Linear-MoE 的创新之处在于

*   **引入线性序列建模** 利用线性模型的特性，简化序列处理过程，降低计算复杂度。
*   **结合 MoE 架构** 保留 MoE 模型通过稀疏激活提升效率的优势。
*   **优化专家路由** 可能通过线性的方式更有效地进行专家选择和路由。

这种结合，旨在发挥线性模型在处理序列时的效率优势，同时利用 MoE 模型在处理复杂任务时的并行性和容量优势，从而构建出既高效又强大的语言模型。

## 兼顾效率与性能 LLM 发展的新方向

Linear-MoE 的核心目标是提升大型语言模型的效率和性能。

![image.png](https://static.downly.cn/images/20250530092435.521401867.png)

从参考资料来看，Linear-MoE 在以下方面展现出潜力

*   **计算效率提升** 线性模型的引入有望降低处理长序列时的计算负担，从而降低训练和推理成本。
*   **模型性能提升** 通过 MoE 架构，模型可以更好地学习和处理不同类型的任务和数据。
*   **潜在的可扩展性** 这种架构可能更容易扩展到更大的模型规模。

Linear-MoE 的出现，为大型语言模型的未来发展提供了新的可能性，有望在保持甚至提升模型性能的同时，显著提高计算效率，这对于 LLMs 的广泛应用至关重要。

## 开源项目支持 社区共同推动发展

Linear-MoE 技术并非停留在理论阶段，它已经作为一个开源项目在 GitHub 上发布。

![image.png](https://static.downly.cn/images/20250530092213.981339957.png)

开源项目的存在，意味着更多的研究人员和开发者可以参与到 Linear-MoE 的研究、开发和应用中来。 这种社区驱动的模式，将有助于加速 Linear-MoE 技术的迭代和完善，推动其在实际应用中的落地。

Linear-MoE 的提出，是大型语言模型架构探索中的一次重要尝试。 它将线性序列建模和 MoE 的优点结合起来，旨在解决当前 LLMs 面临的效率瓶颈。 随着开源社区的共同努力，Linear-MoE 有望成为未来构建高效、强大语言模型的一个重要方向。





Linear-MoE 发布 线性序列建模与混合专家模型强强联合

> 在人工智能驱动的数字内容生成领域，如何让虚拟形象更加生动、自然地与用户互动，一直是技术探索的热点。近日，腾讯混元大模型团队推出了一个重磅开源项目——HunyuanVideo-Avatar。这项技术的核心在于能够仅凭一段语音，就驱动生成具有丰富表情和自然口型变化的数字人视频。这一创新不仅极大地降低了数字人视频制作的门槛，更为虚拟直播、教育、娱乐等多个领域带来了全新的可能性，标志着语音驱动数字人技术迈入了新的阶段。


腾讯混元大模型团队在人工智能领域持续发力，继文本生成图片、视频生成等技术之后，再次向开源社区贡献了重要的研究成果——HunyuanVideo-Avatar。这一项目的开源，旨在 democratize（民主化）数字人视频的生成过程，让更多开发者和使用者能够轻松地利用语音来驱动虚拟形象的生成。

![image.png](https://static.downly.cn/images/20250529032514.968715463.png)

HunyuanVideo-Avatar 的核心功能正如其名 所言，能够实现“语音驱动生成数字人”。这意味着用户不再需要复杂的 3D 建模、动作捕捉或专业的视频编辑技能，只需要提供一段音频，系统就能够根据语音的内容、情感和语速，自动生成一个数字人说话的视频。这无疑是一项具有颠覆性的技术，将极大提升内容创作的效率和便捷性。

<video src="https://static.downly.cn/images/20250529085234.658090026.mov" controls width="70%" title="teaser.mov"></video>

在线测试HunyuanVideo-Avatar：[https://hunyuan.tencent.com/modelSquare/home/play?modelId=126](https://hunyuan.tencent.com/modelSquare/home/play?modelId=126)

## 技术揭秘 语音如何“驱动”数字人

实现从音频到数字人视频的无缝转换，需要跨越多模态技术的壁垒。HunyuanVideo-Avatar 在技术上可能采用了以下几个关键组成部分


* **语音特征提取与分析** 系统首先需要对输入的语音进行深入分析，提取出语音的语言内容、语调、情感以及与口型运动相关的声学特征。
* **面部动作与表情生成** 基于语音特征，模型需要推断出数字人相应的面部动作、表情变化以及最关键的——口型变化。这需要对人脸的肌肉运动和语音发声机制有深刻的理解。
* **图像生成与渲染** 最后，模型将生成或操纵数字人的图像，使其面部表情和口型与分析出的语音特征同步，最终输出一段连贯自然的数字人视频。

![image.png](https://static.downly.cn/images/20250529032542.076218755.png)

为了确保生成视频的自然度和逼真度，HunyuanVideo-Avatar 可能采用了先进的深度学习模型，如基于 Transformer 的架构、生成对抗网络（GAN）或扩散模型，并结合了大量的多模态数据集进行训练。[论文](https://arxiv.org/pdf/2505.20156)中可能详细描述了其具体的模型结构和训练策略，例如可能采用了创新的注意力机制来对齐语音和视觉特征，或者使用了新的损失函数来优化生成视频的质量和一致性。

## 开源的价值 普惠 AI 的重要一步

腾讯选择将 HunyuanVideo-Avatar 开源，具有重要的战略意义和社区价值
<video src="https://static.downly.cn/images/20250529082542.256822829.mp4" controls width="70%" title="黑白相声-2.mp4"></video>

* **加速技术普及与应用** 开源使得更多的开发者和研究机构能够接触和使用这一先进技术，基于其进行二次开发和创新应用，从而加速语音驱动数字人技术的普及和落地。
* **激发社区创新活力** 开源社区的力量是巨大的。 全球的开发者可以共同对 HunyuanVideo-Avatar 进行改进、优化和拓展功能，推动技术的快速迭代和演进。
* **构建开放生态** 腾讯通过开源，有助于构建一个围绕混元大模型和数字人技术的开放生态系统，吸引更多合作伙伴共同参与，共同推动产业发展。
* **提升技术透明度** 开源有助于提高技术的透明度，让使用者更加了解模型的原理和潜在限制，促进技术的健康发展。

![image.png](https://static.downly.cn/images/20250529032750.526292890.png)

HunyuanVideo-Avatar 的开源，是腾讯在践行“科技向善”理念、推动 AI 普惠化方面的重要一步，为降低数字内容创作门槛、赋能更多个体和企业提供了强大的工具。


## 广泛应用前景 数字人进入千家万户

HunyuanVideo-Avatar 的出现，将极大地拓展数字人的应用边界，为各行各业带来新的机遇
<video src="https://static.downly.cn/images/20250529083258.269327757.mp4" controls width="70%" title="女声田野独唱.mp4"></video>
* **虚拟直播** 个体创作者和品牌可以快速生成具有个性化形象的虚拟主播，降低直播成本，提升内容吸引力。
* **在线教育** 创建生动有趣的数字老师，根据学生的语音输入进行互动式教学。
* **客服与导览** 生成智能数字客服或虚拟导览员，提供更加人性化的服务体验。
* **娱乐与营销** 制作创意短视频、广告或虚拟偶像，进行更具互动性和趣味性的内容传播。
* **个人表达与社交** 未来用户甚至可以轻松创建自己的数字分身，用于社交互动和内容分享。

![image.png](https://static.downly.cn/images/20250529032918.759711415.png)

凭借语音驱动这一便捷高效的方式，HunyuanVideo-Avatar 有望让数字人不再是高门槛的技术，而是人人都可以轻松使用的工具，真正让数字人“走进千家万户”。
<video src="https://static.downly.cn/images/20250529083247.466789044.mp4" controls width="70%" title="女声吉他独唱森林火焰.mp4"></video>

## 本地部署

需要支持CUDA的NVIDIA GPU
 - 该模型在8GPU的机器上进行了测试。
 - **最低配置**：生成720px1280px129帧视频所需的最小GPU内存为24GB，但速度很慢。
 - **推荐配置**：我们建议使用80GB显存的GPU以获得更好的生成质量。
- 测试过的操作系统：Linux

### 🛠️ 依赖项和安装

首先克隆仓库：

```shell
git clone https://github.com/Tencent/HunyuanVideo-Avatar.git
cd HunyuanVideo-Avatar
```

### Linux安装指南

我们推荐使用CUDA 12.4或11.8版本进行手动安装。

Conda的安装说明可在[这里](https://www.anaconda.com/docs/main)找到。

```shell
# 1. 创建conda环境
conda create -n HunyuanVideo-Avatar python==3.10.9

# 2. 激活环境
conda activate HunyuanVideo-Avatar

# 3. 使用conda安装PyTorch和其他依赖
# 对于CUDA 11.8
conda install pytorch==2.4.0 torchvision==0.19.0 torchaudio==2.4.0 pytorch-cuda=11.8 -c pytorch -c nvidia
# 对于CUDA 12.4
conda install pytorch==2.4.0 torchvision==0.19.0 torchaudio==2.4.0 pytorch-cuda=12.4 -c pytorch -c nvidia

# 4. 安装pip依赖
python -m pip install -r requirements.txt
# 5. 安装flash attention v2以加速（需要CUDA 11.8或更高版本）
python -m pip install ninja
python -m pip install git+https://github.com/Dao-AILab/flash-attention.git@v2.6.3
```

如果在特定GPU类型上遇到浮点异常（核心转储），您可以尝试以下解决方案：

```shell
# 方案1：确保您已安装CUDA 12.4、CUBLAS>=12.4.5.8和CUDNN>=9.00（或直接使用我们的CUDA 12 docker镜像）
pip install nvidia-cublas-cu12==12.4.5.8
export LD_LIBRARY_PATH=/opt/conda/lib/python3.8/site-packages/nvidia/cublas/lib/

# 方案2：强制显式使用CUDA 11.8编译版本的PyTorch和所有其他包
pip uninstall -r requirements.txt # 卸载所有包
pip install torch==2.4.0 --index-url https://download.pytorch.org/whl/cu118
pip install -r requirements.txt
pip install ninja
pip install git+https://github.com/Dao-AILab/flash-attention.git@v2.6.3
```

此外，您也可以使用混元视频Docker镜像。使用以下命令拉取并运行docker镜像。

```shell
# 对于CUDA 12.4（更新以避免浮点异常）
docker pull hunyuanvideo/hunyuanvideo:cuda_12
docker run -itd --gpus all --init --net=host --uts=host --ipc=host --name hunyuanvideo --security-opt=seccomp=unconfined --ulimit=stack=67108864 --ulimit=memlock=-1 --privileged hunyuanvideo/hunyuanvideo:cuda_12
pip install gradio==3.39.0 diffusers==0.33.0 transformers==4.41.2

# 对于CUDA 11.8
docker pull hunyuanvideo/hunyuanvideo:cuda_11
docker run -itd --gpus all --init --net=host --uts=host --ipc=host --name hunyuanvideo --security-opt=seccomp=unconfined --ulimit=stack=67108864 --ulimit=memlock=-1 --privileged hunyuanvideo/hunyuanvideo:cuda_11
pip install gradio==3.39.0 diffusers==0.33.0 transformers==4.41.2
```

### 🧱 下载预训练模型

预训练模型的下载详情请参见[这里](https://github.com/Tencent-Hunyuan/HunyuanVideo-Avatar/blob/main/weights/README.md)。

### 🚀 多GPU并行推理

例如，要使用8个GPU生成视频，可以使用以下命令：

```bash
cd HunyuanVideo-Avatar

JOBS_DIR=$(dirname $(dirname "$0"))
export PYTHONPATH=./
export MODEL_BASE="./weights"
checkpoint_path=${MODEL_BASE}/ckpts/hunyuan-video-t2v-720p/transformers/mp_rank_00_model_states.pt

torchrun --nnodes=1 --nproc_per_node=8 --master_port 29605 hymm_sp/sample_batch.py \
 --input 'assets/test.csv' \
 --ckpt ${checkpoint_path} \
 --sample-n-frames 129 \
 --seed 128 \
 --image-size 704 \
 --cfg-scale 7.5 \
 --infer-steps 50 \
 --use-deepcache 1 \
 --flow-shift-eval-video 5.0 \
 --save-path ${OUTPUT_BASEPATH} 
```

### 🔑 单GPU推理

例如，要使用1个GPU生成视频，可以使用以下命令：

```bash
cd HunyuanVideo-Avatar

JOBS_DIR=$(dirname $(dirname "$0"))
export PYTHONPATH=./

export MODEL_BASE=./weights
OUTPUT_BASEPATH=./results-single
checkpoint_path=${MODEL_BASE}/ckpts/hunyuan-video-t2v-720p/transformers/mp_rank_00_model_states_fp8.pt

export DISABLE_SP=1 
CUDA_VISIBLE_DEVICES=0 python3 hymm_sp/sample_gpu_poor.py \
 --input 'assets/test.csv' \
 --ckpt ${checkpoint_path} \
 --sample-n-frames 129 \
 --seed 128 \
 --image-size 704 \
 --cfg-scale 7.5 \
 --infer-steps 50 \
 --use-deepcache 1 \
 --flow-shift-eval-video 5.0 \
 --save-path ${OUTPUT_BASEPATH} \
 --use-fp8 \
 --infer-min
```

### 低显存运行方案

```bash
cd HunyuanVideo-Avatar

JOBS_DIR=$(dirname $(dirname "$0"))
export PYTHONPATH=./

export MODEL_BASE=./weights
OUTPUT_BASEPATH=./results-poor

checkpoint_path=${MODEL_BASE}/ckpts/hunyuan-video-t2v-720p/transformers/mp_rank_00_model_states_fp8.pt

export CPU_OFFLOAD=1
CUDA_VISIBLE_DEVICES=0 python3 hymm_sp/sample_gpu_poor.py \
 --input 'assets/test.csv' \
 --ckpt ${checkpoint_path} \
 --sample-n-frames 129 \
 --seed 128 \
 --image-size 704 \
 --cfg-scale 7.5 \
 --infer-steps 50 \
 --use-deepcache 1 \
 --flow-shift-eval-video 5.0 \
 --save-path ${OUTPUT_BASEPATH} \
 --use-fp8 \
 --cpu-offload \
 --infer-min
```

### 运行Gradio服务器

```bash
cd HunyuanVideo-Avatar

bash ./scripts/run_gradio.sh
```

## 未来展望 AI 驱动数字内容新浪潮

腾讯开源 HunyuanVideo-Avatar，是人工智能驱动数字内容生成浪潮中的一个重要里程碑。它不仅展示了腾讯在多模态 AI 领域的深厚技术积累，更通过开源的方式，将前沿技术分享给全球社区，共同推动数字人技术的创新和应用。

随着技术的不断发展和社区的共同努力，我们可以期待 HunyuanVideo-Avatar 在未来能够支持更多复杂的语音情绪、更细腻的面部表情以及更多样的数字人形象。这场由语音驱动的数字人新浪潮，才刚刚开始，它将深刻改变我们创作、消费和互动数字内容的方式。

腾讯开源 HunyuanVideo-Avatar 语音驱动数字人视频生成



> 《Nature》杂志近日发表了一项引领性的研究成果，详细介绍了一种“首个大规模大气 AI 模型”。这项创新技术代表了利用人工智能进行天气预报的 significant 进步，相比传统的数值天气预报系统，该 AI 模型在计算效率上展现出了 substantial 的提升，同时在预测精度上达到了 highly competitive 的水平，部分指标甚至有所超越。这项研究为未来更快速、更精准的天气预报提供了新的 promising pathway。

## 传统天气预报的计算瓶颈

数十年来，高精度的天气预报一直依赖于 complex 的数值天气预报（NWP）系统。这些系统通过模拟大气物理过程来预测未来天气，requires 强大的计算资源和 lengthy 的计算时间来求解复杂的数学方程。

![image.png](https://static.downly.cn/images/20250522085506.474514649.png)

NWP 系统在提供准确预报方面发挥了 crucial 作用，但其 inherent 的计算成本和时间限制，使得实现更高频率、更高分辨率的预报变得困难，尤其是在应对 rapidly evolving 的天气状况时。

## 大规模大气AI模型的创新之处

这项发表在《Nature》上的研究，提出了一个基于深度学习的“大规模大气 AI 模型”。与传统基于物理方程的数值模型不同，这个 AI 模型通过从 vast amounts 的历史气象数据中学习大气演变的 patterns。

**插图位置** （可以在这里放一张示意图，例如一个简化的神经网络模型，旁边可以标注“数据驱动学习”）

“大规模”体现在其参数数量和训练数据的规模，这使得模型能够捕捉到大气系统中复杂的相互作用，而无需 explicitly 对这些物理过程进行建模。这种数据驱动的方法，为 bypassing 传统数值模型的计算瓶颈提供了可能性。

## 计算效率的显著提升

论文强调，与传统的数值天气预报系统相比，该大规模大气 AI 模型在进行一次全球性预报时，所需的计算时间 **显著减少**。虽然论文中可能没有使用“快 5000 倍”这样具体的、过于夸张的数字，但其核心贡献之一就在于 **提高了预测的速度和效率**。

这种效率的提升，意味着在同等计算资源下，可以进行 **更频繁的预报更新** 或 **更高分辨率的预报**，这对于许多依赖天气信息的应用至关重要，例如在突发天气事件中提供 timely 的警报和信息。

![image.png](https://static.downly.cn/images/20250522085541.747280426.png)

## 预测精度的有力证明

仅仅提高速度是不够的，预测精度是天气预报的核心。论文提供了 detailed 的评估结果，证明该大规模大气 AI 模型在 several key 气象变量（如气温、降水、风速等）的预测精度上，能够与 current leading 的数值天气预报系统 **相媲美**，并且在 some cases 下甚至 **表现更优**。

研究团队通过 rigorous 的对比实验，展示了 AI 模型在不同预报时效（例如未来几天甚至更长时间）和不同区域的预测性能。这些结果有力地 support 了 AI 模型在提供 reliable 的天气预报方面的潜力。

![image.png](https://static.downly.cn/images/20250522085604.322151161.png)

## 研究意义与未来影响

这项研究不仅是深度学习在自然科学领域应用的又一次成功范例，更为未来的天气预报和气候建模带来了新的可能性。

### 提升实时预报能力

AI 模型的高效性使得在 severe weather events 发生时，能够快速生成高分辨率的局部预报， aiding 决策者和公众应对风险。

### 加速气候变化研究

类似的技术 pathways 也可能应用于气候模拟领域，加速气候变化场景的模拟， enabling 更深入、更快速的气候变化影响评估。

### 推动混合建模发展

未来的发展方向可能在于将 AI 模型的高效 pattern 学习能力与传统数值模型的物理一致性相结合，构建更 powerful、更 comprehensive 的预报系统。

这项发表在《Nature》上的研究，为利用大规模 AI 模型进行天气预报奠定了坚实的基础，虽然实现大规模实际应用仍需 further 研究和工程努力，但这无疑是 toward 更快速、更精准天气预报迈出的 critical 一步。



Nature发布重磅研究 首个大规模大气AI模型 显著提升天气预报效率与精度

Apache MXNet

昇思MindSpore

v0.dev

UC伯克利研究推出的深度学习框架

Caffe

动手学深度学习

快速训练、部署和开发人工智能产品的深度学习框架，由Pytorch Lightning团队推出

搜索结果: 深度学习