> 科技巨头的AI竞赛愈演愈烈，本日焦点无疑是谷歌。从开源手机端多模态模型Gemma3n，到用Gemini全面取代谷歌助手，再到推出Offerwall工具应对AI搜索冲击，谷歌正以前所未有的力度将其AI能力渗透到从底层技术到上层应用的每一个角落。与此同时，AI在内容创作领域的革命也在加速，HeyGen的一键视频生成工具和Suno对音乐编辑软件的收购，预示着一个普通人也能轻松创作专业级内容的时代正在到来。而在这场变革的背后，Meta与OpenAI的人才争夺战，则揭示了驱动这一切的核心——顶尖智慧的激烈角逐。

## 手机也能跑云端AI 谷歌开源多模态模型Gemma3n

谷歌近日投下一枚重磅炸弹，正式开源了其全新的端侧多模态大模型[Gemma3n](https://huggingface.co/collections/google/gemma-3n-685065323f5984ef315c93f4)。该系列模型旨在将以往依赖云端服务器的强大AI能力，直接带入用户的个人设备中。Gemma3n提供了E2B和E4B两个版本，以其惊人的小体积和高内存效率，实现了在手机等移动设备上进行复杂的图像、音频、视频及文本处理。


![image.png](https://static.downly.cn/images/6510a108a2a3ef47c21d515ab39ec1b2.png)


得益于MatFormer、PLE、KV Cache共享等一系列创新技术，Gemma3n不仅在多语言理解、数学、编码方面表现出色，其推理能力也获得了显著提升。此举无疑将极大地推动移动应用和智能硬件的创新，让AI真正无缝融入我们的日常生活。

## 再见Google助手 Gemini全面接管安卓智能体验

谷歌正式宣布，其强大的AI助手Gemini将全面整合进Android手机系统，并于7月7日起逐步上线。这意味着，经典的Google Assistant将逐渐退出历史舞台。更新后，用户无需打开特定应用，即可通过Gemini执行拨打电话、发送消息等日常操作，实现更深层次的系统级智能交互。
![image.png](https://static.downly.cn/images/e5b9fae8f48fca6eeeec8419ca4c560f.png)


针对用户普遍关心的隐私问题，谷歌也给出了解决方案。用户可以随时在设置中禁用“应用活动”选项，从而阻止自己的聊天记录被用于AI模型的训练，确保个人数据的安全。Gemini的全面上位，标志着Android设备将迎来一个更便捷、更智能也更注重隐私的AI新时代。

## 谷歌推新利器Offerwall 力挽AI搜索狂澜助出版商增收

随着AI驱动的搜索（如SGE）逐渐改变用户获取信息的方式，传统网站和内容出版商面临着流量下滑的巨大挑战。为此，谷歌在Ad Manager中免费推出了名为Offerwall的全新工具，旨在帮助出版商开辟新的变现途径。Offerwall允许读者通过多种方式灵活地访问付费内容，例如完成一次小额支付、观看一段广告视频，或是参与一项简短的调查。


![image.png](https://static.downly.cn/images/f7ce2b0b795478a996a134f834ac0bca.png)


在一千家出版商参与的前期测试中，该工具取得了显著成效，平均为他们带来了9%的收入提升。这对于在AI浪潮中寻求生存与发展的数字内容创作者而言，无疑是一个积极的信号。

## 一键生成爆款视频 HeyGen推出AI视频代理颠覆内容创作

视频创作的门槛正在被AI彻底打破。知名AI视频公司HeyGen最近推出了一款革命性的“AI视频Agent”，它能够将视频制作流程完全自动化。用户只需上传图片、视频片段或简单的文本描述，这个AI代理就能自动完成从故事构思、脚本撰写到镜头选择、剪辑合成的全过程。


![image.png](https://static.downly.cn/images/663d105e0649f0eada2cbe256056d471.png)


在短短几分钟内，即便是毫无经验的普通人也能生成一部专业水准的视频。这项技术为广告营销、短视频内容生产等领域提供了前所未有的高效解决方案，让内容创作者能以更低的成本和更高的效率，将创意变为现实。

## AI人才争夺白热化 Meta从OpenAI挖走顶尖研究员

AI领域的竞争，归根结底是顶尖人才的竞争。近日，Meta公司成功从其主要竞争对手OpenAI挖角，引进了强化学习和AI推理领域的顶尖研究员Trapit Bansal。他将加入Meta内部一个星光熠熠的“AI超级智能部门”，该部门由前Scale AI首席执行官领导，并已吸引了多位来自Open-AI和Google DeepMind的核心人才。

![image.png](https://static.downly.cn/images/b324fceda98a6e05ef43faaa071fc2ef.png)

此次挖角被视为Meta在AI模型竞赛中为取得领先优势而采取的关键一步。尽管此前Meta尝试收购AI初创公司的计划未能成功，但通过精准引进顶尖人才，Meta正不断加强其研发实力，以应对日益激烈的行业挑战。

## AI应用与工具速览

### YouTube测试AI摘要与对话式搜索

YouTube正在测试两项新的AI功能以提升用户体验：在搜索结果中直接显示由AI生成的视频内容摘要，以及扩展其对话式AI工具。然而，这一举措引发了内容创作者的担忧，他们害怕AI摘要会减少用户的实际视频观看量，从而影响其广告收入。

### 谷歌发布虚拟试衣应用Doppl

谷歌推出了一款名为Doppl的AI虚拟试衣应用（目前仅限美国）。用户只需上传一张自己的全身照，就能将网上的任意服装图片“穿”在自己身上，甚至可以生成动态的试穿效果视频，为线上购物提供了极具未来感的体验。
<video src="https://static.downly.cn/images/61db2b003feb947f62e7df849ffad7f9.mp4"  title="doppl1 - Compressed with FlexClip.mp4"></video>
### 黑森林团队开源最强图像编辑模型FLUX.1

Black Forest Labs（黑森林团队）开源了其强大的图像编辑模型FLUX.1 Kontext [dev]。开发者现在可以在ComfyUI等工作流平台中结合LoRA使用该模型，实现更高自由度和更精细的图像编辑效果。
![image.png](https://static.downly.cn/images/a944c19d1d7bb088aee047be0e02a56a.png)

### Anthropic推出Claude Artifacts Space

AI公司Anthropic为其大模型产品Claude推出了名为“Artifacts Space”的新功能。它允许用户将自己基于Claude创建的各种AI应用工具发布到一个共享空间，供其他人浏览和使用，极大地促进了AI应用的共享和创新。
<video src="https://static.downly.cn/images/a7669a676e786af417176f1d1751de1c.mp4"  title="30716920954-1-16.mp4"></video>

### Suno收购WavTool强化AI音乐创作

AI音乐生成领域的明星公司Suno，近日收购了基于浏览器的AI音乐制作软件WavTool。此举旨在为其用户提供更强大的后期编辑能力，让音乐人不仅能用AI生成音乐，还能像在专业工作站中一样对AI生成的音轨进行精细的调整和修改。
![image.png](https://static.downly.cn/images/39578c84acf5e8765f93dc85738c4bc9.png)

AI每日资讯0627

> Black Forest Labs 近日发布 Flux Kontext，一款媲美 ChatGPT 图像编辑能力的模型。



在 AI 技术飞速发展的今天，图像编辑领域也迎来了新的突破。 近日，专注于生成式 AI 研究的 Black Forest Labs 宣布推出其最新成果 Flux Kontext。 这款模型被认为是能够与 ChatGPT 等大型语言模型相媲美的图像编辑工具，预示着 AI 在理解和操作图像方面正变得越来越智能。

![image.png](https://static.downly.cn/images/20250530073656.421431040.png)

Flux Kontext 的核心能力在于它能够理解复杂的文本指令，并将其转化为对图像的精确编辑。 这意味着用户可以通过自然语言的方式，向 AI 模型描述他们想要进行的修改，而无需学习繁琐的专业软件操作。

## 强大的图像编辑能力 媲美大模型理解力

Flux Kontext 的亮点在于其对文本指令的理解能力和在图像上执行相应编辑的精确性。 尽管官方可能没有直接将其与 ChatGPT 的所有能力进行对比，但“媲美 ChatGPT”的说法，暗示了 Flux Kontext 在以下方面可能具备出色表现

*   **对复杂指令的理解** 能够理解多步骤、包含多种元素的编辑需求。
*   **上下文感知能力** 考虑图片本身的元素和背景，进行合理的编辑。
*   **创意性编辑** 不仅仅是简单的修改，还能进行风格转换、元素添加或移除等创意性操作。
*   **高保真度输出** 生成的编辑结果在视觉上自然且高质量。

![image.png](https://static.downly.cn/images/20250530073722.160284612.png)

这种媲美大型语言模型的理解力，使得 Flux Kontext 能够处理更加复杂和细致的图像编辑任务，极大地提升了用户的工作效率和创作自由度。

## 潜在应用广泛 设计 创意 艺术领域福音

Flux Kontext 的发布，为多个领域带来了新的可能性，尤其是在需要大量图像编辑工作的场景下。



例如

*   **平面设计** 快速调整图片元素、修改风格、生成不同版本的创意素材。
*   **广告营销** 快速生成符合不同营销需求的视觉内容。
*   **摄影后期** 简化复杂的后期处理流程，通过文本指令完成精细调整。
*   **艺术创作** 将文字描述转化为视觉作品，探索新的艺术表达方式。

Flux Kontext 有望成为设计师、营销人员、摄影师和艺术创作者的强大助手，帮助他们更高效地实现创意。

## AI 赋能图像编辑 未来充满期待

Black Forest Labs 推出 Flux Kontext，是 AI 赋能图像编辑领域的又一重要里程碑。



随着技术的不断进步，我们有理由相信，未来的图像编辑工具将更加智能、易用和强大。 像 Flux Kontext 这样的模型，通过融合大型语言模型的理解力和图像生成编辑能力，正在为我们勾勒出一个充满可能性的未来。 期待 Flux Kontext 能够为图像编辑领域带来更多创新和突破。



**更具吸引力且更贴近文章重点的标题建议**

*   媲美 ChatGPT 的图像编辑神器来了 Black Forest Labs 发布 Flux Kontext
*   告别复杂工具 Black Forest Labs Flux Kontext 让你的文字变成图像魔法
*   AI 图像编辑新高度 Black Forest Labs 推出 Flux Kontext 突破创意边界
*   Flux Kontext 重磅发布 Black Forest Labs 用 AI 重新定义图像编辑
*   你的下一款图像编辑工具？ Black Forest Labs Flux Kontext 带来智能体验



Black Forest Labs 推出 Flux Kontext AI 图像编辑迎来新突破

> 近日，一项题为扩散式“发散思维链（Diffusion-of-Thoughts）”的创新研究在人工智能领域引起广泛关注。这项新技术旨在赋予大型语言模型更强的“发散思维”能力，使其在解决复杂问题时能够探索更多可能性。值得一提的是，这项技术与Google DeepMind的Gemini Diffusion模型产生了令人兴奋的共振，预示着生成式AI在理解和解决问题方面将迈上新的台阶。

## 打破线性思维 探索扩散式思考

传统的思维链（Chain-of-Thought）方法通过引导大型语言模型逐步推理，从而解决复杂问题。然而，这种方法往往呈现出一种线性的、连续的的过程，可能忽略了其他潜在的解决方案。

![image.png](https://static.downly.cn/images/20250527022601.324238376.png)

而扩散式“发散思维链”则借鉴了扩散模型的思想，旨在模拟人类大脑在解决问题时的一种发散性思考过程。它不是沿着一条固定的路径前进，而是从一个起始点出发，像扩散一样向四周探索不同的可能性和思路。

具体来说，扩散式“发散思维链”通过生成多个并行或交叉的思维路径，鼓励模型在解决问题时考虑多种不同的角度和方法。这种“发散”的过程使得模型能够发现那些在传统线性思维链中可能被忽视的潜在解决方案。

## 如何实现“扩散式”思考

实现扩散式“发散思维链”的关键在于设计一种机制，能够引导模型在生成思维过程时产生多样性，并对不同的思维路径进行评估和筛选。

*   **多路径生成** 模型在处理问题时，被鼓励生成多个不同的中间步骤或思路。这些路径可能从同一个起点开始，但在后续步骤中分化开来。
*   **路径评估与优化** 对生成的不同思维路径进行评估，判断其可行性和潜在价值。一些路径可能被放弃，而另一些则可能被进一步探索。
*   **信息交互与融合** 不同的思维路径之间可以进行信息交互和融合，从而产生新的、更具洞察力的思路。

![image.png](https://static.downly.cn/images/20250527022613.531292981.png)

这种“扩散”的过程使得模型能够在解决问题时保持开放性，不局限于单一的思维模式，从而提高解决复杂问题的成功率。

## 与Gemini Diffusion的共振 赋能生成式AI

更令人兴奋的是，扩散式“发散思维链”与Google DeepMind最近推出的Gemini Diffusion模型产生了自然的契合。Gemini Diffusion是一款强大的多模态生成模型，能够在文本、图片、音频等方面生成高质量的内容。

![image.png](https://static.downly.cn/images/20250527022622.475378551.png)

将扩散式“发散思维链”应用于Gemini Diffusion，意味着模型在理解和执行复杂生成任务时，将具备更强的“思考”能力。例如，在生成一个包含多种元素和复杂关系的图片时，Gemini Diffusion可以利用扩散式“发散思维链”探索不同的构图、风格和元素组合方式，从而生成更具创意和符合用户需求的图片。

这种结合有望提升Gemini Diffusion在以下方面的能力

*   **复杂任务的理解** 更好地理解用户指令中蕴含的复杂意图和潜在需求。
*   **高质量内容的生成** 生成更具创意、多样化且逻辑一致的内容。
*   **多模态协同** 在处理涉及文本、图片等多种模态的任务时，展现出更强的协同能力。

## 对未来的展望 AI的“思考”模式变革

扩散式“发散思维链”的提出，代表着大型语言模型在“思考”模式上的一次重要突破。它标志着AI不再仅仅是按照预设的规则或模式进行简单的信息处理，而是开始尝试模拟人类更高级、更灵活的思考方式。


这项技术为未来的AI发展指明了新的方向。我们可以期待，未来的人工智能系统将不仅仅拥有强大的计算和记忆能力，更将具备更强的创造力、解决问题的能力和对世界的深刻理解。

然而，这项技术也带来了一些挑战。如何有效地引导和控制AI的“发散思维”，如何评估和筛选海量思维路径中的最优解，以及如何确保AI的思考过程是透明和可解释的，都需要进一步深入研究。

## 结论 AI思维方式的新篇章

首个扩散式“发散思维链”的诞生，与Gemini Diffusion模型的结合，预示着AI在理解和解决复杂问题方面的能力将迎来新的飞跃。这项创新技术有望为生成式AI带来更强的创造力和灵活性，开启人工智能“思考”模式的新篇章。虽然挑战依然存在，但这项研究无疑为构建更智能、更像人类的AI系统迈出了重要一步。

首个扩散式「发散思维链」诞生 赋能Gemini Diffusion



> 《Nature》杂志近日发表了一项引领性的研究成果，详细介绍了一种“首个大规模大气 AI 模型”。这项创新技术代表了利用人工智能进行天气预报的 significant 进步，相比传统的数值天气预报系统，该 AI 模型在计算效率上展现出了 substantial 的提升，同时在预测精度上达到了 highly competitive 的水平，部分指标甚至有所超越。这项研究为未来更快速、更精准的天气预报提供了新的 promising pathway。

## 传统天气预报的计算瓶颈

数十年来，高精度的天气预报一直依赖于 complex 的数值天气预报（NWP）系统。这些系统通过模拟大气物理过程来预测未来天气，requires 强大的计算资源和 lengthy 的计算时间来求解复杂的数学方程。

![image.png](https://static.downly.cn/images/20250522085506.474514649.png)

NWP 系统在提供准确预报方面发挥了 crucial 作用，但其 inherent 的计算成本和时间限制，使得实现更高频率、更高分辨率的预报变得困难，尤其是在应对 rapidly evolving 的天气状况时。

## 大规模大气AI模型的创新之处

这项发表在《Nature》上的研究，提出了一个基于深度学习的“大规模大气 AI 模型”。与传统基于物理方程的数值模型不同，这个 AI 模型通过从 vast amounts 的历史气象数据中学习大气演变的 patterns。

**插图位置** （可以在这里放一张示意图，例如一个简化的神经网络模型，旁边可以标注“数据驱动学习”）

“大规模”体现在其参数数量和训练数据的规模，这使得模型能够捕捉到大气系统中复杂的相互作用，而无需 explicitly 对这些物理过程进行建模。这种数据驱动的方法，为 bypassing 传统数值模型的计算瓶颈提供了可能性。

## 计算效率的显著提升

论文强调，与传统的数值天气预报系统相比，该大规模大气 AI 模型在进行一次全球性预报时，所需的计算时间 **显著减少**。虽然论文中可能没有使用“快 5000 倍”这样具体的、过于夸张的数字，但其核心贡献之一就在于 **提高了预测的速度和效率**。

这种效率的提升，意味着在同等计算资源下，可以进行 **更频繁的预报更新** 或 **更高分辨率的预报**，这对于许多依赖天气信息的应用至关重要，例如在突发天气事件中提供 timely 的警报和信息。

![image.png](https://static.downly.cn/images/20250522085541.747280426.png)

## 预测精度的有力证明

仅仅提高速度是不够的，预测精度是天气预报的核心。论文提供了 detailed 的评估结果，证明该大规模大气 AI 模型在 several key 气象变量（如气温、降水、风速等）的预测精度上，能够与 current leading 的数值天气预报系统 **相媲美**，并且在 some cases 下甚至 **表现更优**。

研究团队通过 rigorous 的对比实验，展示了 AI 模型在不同预报时效（例如未来几天甚至更长时间）和不同区域的预测性能。这些结果有力地 support 了 AI 模型在提供 reliable 的天气预报方面的潜力。

![image.png](https://static.downly.cn/images/20250522085604.322151161.png)

## 研究意义与未来影响

这项研究不仅是深度学习在自然科学领域应用的又一次成功范例，更为未来的天气预报和气候建模带来了新的可能性。

### 提升实时预报能力

AI 模型的高效性使得在 severe weather events 发生时，能够快速生成高分辨率的局部预报， aiding 决策者和公众应对风险。

### 加速气候变化研究

类似的技术 pathways 也可能应用于气候模拟领域，加速气候变化场景的模拟， enabling 更深入、更快速的气候变化影响评估。

### 推动混合建模发展

未来的发展方向可能在于将 AI 模型的高效 pattern 学习能力与传统数值模型的物理一致性相结合，构建更 powerful、更 comprehensive 的预报系统。

这项发表在《Nature》上的研究，为利用大规模 AI 模型进行天气预报奠定了坚实的基础，虽然实现大规模实际应用仍需 further 研究和工程努力，但这无疑是 toward 更快速、更精准天气预报迈出的 critical 一步。



Nature发布重磅研究 首个大规模大气AI模型 显著提升天气预报效率与精度

> 近日，GenSpark 公司宣布推出全球首个 Agentic AI 下载代理，这是一项旨在革新用户文件管理体验的创新技术。该代理利用先进的 Agentic AI 能力，能够自主理解、组织和管理用户的下载文件，将文件下载和管理流程带入了智能时代。

## 传统文件管理的痛点

在日常使用电脑和智能设备的过程中，文件下载和管理是用户频繁进行的操作。然而，传统的下载方式往往缺乏智能性，用户需要手动进行文件分类、重命名、整理等操作，效率低下且容易出错。特别是当下载文件数量庞大或类型复杂时，文件管理更是成为一个令人头疼的问题。

## Agentic AI 下载代理的诞生

GenSpark 洞察到用户在文件管理方面的痛点，利用其在 Agentic AI 领域的积累，开发了这款智能下载代理。Agentic AI 强调 AI 模型的自主性和行动能力，能够理解用户的意图，并在复杂环境中做出决策和执行任务。GenSpark 将这种能力应用于文件下载和管理场景。

![image.png](https://static.downly.cn/images/20250519061209.758809225.png)
## Agentic AI 下载代理的核心功能

GenSpark 的 Agentic AI 下载代理集成了多种智能功能，旨在为用户提供流畅高效的文件管理体验

### 智能理解与分类

该代理能够理解用户下载文件的内容和类型，并根据预设或用户自定义的规则进行智能分类。例如，它能够自动识别文档、图片、视频、软件安装包等不同类型的文件，并将它们移动到相应的文件夹中。

### 自动重命名与组织

Agentic AI 下载代理可以根据文件内容、来源、时间等信息，自动为下载文件生成规范的名称，并按照用户偏好进行组织，例如按照日期、来源网站等创建子文件夹。

### 意图感知与优化

更重要的是，该代理具有意图感知能力。它能够学习用户的下载习惯和偏好，预测用户可能的文件处理意图，并提供相应的建议或自动化操作，例如自动解压压缩文件、自动将特定类型的文件同步到云端等。

![image.png](https://static.downly.cn/images/20250519061306.437850147.png)

### 跨平台协同

GenSpark 的 Agentic AI 下载代理支持跨平台使用，能够在不同设备和操作系统之间实现无缝的文件管理体验。

## 革新文件管理体验

GenSpark 的 Agentic AI 下载代理不仅仅是一个自动下载工具，它正在革新用户的文件管理体验

### 提升效率

自动化和智能化的文件处理过程极大地提高了文件管理的效率，用户不再需要花费大量时间进行手动操作。

### 减少错误

AI 的智能识别和处理能力减少了人为错误的可能性，确保文件被准确地分类和组织。

### 个性化服务

Agentic AI 代理能够学习用户习惯，提供个性化的文件管理服务，让文件管理更贴合用户需求。

### 释放用户精力

用户可以将更多精力放在核心任务上，而无需为繁琐的文件管理而烦恼。

## 未来展望

GenSpark 表示，Agentic AI 下载代理是他们在 Agentic AI 应用领域迈出的重要一步。未来，他们将继续探索 Agentic AI 在文件管理及其他领域的更多应用潜力，例如智能搜索、智能备份等。

随着 Agentic AI 技术的不断成熟和普及，我们有理由相信，未来的文件管理将变得更加智能、高效和便捷，为用户带来前所未有的体验。GenSpark 的 Agentic AI 下载代理无疑走在了这一趋势的前沿。

GenSpark 发布全球首个 Agentic AI 下载代理 文件管理迈入智能时代

> 在即将到来的计算机视觉顶会 CVPR 2025 上，一项名为 SketchVideo 的创新技术引起了广泛关注。这项技术由清华大学和北京信息科学与技术国家研究中心等机构合作研发，能够将简单的手绘线稿转化为生动的视频，标志着视频生成领域进入了一个全新的“线稿时代”。

## 告别复杂 拥抱手绘

传统的视频生成方法往往需要复杂的文本描述、详细的图像输入甚至专业的建模技能。这对于非专业用户来说门槛较高，限制了创意表达。SketchVideo 的出现，有望彻底改变这一现状。它让任何人只需用简单的线条勾勒出想法，就能轻松生成个性化的视频。

![image.png](https://static.downly.cn/images/20250519033422.119944628.png)

## SketchVideo 的核心技术

SketchVideo 之所以能够实现从手绘到视频的跨越，得益于其背后融合的多项先进技术

### 线稿理解与解释

SketchVideo 能够理解用户手绘线稿中的关键信息，包括物体的形状、位置、运动轨迹等。这需要强大的计算机视觉模型来分析和解释线稿的语义。

### 视频生成模型

在理解线稿的基础上，SketchVideo 利用先进的视频生成模型，根据线稿提供的结构和动态信息，生成具有纹理、颜色和细节的视频帧序列。

### 时序一致性控制

为了确保生成的视频流畅自然，SketchVideo 引入了时序一致性控制机制，使得视频帧之间能够平滑过渡，避免闪烁或不连贯的情况。

### 用户交互与编辑

SketchVideo 还提供了用户友好的交互界面，允许用户对手绘线稿进行修改和细化，或调整生成视频的风格和参数，以实现更精准的控制。

## 突破性进展

SketchVideo 在多个方面取得了突破性进展

### 极低的输入门槛

用户只需手绘线稿即可生成视频，极大地降低了视频创作的门槛，让创意不再受限于专业技能。

### 灵活的创意表达

手绘的自由度使得用户可以轻松表达各种天马行空的创意，而无需拘泥于预设的模板或参数。

### 高效的视频制作

相比传统的视频制作流程，SketchVideo 能够快速将想法转化为视频，大幅提高了制作效率。

### 个性化的视觉风格

用户可以通过调整手绘线稿的风格或参数，影响生成视频的最终视觉效果，实现高度个性化的表达。

## 潜在应用场景

SketchVideo 的出现，有望在多个领域产生重要影响

### 动画制作

SketchVideo 可以极大地简化动画制作流程，让动画师能够快速将草图转化为动态场景。

![image.png](https://static.downly.cn/images/20250519033551.260717497.png)

### 故事板与预演

电影、广告等行业的创意人员可以利用 SketchVideo 快速生成故事板或进行视觉预演，更好地呈现创意。

### 教育与演示

教师和讲师可以利用 SketchVideo 轻松创建动态演示文稿或教学视频，提高教学效果。

### 个性化内容创作

普通用户可以利用 SketchVideo 创作独具风格的个性化短视频，用于社交媒体分享或创意表达。

## 结论与展望

SketchVideo 的发布标志着视频生成技术向着更自由、更便捷的方向迈出了重要一步。它将手绘的直观性和创造性与先进的 AI 技术相结合，为用户提供了一种全新的视频创作方式。随着技术的不断发展和完善，SketchVideo 有望在未来的创意产业、教育领域和个人内容创作中发挥越来越重要的作用。我们期待在 CVPR 2025 上看到更多关于 SketchVideo 的精彩展示和深入探讨。

CVPR 2025 亮点 SketchVideo 掀起手绘视频生成新浪潮

> 华为研究所近日发布了一项名为 Selftok 的创新技术，全称为“自一致性分词器”（Discrete Visual Tokens of Autoregression, by Diffusion, and for Reasoning）。这项技术旨在解决视觉模型在离散表征和推理能力上的挑战，有望为未来的图像生成、理解和推理模型带来新的突破。

## 什么是 Selftok

Selftok 是一种新型的视觉分词器，它致力于生成具有自一致性的离散视觉 token。传统的视觉分词方法往往会产生不连贯或不一致的 token，这会影响下游任务的性能。Selftok 通过整合自回归、扩散模型和推理能力，旨在生成更稳定、更具语义意义的离散视觉表征。

## Selftok 的核心技术

Selftok 的核心优势在于其独特的技术架构，它融合了多种先进的 AI 技术

### 自回归特性

Selftok 利用自回归的方式生成视觉 token，这意味着每个 token 的生成都依赖于之前生成的 token。这种特性有助于确保生成的序列具有一定的连贯性和上下文依赖性。

### 扩散模型集成

Selftok 结合了扩散模型的思想，通过逐步去噪的过程来生成高质量的视觉 token。扩散模型在图像生成领域取得了巨大成功，将其应用于视觉分词有助于提高 token 的质量和多样性。

![image.png](https://static.downly.cn/images/20250519031124.448196257.png)

### 增强推理能力

Selftok 在设计中考虑了对下游推理任务的支持。通过生成更具语义意义的离散 token，Selftok 有望提升视觉模型在图像问答、视觉推理等任务上的表现。


### Token 不一致性

许多现有的视觉分词方法生成的 token 缺乏全局一致性，导致在重构或下游任务中出现伪影或语义偏差。Selftok 通过其自一致性设计解决了这一问题。

### 低质量离散表征

生成高质量的离散视觉 token 一直是一个挑战。Selftok 通过整合扩散模型等技术，旨在生成更具代表性和信息量的离散表征。

### 有限的推理能力

传统的视觉分词方法生成的 token 往往不利于复杂的视觉推理。Selftok 通过生成更具语义意义的 token，为提升视觉模型的推理能力奠定了基础。

### 高质量图像生成

通过生成更稳定的离散视觉 token，Selftok 可以为自回归图像生成模型提供更好的输入，从而生成更逼真、更高质量的图像。

![image.png](https://static.downly.cn/images/20250519031258.971294402.png)

### 提升视觉理解与推理

Selftok 生成的自一致性 token 有助于视觉模型更好地理解图像内容并进行复杂的推理，例如在视觉问答、图像标注等任务中。

### 高效的视觉压缩

离散视觉 token 天然地适合用于图像压缩。Selftok 生成的高质量 token 有望实现更高效和无损的视觉信息压缩。

## 结论与展望

华为研究所发布的 Selftok 技术是视觉分词领域的一项重要进展。通过融合自回归、扩散模型和增强推理能力，Selftok 致力于生成自一致性的离散视觉 token，解决了现有方法的一些关键痛点。这项技术有望为未来的图像生成、理解和推理模型带来新的突破，值得业界持续关注。随着研究的深入，我们期待 Selftok 在实际应用中展现出更强大的潜力。

华为研究所发布自一致性视觉分词器 Selftok

> 想象一下，你正在观看一场精彩的体育赛事直播，或者一场重要的线上讲座。如果你的AI助手能够实时理解视频内容，主动提供背景信息、解释专业术语，甚至预测接下来的关键事件，那将极大地提升你的观看体验。一项名为 StreamBridge 的创新技术，正在将离线视频大语言模型（Video LLM）转化为能够处理实时流媒体数据的“主动流媒体助手”，让这一切变为可能。
## 离线视频LLM的局限
近年来，视频大语言模型（Video LLM）取得了显著进展，它们能够理解视频内容、进行问答、生成摘要等。然而，大多数现有的 Video LLM 主要处理离线视频文件，这意味着它们需要先下载或完整载入视频后才能进行分析。这使得它们难以应用于对实时性要求较高的场景，例如直播流媒体。在观看直播时，用户需要的是实时的互动和信息补充，而离线处理的 Video LLM 无法满足这种需求。
![image.png](https://static.downly.cn/images/20250514023147.077668507.png)
## StreamBridge：连接离线与实时的桥梁
StreamBridge 技术的核心在于，它构建了一座连接离线 Video LLM 与实时流媒体数据的“桥梁”。它通过一系列巧妙的设计和处理流程，使得原本只能处理完整视频文件的 Video LLM 能够适应并分析连续不断输入的视频流。关键在于，StreamBridge 并不仅仅是简单地将视频流切片后喂给模型，而是通过优化数据处理、引入时间感知机制以及结合预测性分析等方式，实现了对实时视频流的有效理解和响应。
![image.png](https://static.downly.cn/images/20250514023210.335435312.png)
## 化身主动流媒体助手
StreamBridge 的出现，使得离线 Video LLM 能够摇身一变，成为强大的“主动流媒体助手”。当你在观看直播时，基于 StreamBridge 的 AI 助手可以：
*   **实时内容理解：** 准确识别视频中的人物、物体、场景、事件等。
*   **主动信息提供：** 根据当前画面内容，主动推送相关的背景知识、人物介绍、历史数据等。
*   **预测性分析：** 基于对视频内容的理解和历史数据的学习，预测可能发生的关键事件，例如在球赛中预测可能的进球，或在讲座中预测讲者将要讨论的下一个话题。
*   **实时问答：** 允许用户在观看过程中随时提问，AI助手能够结合当前视频内容给出有针对性的回答。
这种主动且实时的交互方式，极大地提升了用户的观看体验，让原本被动接收信息的观众变成了积极的参与者。
![image.png](https://static.downly.cn/images/20250514023536.564405440.png)
## 应用前景广阔
StreamBridge 技术为 Video LLM 在实时流媒体领域的应用打开了新的大门。其潜在的应用场景包括：
*   **体育赛事直播：** 提供球员数据、战术分析、历史回顾等实时信息。
*   **在线教育：** 实时解释讲课内容、提供补充资料、解答学生疑问。
*   **新闻报道：** 实时分析新闻画面、提供背景信息、关联相关报道。
*   **监控与安防：** 实时分析监控视频，主动发现异常事件并发出警报。
*   **娱乐直播：** 增强观众互动，提供主播信息、背景故事等。
StreamBridge 技术不仅提升了 Video LLM 的实用性，也为构建更智能、更互动的流媒体应用奠定了基础。

## 挑战与未来展望
尽管 StreamBridge 取得了重要进展，但将离线模型应用于实时流媒体仍然面临挑战，例如如何处理网络延迟、如何在计算资源有限的情况下保证实时性、以及如何提高模型的预测准确性和鲁棒性等。然而，这项研究为解决这些问题提供了新的思路和方法。随着技术的不断发展，我们有理由相信，基于 StreamBridge 的主动流媒体助手将越来越成熟，并在未来的数字生活中扮演越来越重要的角色。

搜索结果: 创新技术