> 近日，Google 悄然发布了一款重磅产品——**Gemini CLI**，这是一个完全开源的命令行 AI 编程工具，直接将 Gemini 2.5 Pro 的强大能力集成到开发者的终端中。更令人惊喜的是，Google 为个人开发者提供了极其慷慨的免费额度：**每天 1000 次请求，每分钟 60 次**，这一举措直接冲击了现有的 AI 编程工具市场格局。

Github：[https://github.com/google-gemini/gemini-cli](https://github.com/google-gemini/gemini-cli)

## 不只是代码补全，更是 AI 智能体

### 🚀 超强免费额度，门槛史上最低

与市面上其他 AI 编程工具相比，Gemini CLI 的免费政策可谓"史无前例"：

- **个人开发者**：通过 Google 账号登录即可获得免费的 Gemini Code Assist 许可
- **请求限制**：每天 1000 次请求，每分钟 60 次
- **模型访问**：完整的 Gemini 2.5 Pro 访问权限
- **上下文窗口**：高达 100 万 token 的超大上下文

这一免费策略直接将 Claude Code 200 美元的订阅费"归零"，让更多开发者能够无门槛体验顶级 AI 编程助手。

![image.png](https://static.downly.cn/images/7ef8620da18d531d45ead37db7bf08d0.png)


### 💡 核心功能 - 全方位开发助手

Gemini CLI 的设计理念是"**终端不仅仅是工具，它是开发者的家**"。该工具提供的核心功能包括：

**1. 智能代码处理**

- 查询和编辑大型代码库，突破传统上下文限制
- 支持自然语言编程，通过对话完成代码编写和调试
- 智能错误检查和修复，自动处理 TypeScript lint 报错

**2. 多模态能力**

- 从 PDF 文档或手绘草图生成完整应用
- 支持图像、视频等多媒体内容的理解和生成
- 集成 Imagen、Veo、Lyria 等 Google 媒体生成工具

**3. 实时信息获取**

- 内置 Google 搜索功能，实时获取最新信息
- 支持联网查询，为代码生成提供最新的技术文档和最佳实践

**4. 工作流自动化**

- 自动化操作任务，如查询 Pull Request、处理代码合并
- 支持脚本集成，可在现有工作流中无缝调用
- 自定义提示词模板，适应个性化开发需求

### 🔧 技术架构 - 开源透明，社区共建

**开源优势**

- 采用 **Apache 2.0 开源协议**，代码完全透明
- 开发者可以审查源代码，验证安全性
- 支持社区贡献，已有 40+ 贡献者参与开发

**扩展能力**

- 支持 **Model Context Protocol (MCP)**，可自由扩展功能
- 通过 GEMINI.md 文件配置系统提示词
- 提供个人和团队两级设置选项



## 直接挑战现有巨头

### 对标 Claude Code - 功能“一比一复刻”

从实际体验来看，Gemini CLI 在界面和功能上几乎完全复刻了 Claude Code，但在某些方面已经实现了超越：

**优势对比**：

- **上下文窗口**：100 万 token vs Claude 的较小窗口
- **联网能力**：内置 Google 搜索 vs Claude 的离线限制
- **价格优势**：完全免费 vs Claude Code 的月费订阅
- **生态整合**：Google 全家桶支持 vs 独立工具



### 挑战 GitHub Copilot - 从补全到智能体

与 GitHub Copilot 的代码补全功能相比，Gemini CLI 提供的是完整的 AI 智能体体验：

**功能差异**：

- **交互方式**：自然语言对话 vs 代码提示补全
- **处理范围**：整个项目架构 vs 单个文件片段
- **任务类型**：全流程开发 vs 代码生成辅助



## 快速上手 - 三步开始使用

### 环境要求

- Node.js 18 或更高版本

### 安装方式

```bash
npx https://github.com/google-gemini/gemini-cli

# 或全局安装
npm install -g @google/gemini-cli
gemini
```

### 认证登录

- 使用个人 Google 账号登录即可获得免费额度
- 高级用户可配置 Google AI Studio API 密钥



## 行业影响

### 开发者社区反应

- **AI Purr-fessor**："每天 1000 次，每分钟 60 次，还是免费的，太疯狂了！"
- **技术博主**："这是 Google 入门级的真实游戏定价策略"
- **早期用户**："体验上已经超越了 Claude Code，特别是在大型项目处理上"

### 潜在风险提醒

业内专家提醒，Google 历史上经常在新产品推出时提供极具吸引力的免费额度，但后续可能会调整政策。建议开发者：

- **尽早体验**：充分利用当前的免费额度
- **关注更新**：密切关注政策变化
- **备选方案**：准备多元化的 AI 工具组合



## 总结

Gemini CLI 的发布标志着 AI 编程工具市场进入了新的竞争阶段。Google 通过开源、免费的策略，直接挑战了现有的商业模式，为开发者提供了更多选择。

**核心优势总结**：

- ✅ **完全免费**：个人开发者零成本使用
- ✅ **开源透明**：代码可审查，安全可信
- ✅ **功能强大**：100 万 token 上下文，多模态支持
- ✅ **生态完整**：Google 全家桶深度整合
- ✅ **社区驱动**：全球开发者共同改进

对于开发者而言，Gemini CLI 不仅仅是一个编程工具，更是一个完整的 AI 工作伙伴。在这个 AI 原生的时代，掌握这样的工具将成为开发者的核心竞争力。

**建议行动**：

1. 立即体验 Gemini CLI，熟悉其功能特性
2. 关注官方更新，了解最新功能发布
3. 参与社区建设，贡献代码或反馈问题
4. 探索与现有工作流的整合方案

AI 编程的未来已来，而 Gemini CLI 可能就是那个改变游戏规则的关键工具。

Google 重磅发布 - Gemini CLI 开源免费，直接挑战 Claude Code

> 在现代前端开发中，设计师与开发者之间的协作一直存在挑战。设计师创建精美的原型，开发者需要将其转化为代码，这个过程往往充满摩擦和误解。Onlook的出现，为这个痛点提供了创新解决方案——一个真正的"设计师的Cursor"，让可视化编程成为现实。

Onlook是一个开源的可视化代码编辑器，专为React生态系统设计。它允许开发者和设计师通过直观的可视化界面来构建、编辑和优化React应用程序，同时保持代码的完整性和可维护性。

![Onlook界面展示](https://static.downly.cn/images/image-20250602213811159.png)

## 1. 核心特性

### 🎨 可视化编程体验
- **类Figma界面设计**：熟悉的设计工具体验
- **实时预览编辑**：所见即所得的开发模式
- **拖拽式布局**：直观的组件排列方式

### 🚀 AI驱动开发
- **自然语言编程**：通过对话生成和修改代码
- **智能代码优化**：自动提供最佳实践建议
- **多模态输入**：支持文本、图像快速创建应用

### ⚡ 无缝代码集成
- **深度框架支持**：专为Next.js + TailwindCSS优化
- **实时双向同步**：可视化编辑与代码变更同步
- **精准代码定位**：右键直接跳转到对应代码行

### 🌸 增强功能特性
Onlook的AI功能超越了简单的代码生成，提供真正的智能编程助手：

- **上下文理解**：深度分析项目结构和代码逻辑
- **智能建议**：基于最佳实践的编辑建议
- **复杂组件生成**：从描述创建完整的功能组件
- **代码结构优化**：自动重构和性能优化
- **编辑器集成**：支持VSCode、Cursor、WindSurf、Zed等主流编辑器
- **样式精确控制**：可视化查看和编辑CSS样式细节

**示例 - Onlook编辑器配置：**

![编辑器配置界面](https://static.downly.cn/images/image-20250602224311389.png)

## 2. 技术架构深度解析

### 2.1 创新架构设计

Onlook采用了独特的三层架构，巧妙解决了可视化编辑与代码同步的技术难题：

```bash
┌─────────────────┐    ┌──────────────────┐    ┌─────────────────┐
│   Web Container │────│   Editor Core    │────│   Visual UI     │
│   (Code Runner) │    │   (Code Index)   │    │   (iFrame)      │
└─────────────────┘    └──────────────────┘    └─────────────────┘
```

**核心工作流程：**

1. **代码加载**：项目代码导入Web容器环境
2. **服务启动**：容器运行并提供实时预览服务
3. **界面渲染**：编辑器通过iFrame展示应用界面
4. **结构索引**：实时解析和索引代码结构
5. **元素映射**：建立DOM元素与源码的精确对应关系
6. **双向同步**：编辑操作同时更新界面显示和源代码

### 2.2 技术栈选型

**前端技术栈：**
- **Next.js**：提供SSR和优秀的开发体验
- **TailwindCSS**：原子化CSS，便于可视化编辑
- **React**：组件化架构，便于元素映射操作

**后端服务：**
- **Supabase**：提供数据库和身份认证服务
- **Drizzle**：类型安全的现代ORM解决方案

**开发工具：**
- **Bun**：高性能JavaScript运行时和包管理器
- **Electron**：跨平台桌面应用框架

## 3. 核心功能深度体验

### 3.1 智能图层管理系统

图层系统提供了专业设计工具级别的层级管理能力：

- **清晰的组件层级结构**：树形展示页面组件关系
- **快速元素定位**：点击图层直接选中对应元素
- **组件关系可视化**：直观理解组件间的嵌套关系

![图层管理界面](https://static.downly.cn/images/image-20250602231246322.png)

选择页面中的任意元素，在右侧"样式"面板中可以查看该组件的详细样式属性：

![样式面板展示](https://static.downly.cn/images/image-20250602220920393.png)

### 3.2 响应式设计编辑

响应式编辑功能为开发者提供了强大的多端适配能力：

- **实时视口调整**：动态改变预览窗口尺寸
- **多端同步测试**：同时查看不同屏幕尺寸效果
- **可视化响应式编辑**：直观调整断点样式

**示例 - PC端与移动端同步渲染：**

![响应式编辑界面](https://static.downly.cn/images/image-20250602221044151.png)

**示例 - 可视化优化响应式布局：**

![响应式优化过程](https://static.downly.cn/images/image-20250602225534683.png)

> ⚠️ **注意**：通过拖拽方式修改元素尺寸时，生成的固定宽高代码可能会破坏原有的响应式布局设计。

### 3.3 AI自然语言编程

这是Onlook最具创新性的功能之一。选中任意页面元素后，即可通过自然语言描述来修改和优化组件：

![AI编程界面](https://static.downly.cn/images/image-20250602233315572.png)

> 💡 **体验提示**：目前AI功能的响应速度和准确性还有提升空间，建议作为辅助工具使用。

### 3.4 版本历史管理

Onlook提供了类似Cursor、WindSurf的版本回退功能：

- **对话版本控制**：每次AI对话自动生成Git提交
- **一键回退**：点击"Revert"即可撤销对话修改
- **完整历史记录**：保留所有编辑操作的历史轨迹

![版本管理界面](https://static.downly.cn/images/image-20250602231355170.png)

> ⚠️ **潜在问题**：
> 1. **提交记录污染**：会在Git历史中产生大量自动提交记录
> 2. **代码侵入性修改**：首次使用时会修改所有TSX文件，添加`data-oid`属性用于元素映射

![Git提交记录](https://static.downly.cn/images/image-20250602223840594-1748878604348-10.png)

![代码修改示例](https://static.downly.cn/images/image-20250602225832150.png)

## 4. 使用场景与建议

### 4.1 最佳适用场景

**推荐使用场景：**
- **快速原型开发**：验证设计想法和用户体验
- **UI组件库构建**：可视化创建和调试组件
- **设计系统实现**：将设计规范转化为代码
- **教学和学习**：帮助初学者理解前端开发
- **中小型项目**：非关键业务的快速开发
- **辅助编程工具**：配合Cursor、WindSurf等提高效率

### 4.2 使用注意事项

**限制与挑战：**
- **复杂业务逻辑**：仍需传统编程方式实现
- **团队协作适应**：需要调整现有工作流程
- **代码审查流程**：需要适配自动生成代码的审查机制
- **项目代码侵入**：会修改现有代码结构，建议在独立分支测试

### 4.3 最佳实践建议

1. **项目隔离**：在独立分支或测试项目中尝试
2. **渐进式采用**：从简单组件开始，逐步扩展使用范围
3. **代码审查**：对AI生成的代码进行人工审查和优化
4. **版本控制**：合理管理Git提交历史，定期清理无用提交

## 5. 技术前景与发展趋势

### 5.1 产品成熟度评估

**当前优势：**
- 创新的可视化编程理念
- 开源透明的发展模式
- 活跃的社区参与度
- 与主流技术栈的深度集成

**待改进方面：**
- AI功能的准确性和响应速度
- 代码生成质量的一致性
- 对现有项目的侵入性
- 复杂场景的支持能力

### 5.2 行业影响与意义

Onlook代表了前端开发工具演进的重要方向：

- **降低开发门槛**：让更多人参与前端开发
- **提升开发效率**：减少重复性的UI编码工作
- **促进协作**：缩短设计到开发的转化周期
- **推动创新**：探索AI与传统开发的结合方式

## 6. 结语

从实际体验来看，Onlook目前仍处于发展阶段，但其探索方向极具前瞻性。作为一个开源项目，它不仅仅是一个开发工具，更代表了前端可视化开发的重要探索。

通过将可视化设计与代码编写无缝结合，Onlook为开发者提供了全新的创作体验。随着技术的不断完善和社区的持续贡献，它有望成为前端开发生态中的重要组成部分。

设计师的Cursor - 开源Onlook可视化编程实战

> 一项名为 Linear-MoE 的新技术，将线性序列建模与混合专家模型相结合，有望提升大型语言模型的效率。



在大型语言模型（LLMs）飞速发展的浪潮中，如何平衡模型的性能与计算效率一直是研究的重点。 近日，一项名为 Linear-MoE 的新技术引起了学术界和业界的关注。 这项技术创造性地将线性序列建模（Linear Sequence Modeling）的思想与混合专家模型（Mixture-of-Experts, MoE）的架构相结合，为构建更高效、更强大的 LLMs 提供了新的思路。

![image.png](https://static.downly.cn/images/20250530092144.587112889.png)

传统的 Transformer 模型在处理长序列时面临计算量大的挑战。 而 MoE 模型虽然通过稀疏激活提高了计算效率，但在不同的专家之间仍然存在协调和路由的问题。 Linear-MoE 的创新之处在于

*   **引入线性序列建模** 利用线性模型的特性，简化序列处理过程，降低计算复杂度。
*   **结合 MoE 架构** 保留 MoE 模型通过稀疏激活提升效率的优势。
*   **优化专家路由** 可能通过线性的方式更有效地进行专家选择和路由。

这种结合，旨在发挥线性模型在处理序列时的效率优势，同时利用 MoE 模型在处理复杂任务时的并行性和容量优势，从而构建出既高效又强大的语言模型。

## 兼顾效率与性能 LLM 发展的新方向

Linear-MoE 的核心目标是提升大型语言模型的效率和性能。

![image.png](https://static.downly.cn/images/20250530092435.521401867.png)

从参考资料来看，Linear-MoE 在以下方面展现出潜力

*   **计算效率提升** 线性模型的引入有望降低处理长序列时的计算负担，从而降低训练和推理成本。
*   **模型性能提升** 通过 MoE 架构，模型可以更好地学习和处理不同类型的任务和数据。
*   **潜在的可扩展性** 这种架构可能更容易扩展到更大的模型规模。

Linear-MoE 的出现，为大型语言模型的未来发展提供了新的可能性，有望在保持甚至提升模型性能的同时，显著提高计算效率，这对于 LLMs 的广泛应用至关重要。

## 开源项目支持 社区共同推动发展

Linear-MoE 技术并非停留在理论阶段，它已经作为一个开源项目在 GitHub 上发布。

![image.png](https://static.downly.cn/images/20250530092213.981339957.png)

开源项目的存在，意味着更多的研究人员和开发者可以参与到 Linear-MoE 的研究、开发和应用中来。 这种社区驱动的模式，将有助于加速 Linear-MoE 技术的迭代和完善，推动其在实际应用中的落地。

Linear-MoE 的提出，是大型语言模型架构探索中的一次重要尝试。 它将线性序列建模和 MoE 的优点结合起来，旨在解决当前 LLMs 面临的效率瓶颈。 随着开源社区的共同努力，Linear-MoE 有望成为未来构建高效、强大语言模型的一个重要方向。





Linear-MoE 发布 线性序列建模与混合专家模型强强联合

> 在人工智能驱动的数字内容生成领域，如何让虚拟形象更加生动、自然地与用户互动，一直是技术探索的热点。近日，腾讯混元大模型团队推出了一个重磅开源项目——HunyuanVideo-Avatar。这项技术的核心在于能够仅凭一段语音，就驱动生成具有丰富表情和自然口型变化的数字人视频。这一创新不仅极大地降低了数字人视频制作的门槛，更为虚拟直播、教育、娱乐等多个领域带来了全新的可能性，标志着语音驱动数字人技术迈入了新的阶段。


腾讯混元大模型团队在人工智能领域持续发力，继文本生成图片、视频生成等技术之后，再次向开源社区贡献了重要的研究成果——HunyuanVideo-Avatar。这一项目的开源，旨在 democratize（民主化）数字人视频的生成过程，让更多开发者和使用者能够轻松地利用语音来驱动虚拟形象的生成。

![image.png](https://static.downly.cn/images/20250529032514.968715463.png)

HunyuanVideo-Avatar 的核心功能正如其名 所言，能够实现“语音驱动生成数字人”。这意味着用户不再需要复杂的 3D 建模、动作捕捉或专业的视频编辑技能，只需要提供一段音频，系统就能够根据语音的内容、情感和语速，自动生成一个数字人说话的视频。这无疑是一项具有颠覆性的技术，将极大提升内容创作的效率和便捷性。

<video src="https://static.downly.cn/images/20250529085234.658090026.mov" controls width="70%" title="teaser.mov"></video>

在线测试HunyuanVideo-Avatar：[https://hunyuan.tencent.com/modelSquare/home/play?modelId=126](https://hunyuan.tencent.com/modelSquare/home/play?modelId=126)

## 技术揭秘 语音如何“驱动”数字人

实现从音频到数字人视频的无缝转换，需要跨越多模态技术的壁垒。HunyuanVideo-Avatar 在技术上可能采用了以下几个关键组成部分


*   **语音特征提取与分析** 系统首先需要对输入的语音进行深入分析，提取出语音的语言内容、语调、情感以及与口型运动相关的声学特征。
*   **面部动作与表情生成** 基于语音特征，模型需要推断出数字人相应的面部动作、表情变化以及最关键的——口型变化。这需要对人脸的肌肉运动和语音发声机制有深刻的理解。
*   **图像生成与渲染** 最后，模型将生成或操纵数字人的图像，使其面部表情和口型与分析出的语音特征同步，最终输出一段连贯自然的数字人视频。

![image.png](https://static.downly.cn/images/20250529032542.076218755.png)

为了确保生成视频的自然度和逼真度，HunyuanVideo-Avatar 可能采用了先进的深度学习模型，如基于 Transformer 的架构、生成对抗网络（GAN）或扩散模型，并结合了大量的多模态数据集进行训练。[论文](https://arxiv.org/pdf/2505.20156)中可能详细描述了其具体的模型结构和训练策略，例如可能采用了创新的注意力机制来对齐语音和视觉特征，或者使用了新的损失函数来优化生成视频的质量和一致性。

## 开源的价值 普惠 AI 的重要一步

腾讯选择将 HunyuanVideo-Avatar 开源，具有重要的战略意义和社区价值
<video src="https://static.downly.cn/images/20250529082542.256822829.mp4" controls width="70%" title="黑白相声-2.mp4"></video>

*   **加速技术普及与应用** 开源使得更多的开发者和研究机构能够接触和使用这一先进技术，基于其进行二次开发和创新应用，从而加速语音驱动数字人技术的普及和落地。
*   **激发社区创新活力** 开源社区的力量是巨大的。 全球的开发者可以共同对 HunyuanVideo-Avatar 进行改进、优化和拓展功能，推动技术的快速迭代和演进。
*   **构建开放生态** 腾讯通过开源，有助于构建一个围绕混元大模型和数字人技术的开放生态系统，吸引更多合作伙伴共同参与，共同推动产业发展。
*   **提升技术透明度** 开源有助于提高技术的透明度，让使用者更加了解模型的原理和潜在限制，促进技术的健康发展。

![image.png](https://static.downly.cn/images/20250529032750.526292890.png)

HunyuanVideo-Avatar 的开源，是腾讯在践行“科技向善”理念、推动 AI 普惠化方面的重要一步，为降低数字内容创作门槛、赋能更多个体和企业提供了强大的工具。


## 广泛应用前景 数字人进入千家万户

HunyuanVideo-Avatar 的出现，将极大地拓展数字人的应用边界，为各行各业带来新的机遇
<video src="https://static.downly.cn/images/20250529083258.269327757.mp4" controls width="70%" title="女声田野独唱.mp4"></video>
*   **虚拟直播** 个体创作者和品牌可以快速生成具有个性化形象的虚拟主播，降低直播成本，提升内容吸引力。
*   **在线教育** 创建生动有趣的数字老师，根据学生的语音输入进行互动式教学。
*   **客服与导览** 生成智能数字客服或虚拟导览员，提供更加人性化的服务体验。
*   **娱乐与营销** 制作创意短视频、广告或虚拟偶像，进行更具互动性和趣味性的内容传播。
*   **个人表达与社交** 未来用户甚至可以轻松创建自己的数字分身，用于社交互动和内容分享。

![image.png](https://static.downly.cn/images/20250529032918.759711415.png)

凭借语音驱动这一便捷高效的方式，HunyuanVideo-Avatar 有望让数字人不再是高门槛的技术，而是人人都可以轻松使用的工具，真正让数字人“走进千家万户”。
<video src="https://static.downly.cn/images/20250529083247.466789044.mp4" controls width="70%" title="女声吉他独唱森林火焰.mp4"></video>

## 本地部署

需要支持CUDA的NVIDIA GPU
  - 该模型在8GPU的机器上进行了测试。
  - **最低配置**：生成720px1280px129帧视频所需的最小GPU内存为24GB，但速度很慢。
  - **推荐配置**：我们建议使用80GB显存的GPU以获得更好的生成质量。
- 测试过的操作系统：Linux

### 🛠️ 依赖项和安装

首先克隆仓库：

```shell
git clone https://github.com/Tencent/HunyuanVideo-Avatar.git
cd HunyuanVideo-Avatar
```

### Linux安装指南

我们推荐使用CUDA 12.4或11.8版本进行手动安装。

Conda的安装说明可在[这里](https://www.anaconda.com/docs/main)找到。

```shell
# 1. 创建conda环境
conda create -n HunyuanVideo-Avatar python==3.10.9

# 2. 激活环境
conda activate HunyuanVideo-Avatar

# 3. 使用conda安装PyTorch和其他依赖
# 对于CUDA 11.8
conda install pytorch==2.4.0 torchvision==0.19.0 torchaudio==2.4.0 pytorch-cuda=11.8 -c pytorch -c nvidia
# 对于CUDA 12.4
conda install pytorch==2.4.0 torchvision==0.19.0 torchaudio==2.4.0 pytorch-cuda=12.4 -c pytorch -c nvidia

# 4. 安装pip依赖
python -m pip install -r requirements.txt
# 5. 安装flash attention v2以加速（需要CUDA 11.8或更高版本）
python -m pip install ninja
python -m pip install git+https://github.com/Dao-AILab/flash-attention.git@v2.6.3
```

如果在特定GPU类型上遇到浮点异常（核心转储），您可以尝试以下解决方案：

```shell
# 方案1：确保您已安装CUDA 12.4、CUBLAS>=12.4.5.8和CUDNN>=9.00（或直接使用我们的CUDA 12 docker镜像）
pip install nvidia-cublas-cu12==12.4.5.8
export LD_LIBRARY_PATH=/opt/conda/lib/python3.8/site-packages/nvidia/cublas/lib/

# 方案2：强制显式使用CUDA 11.8编译版本的PyTorch和所有其他包
pip uninstall -r requirements.txt  # 卸载所有包
pip install torch==2.4.0 --index-url https://download.pytorch.org/whl/cu118
pip install -r requirements.txt
pip install ninja
pip install git+https://github.com/Dao-AILab/flash-attention.git@v2.6.3
```

此外，您也可以使用混元视频Docker镜像。使用以下命令拉取并运行docker镜像。

```shell
# 对于CUDA 12.4（更新以避免浮点异常）
docker pull hunyuanvideo/hunyuanvideo:cuda_12
docker run -itd --gpus all --init --net=host --uts=host --ipc=host --name hunyuanvideo --security-opt=seccomp=unconfined --ulimit=stack=67108864 --ulimit=memlock=-1 --privileged hunyuanvideo/hunyuanvideo:cuda_12
pip install gradio==3.39.0 diffusers==0.33.0 transformers==4.41.2

# 对于CUDA 11.8
docker pull hunyuanvideo/hunyuanvideo:cuda_11
docker run -itd --gpus all --init --net=host --uts=host --ipc=host --name hunyuanvideo --security-opt=seccomp=unconfined --ulimit=stack=67108864 --ulimit=memlock=-1 --privileged hunyuanvideo/hunyuanvideo:cuda_11
pip install gradio==3.39.0 diffusers==0.33.0 transformers==4.41.2
```

### 🧱 下载预训练模型

预训练模型的下载详情请参见[这里](https://github.com/Tencent-Hunyuan/HunyuanVideo-Avatar/blob/main/weights/README.md)。

### 🚀 多GPU并行推理

例如，要使用8个GPU生成视频，可以使用以下命令：

```bash
cd HunyuanVideo-Avatar

JOBS_DIR=$(dirname $(dirname "$0"))
export PYTHONPATH=./
export MODEL_BASE="./weights"
checkpoint_path=${MODEL_BASE}/ckpts/hunyuan-video-t2v-720p/transformers/mp_rank_00_model_states.pt

torchrun --nnodes=1 --nproc_per_node=8 --master_port 29605 hymm_sp/sample_batch.py \
    --input 'assets/test.csv' \
    --ckpt ${checkpoint_path} \
    --sample-n-frames 129 \
    --seed 128 \
    --image-size 704 \
    --cfg-scale 7.5 \
    --infer-steps 50 \
    --use-deepcache 1 \
    --flow-shift-eval-video 5.0 \
    --save-path ${OUTPUT_BASEPATH} 
```

### 🔑 单GPU推理

例如，要使用1个GPU生成视频，可以使用以下命令：

```bash
cd HunyuanVideo-Avatar

JOBS_DIR=$(dirname $(dirname "$0"))
export PYTHONPATH=./

export MODEL_BASE=./weights
OUTPUT_BASEPATH=./results-single
checkpoint_path=${MODEL_BASE}/ckpts/hunyuan-video-t2v-720p/transformers/mp_rank_00_model_states_fp8.pt

export DISABLE_SP=1 
CUDA_VISIBLE_DEVICES=0 python3 hymm_sp/sample_gpu_poor.py \
    --input 'assets/test.csv' \
    --ckpt ${checkpoint_path} \
    --sample-n-frames 129 \
    --seed 128 \
    --image-size 704 \
    --cfg-scale 7.5 \
    --infer-steps 50 \
    --use-deepcache 1 \
    --flow-shift-eval-video 5.0 \
    --save-path ${OUTPUT_BASEPATH} \
    --use-fp8 \
    --infer-min
```

### 低显存运行方案

```bash
cd HunyuanVideo-Avatar

JOBS_DIR=$(dirname $(dirname "$0"))
export PYTHONPATH=./

export MODEL_BASE=./weights
OUTPUT_BASEPATH=./results-poor

checkpoint_path=${MODEL_BASE}/ckpts/hunyuan-video-t2v-720p/transformers/mp_rank_00_model_states_fp8.pt

export CPU_OFFLOAD=1
CUDA_VISIBLE_DEVICES=0 python3 hymm_sp/sample_gpu_poor.py \
    --input 'assets/test.csv' \
    --ckpt ${checkpoint_path} \
    --sample-n-frames 129 \
    --seed 128 \
    --image-size 704 \
    --cfg-scale 7.5 \
    --infer-steps 50 \
    --use-deepcache 1 \
    --flow-shift-eval-video 5.0 \
    --save-path ${OUTPUT_BASEPATH} \
    --use-fp8 \
    --cpu-offload \
    --infer-min
```

### 运行Gradio服务器

```bash
cd HunyuanVideo-Avatar

bash ./scripts/run_gradio.sh
```

## 未来展望 AI 驱动数字内容新浪潮

腾讯开源 HunyuanVideo-Avatar，是人工智能驱动数字内容生成浪潮中的一个重要里程碑。它不仅展示了腾讯在多模态 AI 领域的深厚技术积累，更通过开源的方式，将前沿技术分享给全球社区，共同推动数字人技术的创新和应用。

随着技术的不断发展和社区的共同努力，我们可以期待 HunyuanVideo-Avatar 在未来能够支持更多复杂的语音情绪、更细腻的面部表情以及更多样的数字人形象。这场由语音驱动的数字人新浪潮，才刚刚开始，它将深刻改变我们创作、消费和互动数字内容的方式。




腾讯开源 HunyuanVideo-Avatar 语音驱动数字人视频生成

 

> 随着 OpenAI 的 Sora 引领视频生成进入新纪元，动漫领域的视频生成也迎来了新的挑战和机遇。近日，一项名为 AniSora 的开源项目横空出世，旨在探索和推动动漫视频生成的技术前沿，为二次元内容创作带来更多可能性。AniSora 被冠以“终极开源动漫视频生成模型”的称号，引发了广泛关注。

## 动漫视频生成的挑战

相较于真实世界的视频生成，动漫视频生成具有其独特的挑战。动漫作品通常拥有鲜明的风格、夸张的表情、流畅的动作和独特的画面表现力。这些特点使得传统的视频生成模型难以直接应用于动漫领域，生成高质量、风格统一且符合动漫美学的视频。

## AniSora 的诞生与目标

AniSora 正是在这样的背景下诞生的。它是一个专注于动漫视频生成的开源项目，其核心目标是开发能够生成高质量、高一致性、且具有动漫风格的视频模型。项目名称中的“Sora Era”也暗示了其在 Sora 开创的新时代下，致力于在动漫领域取得突破。

![image.png](https://static.downly.cn/images/20250519065751.477557557.png)

## AniSora 的技术探索

AniSora 项目正在积极探索多种先进技术，以实现其宏伟目标

### 动漫风格建模

AniSora 的核心技术之一在于对动漫风格的深入建模。这包括学习动漫独特的色彩、线条、纹理和人物造型等视觉特征，确保生成的视频具有逼真的动漫感。

### 动作流畅性与一致性

动漫角色的动作往往具有很高的流畅性和连贯性。AniSora 正在研究如何生成自然且一致的角色动作，避免视频中出现跳帧或不自然的运动。

### 叙事结构与镜头语言

高质量的动漫视频不仅需要精美的画面，还需要合理的叙事结构和镜头语言。AniSora 项目也在探索如何让模型理解和生成符合动漫表达习惯的视频序列。

### 开源与社区协作

作为一个开源项目，AniSora 鼓励全球开发者和研究人员共同参与。通过社区协作，集思广益，加速技术的迭代和创新。

## 成为“终极开源动漫视频生成模型”的潜力

AniSora 被冠以“终极开源动漫视频生成模型”的称号，并非空穴来风。这反映了项目在技术深度、开源开放以及在动漫领域专攻的决心。如果项目能够克服技术挑战并得到社区的广泛支持，它确实有潜力成为动漫视频生成领域的标杆性开源模型。

## 潜在影响与应用场景

AniSora 的发展成熟将为动漫产业和二次元内容创作带来巨大的影响

### 降低创作门槛

AniSora 有望让更多非专业人士也能轻松创作高质量的动漫视频，激发更多创意。

### 提升制作效率

对于专业的动漫制作团队，AniSora 可以辅助完成部分动画生成工作，提高制作效率，降低成本。

### 推动二次元内容创新

AniSora 的强大生成能力将为二次元内容的创作提供更多可能性，催生新的内容形式和表达方式。

![image.png](https://static.downly.cn/images/20250519065840.317496213.png)

## 未来展望

AniSora 作为一个开源项目，其发展需要社区的共同努力。项目的成功将取决于其在技术上的突破、开源生态的建设以及社区的活跃程度。我们期待看到 AniSora 在未来取得更多令人瞩目的进展，为全球的动漫爱好者和创作者带来更多惊喜，真正开启 Sora 时代的动漫视频生成新篇章。

Sora 时代新篇章 AniSora 挑战开源动漫视频生成极限



> 随着人工智能技术的飞速发展，越来越多的 AI 应用融入到我们的日常工作和生活中。然而，这些应用在处理用户数据和提供个性化体验时，常常面临一个挑战-如何在不同的 AI 工具之间共享和管理用户的“记忆”或上下文信息，同时确保数据隐私和安全性？传统的解决方案可能依赖于中心化的云服务，存在隐私泄露和数据割裂的风险。针对这一痛点，AI 初创公司 mem0 近日发布了全新的 OpenMemory MCP（Memory Control Plane）项目，旨在实现 AI 应用的私有化记忆管理，并且支持 100% 本地运行，兼容 Cursor、Claude 等主流 AI 模型。



## AI 应用的“记忆”难题-割裂与隐私

当前 AI 应用生态中存在的一个显著问题是“记忆”的割裂。用户在与一个 AI 工具互动时产生的上下文信息、偏好设置、历史对话等，往往无法无缝地迁移或共享到另一个 AI 工具中。这导致用户需要在不同的应用中重复输入信息，降低了使用效率和体验。

更重要的是，将敏感的个人或工作数据上传到第三方云服务以实现记忆功能，带来了潜在的隐私和安全风险。用户对于数据由谁保管、如何使用存在顾虑。






## OpenMemory MCP-私有化、本地化的记忆解决方案

mem0 推出的 OpenMemory MCP 正是为了解决上述问题而生。其核心理念是建立一个用户可以完全控制的私有化记忆控制平面。该项目具有以下关键特点-

*   **100% 本地运行-** OpenMemory MCP 可以在用户的本地设备上运行，这意味着用户的记忆数据完全存储在本地，无需上传到云端，极大地增强了数据隐私和安全性。
*   **跨 AI 应用兼容-** OpenMemory MCP 设计为与各种主流的 AI 模型和应用兼容，包括但不限于基于 OpenAI API 的应用、Claude、甚至可能是未来的本地运行模型如 Llama 等。
*   **统一的记忆管理-** 提供一个统一的接口和机制来管理和检索用户的记忆信息，无论这些信息是来自哪个 AI 应用。
*   **开源与可定制-** OpenMemory MCP 是一个开源项目，允许开发者自由地使用、修改和扩展，以满足特定的需求。

通过 OpenMemory MCP，用户可以在不同的 AI 助手（如 Cursor、Claude 等）之间切换，而这些助手都能够访问和利用同一个私有化的记忆库，从而提供更连贯、更个性化的交互体验。



![image.png](https://static.downly.cn/images/20250515075252.522348502.png)



## 核心技术与实现方式

OpenMemory MCP 的实现可能依赖于向量数据库、本地存储技术以及与各种 AI 模型 API 的集成。它可能通过以下方式工作-

*   **捕获和存储-** 当用户与某个 AI 应用互动时，OpenMemory MCP 会捕获关键信息（如对话上下文、用户指令、AI 回复等），并将其存储在本地的向量数据库中。
*   **检索和注入-** 当用户在另一个 AI 应用中发起新的交互时，OpenMemory MCP 会根据当前的上下文，从本地记忆库中检索相关的历史信息，并将其注入到 AI 模型的输入中，帮助模型理解用户的意图和提供个性化回复。
*   **API 集成-** 通过标准的 API 接口，OpenMemory MCP 可以与各种 AI 应用和模型进行通信。



![image.png](https://static.downly.cn/images/20250515075333.598230561.png)



## 潜在影响与未来展望

OpenMemory MCP 的发布，对于 AI 应用生态和用户隐私保护具有重要意义-

*   **赋能更智能的 AI 助手-** AI 应用将拥有更强的“记忆”能力，能够提供更具连贯性和个性化的服务。
*   **提升用户数据安全性-** 用户可以更好地掌控自己的数据，降低隐私泄露风险。
*   **促进 AI 应用互操作性-** 为不同 AI 应用之间的信息共享和协作提供了可能。
*   **推动本地化 AI 发展-** 强调本地运行的理念，符合当前用户对数据主权日益增长的需求。

未来，我们可以期待 OpenMemory MCP 吸引更多的开发者参与，不断完善其功能和兼容性。随着本地运行 AI 模型的发展，OpenMemory MCP 有望成为构建下一代私有化、智能化的 AI 应用的关键基础设施。它的出现，预示着 AI 应用正朝着更加用户中心、更加注重隐私和互操作性的方向发展。


mem0 发布 OpenMemory MCP：实现 AI 应用的私有化记忆，本地运行连接主流模型

> 对于开发者而言，集成开发环境（IDE）是日常工作中不可或缺的工具。然而，一项最新的安全研究揭示了一个令人担忧的威胁：一些恶意 npm 包正在针对 macOS 上的 Cursor 编辑器，通过植入后门来劫持开发者的编辑会话。这不仅可能导致敏感代码泄露，还可能为更严重的供应链攻击打开大门。
## npm生态系统的安全挑战
npm 是 Node.js 的包管理器，拥有庞大且活跃的社区，提供了海量的开源软件包。然而，这种开放性也带来了安全风险。恶意行为者可以创建包含恶意代码的软件包，并将其发布到 npm 仓库中。一旦开发者在项目中安装了这些恶意软件包，其设备和代码安全就可能受到威胁。近年来，npm 生态系统中的恶意软件包事件屡见不鲜，给开发者带来了持续的挑战。
![image.png](https://static.downly.cn/images/20250513090153.821364408.png)
## Cursor 编辑器：AI驱动的新型IDE
Cursor 是一款基于 VS Code 构建的、集成了AI功能的创新型代码编辑器，旨在通过AI辅助提升开发效率。由于其新颖的特性，Cursor 在开发者社区中逐渐受到关注。然而，正是这种基于现有开源项目（VS Code）并引入新功能的特性，也可能成为攻击者利用的潜在目标。
![image.png](https://static.downly.cn/images/20250513090231.308607933.png)
## 恶意攻击手法：劫持编辑会话
最新的研究发现，一些恶意 npm 包被设计用来专门针对 Cursor 编辑器在 macOS 上的用户。这些恶意包在被安装后，会尝试识别当前运行的环境是否为 Cursor 编辑器。如果确认是 Cursor，它们就会执行恶意代码，其核心功能是劫持用户的编辑会话。
具体来说，攻击者利用了 Cursor 编辑器的一些内部机制，通过注入恶意脚本或修改配置文件等方式，使得恶意代码能够在用户进行代码编辑时被执行。这可能导致以下严重后果：
*   **代码窃取：** 恶意代码可以记录用户的击键、复制粘贴的内容，甚至直接读取用户正在编辑的代码文件，并将敏感代码发送到攻击者控制的服务器。
*   **植入后门：** 攻击者可以在用户的项目代码中植入后门，为后续的攻击或持久化控制埋下伏笔。
*   **篡改代码：** 在更极端的情况下，恶意代码甚至可能在用户不知情的情况下篡改其正在编写的代码。
![image.png](https://static.downly.cn/images/20250513090325.172695537.png)
## 影响范围与防范措施
据报道，受影响的恶意 npm 包已经被下载了数千次，表明有相当数量的开发者可能已经受到影响。尤其是在 macOS 系统上使用 Cursor 编辑器的开发者，风险更高。
为了防范此类攻击，开发者应采取以下措施：
*   **谨慎安装依赖：** 在安装 npm 包时，务必仔细检查包的名称、作者、下载量、更新频率以及是否存在可疑的issue或PR。优先选择知名度高、社区活跃、有良好安全记录的软件包。
*   **使用安全工具：** 利用 npm audit 或其他第三方安全扫描工具，定期检查项目依赖中是否存在已知的安全漏洞或恶意软件包。
*   **保持软件更新：** 及时更新 Node.js、npm 以及 Cursor 编辑器等开发工具到最新版本，以获取最新的安全补丁。
*   **限制权限：** 在可能的情况下，限制 npm 命令的权限，避免在生产环境或敏感项目中直接使用 root 权限安装依赖。
*   **监控异常行为：** 关注开发环境中的异常网络连接、文件修改或进程活动，及时发现和应对潜在的威胁。

## 供应链安全的警示
这次针对 Cursor 编辑器的攻击再次凸显了软件供应链安全的重要性。开源生态系统的便利性伴随着潜在的风险，任何一个环节的漏洞或恶意行为都可能波及下游用户。开发者和企业都需要加强对依赖项的管理和安全审计，构建更 robust 的软件开发流程，以应对日益复杂的网络安全威胁。

危险信号：开发者常用IDE遭遇恶意攻击，Mac用户需警惕！

## 开源的本质价值

在讨论n8n时，我之前忽略了其最根本的价值——**开源**。这不仅仅是一个技术特性，而是一种完全不同的软件哲学和商业模式。

n8n作为一个开源项目，代表的是对软件自由的追求：

- **代码透明**：所有代码公开可见，无黑盒操作
- **社区驱动**：全球开发者共同维护和改进
- **永久可用**：不受单一公司命运影响
- **免费使用**：核心功能不设付费门槛

![Description](https://static.downly.cn/covers/a082cd12b6654a5abfbae847f0d66677.webp)


## 数据主权与隐私保护

n8n的核心优势在于它完全尊重用户的**数据主权**：

1. 复制SaaS平台（如Zapier/Coze）：你的数据 → 他们的服务器 → 你无法完全控制
2. n8n：你的数据 → 你的服务器 → 你拥有完全控制权



这一点对企业尤为重要：

- 金融机构不必担心客户交易数据经过第三方
- 医疗机构可以确保患者隐私数据不离开自己的基础设施
- 政府部门可以满足数据本地化的合规要求



## 自由度与可定制性

n8n的存在，从根本上打破了工作流自动化工具的边界：

- **无限集成可能**：不受平台预设节点限制，可自行开发连接器
- **深度定制**：可以根据特定业务需求修改源代码
- **自主更新节奏**：不强制接受可能破坏现有流程的更新
- **本地化支持**：可以适配任何语言或地区特定需求



## 从工具到基础设施

n8n的意义不仅是一款工具，而是企业自动化的基础设施：

- **长期战略**：不受单一供应商的产品路线图限制
- **无厂商锁定**：数据和工作流可以完全掌控，不会成为"数字人质"
- **技术主权**：核心业务流程由自己控制，不依赖外部服务
- **成本可控**：避免随着使用量增加而无限攀升的订阅费用



## 企业案例再思考

在企业环境中，n8n的价值体现在：

- **银行**可以构建连接内部系统的工作流，无需将敏感数据发送到外部
- **制造商**可以将生产线数据与企业资源规划系统无缝集成
- **电子商务**平台可以构建完全自定义的订单处理工作流
- **医疗机构**可以在符合HIPAA等规定的前提下实现工作流自动化

## 开源的未来意义

| **维度**     | **n8n**                                 | **Dify**                                  | **Coze**                                  |
| ------------ | --------------------------------------- | ----------------------------------------- | ----------------------------------------- |
| **定位**     | 全场景自动化引擎（企业 / 个人）         | 企业级 AI 应用开发平台                    | 零代码 AI 应用搭建工具（个人 / 轻量场景） |
| **核心优势** | 开源灵活、超强集成、代码 + 可视化双模式 | LLMOps 全链路、RAG 能力、生产级支持       | 极简操作、字节生态、快速上线              |
| **学习门槛** | 中高（需理解 API、工作流逻辑）          | 中等（需懂大模型基础、低代码操作）        | 低（零代码，模板驱动）                    |
| **数据控制** | 完全自主（可私有化部署）                | 可控（支持自托管）                        | 云端存储（企业版可定制）                  |
| **成本**     | 免费开源，自托管无费用                  | 开源免费，模型调用需付费（如 OpenAI）     | 免费版够用，高级功能按用量付费            |
| **复杂流程** | ✅✅✅（支持递归、子流程、自定义代码）     | ✅✅（支持条件分支、多模型联动）            | ✅（仅支持简单对话流程）                   |
| **企业合规** | ✅✅✅（GDPR、ISO 27001 适配）             | ✅✅✅（权限管理、审计日志）                 | ✅（企业版支持，免费版数据存云端）         |
| **典型用户** | 技术团队、制造业、跨境电商、金融机构    | 企业 AI 部门、软件开发商、律所 / 医疗机构 | 个人开发者、中小团队、自媒体运营者        |

在一个日益关注数据隐私、数字主权的世界，n8n这样的开源项目代表了技术发展的一个重要方向——**用户对自己工具和数据的完全控制权**。

这不仅是技术选择，更是价值观的体现：我们是希望将核心业务流程托付给完全掌控在他人手中的封闭系统，还是选择透明、可控且社区驱动的开源解决方案？

“开源版Coze”爆火，n8n已融资超 4.6 亿！

在浏览器中组装、配置和部署自主人工智能的开源项目

AgentGPT

StabilityAI推出的文本到图像生成AI

Stable Diffusion

爆火的实现GPT-4完全自主的实验性开源项目，GitHub超10万星

Auto-GPT

全球首款通用型 AI Agent 开源项目

Suna

字节跳动推出的免费AI编程工具，基于Claude模型

搜索结果: 开源项目