

> 算力狂热中的一剂清醒药　新浪最新开源的3B小模型用硬核测试证明了一个残酷真相　逻辑推理能力可以被极限压缩至端侧设备运行　但庞大的事实类知识依然高度依赖物理参数量。

## 戳破小模型万能的公关泡沫

近半年来，硅谷与国内大厂在端侧小模型赛道上展开了疯狂的军备竞赛。从微软的Phi系列到阿里的Qwen小杯版，整个科技界似乎都被一种乐观的公关话术所笼罩——只要蒸馏技术足够先进，我们完全可以在手机上跑通媲美GPT-4的通用人工智能。这种狂热的共识让无数创业者误以为，低廉的端侧算力即将彻底终结昂贵的云端大模型时代。

然而，新浪此次开源的VibeThinker-3B模型及其配套研究，毫不留情地刺破了这一幻象。在深度评测与论文数据的冷光下，一个长期被刻意回避的技术暗礁浮出水面　参数量的极限缩水并非没有代价。虽然模型在纯粹的逻辑推演、数学运算和指令遵循上表现出了惊人的“小马拉大车”能力，但一旦触碰需要海量世界知识支撑的问答场景，其表现便呈现断崖式下跌。这场开源发布与其说是秀肌肉，不如说是一次对全行业的清醒喊话　不要再试图用30亿的参数容器，去强行塞入全人类的维基百科。

![22.png](https://static.downly.cn/images/01efbe5d8f11400ab4d240e080f570e8.png) <center>图源备注 图片由AI生成</center>

## 推理与知识的生硬解耦 3B模型的物理极限

要理解VibeThinker-3B传递的核心洞察，我们必须剥开神经网络运作的底层原理。在大模型内部，其实交织着两种截然不同的能力　一种是“认知框架（推理算法）”，另一种是“数据库（事实记忆）”。

该模型的核心技术验证在于，它成功证明了“认知框架”是高度可压缩的。你可以教一个模型掌握极其复杂的“如果A则B”的三段论逻辑，甚至让它学会复杂的代码架构思维，这部分能力只需极少的参数就能被固化在权重之中。但问题出在“数据库”上。事实性知识（例如某年某月某人签署了什么法案）是高度离散且不可通约的信息节点，它们无法被抽象成简单的公式，必须老老实实地占用物理存储空间。当模型被压缩到3B级别时，它就像是一个智商高达140但患有严重失忆症的天才——它知道如何完美地解构你的问题，却因为脑容量不足而被迫开始胡编乱造，导致严重的“知识性幻觉”。

![23.png](https://static.downly.cn/images/495ba199c0c9696b849eb59e5e2abeb2.png) <center>图源备注 图片由AI生成</center>

## 抛弃对纯粹参数缩水的幻想 混合架构才是出路

新浪的这项研究揭示了盲目追求小模型的隐性成本与伦理陷阱。如果强行在对事实精确度要求极高的行业（如医疗诊断、法律合同审查）部署纯端侧小模型，其产生的不可控幻觉将引发灾难性的合规风险。

务实的未来预测是，这场关于模型尺寸的迷梦将彻底走向终结。企业端必须接受一个现实　AI并非一个可以无限压缩的万能ZIP文件。VibeThinker的研究直接指明了未来三年的唯一正确路径——大模型与知识库必须彻底物理隔离。未来的标准架构将不再是逼迫端侧模型记住所有知识，而是让高度压缩的3B模型专门负责“理解与推理”，将其作为极其轻量级的思维引擎，而将所有事实性知识全部交由外部的RAG（检索增强生成）系统或向量数据库来挂载。只有彻底承认物理法则的边界，AI落地才能真正摆脱被过度炒作的泥潭。

新浪VibeThinker 3B模型开源 揭开推理压缩与知识存储的技术底牌



> **导语**
> 年末科技圈再迎重磅炸弹，智谱科技发布的 GLM-4.7 模型在 WebDev 榜单上强势超越 GPT-5.2，问鼎开源大模型之首。凭借卓越的编码能力与更低的推理成本，它被开发者誉为 "Claude Code 的最佳平替"。

## 技术揭秘 后训练阶段的精细化打磨

在近期的 AMA 活动中，智谱团队不仅展示了成绩，更披露了技术跃迁的核心逻辑。GLM-4.7 的突围并非单纯依赖参数堆叠，而是得益于后训练阶段（Post-training）的极致优化。

团队在监督微调（SFT）和强化学习（RL）环节引入了更为精细的配方，这种策略显著提升了模型在复杂指令下的稳定性。除了性能，成本控制也是此次迭代的亮点。智谱明确表示，设计初衷是让高性能模型能够跑在消费级显卡上，这种 "亲民" 的算力需求，为个人开发者和中小企业的大规模部署扫清了障碍。

![Google_AI_Studio_2025-12-29T03_19_21.225Z.png](https://static.downly.cn/images/147bd94fc3fcbe41f7be5712d8d40fb1.png)
 <center>图源备注：图片由AI生成</center>

## 全能表现 从代码构建到角色扮演

GLM-4.7 正在展现出 "全能选手" 的潜质。在代码领域，它对 Python 和 JavaScript 等主流语言的支持更加稳健，不仅能完成基础编码，还能在调试和执行复杂开发任务时展现出清晰的逻辑链条。

更有趣的是，该模型的 "情商" 也得到了进化。在创意写作和角色扮演任务中，GLM-4.7 能够长时间保持角色设定的一致性，大幅减少了以往模型常见的 "出戏" 现象。这种灵动性使其在游戏 NPC 对话、虚拟陪伴等感性交互场景中也具备了极高的应用价值。

与此同时，智谱宣布开源自研的 Slime 框架，旨在反哺社区，提升大模型强化学习的效率。团队承诺，即便在商业化进程加速的背景下，对开源生态的投入不仅不会缩减，反而会作为公司成长的核心动力持续加强。

智谱GLM-4.7登顶开源榜单 国产大模型硬刚GPT-5.2

> 近日，DreamTech联手南大、复旦、牛津发布的一款名为Direct3D-S2的革命性 3D 生成模型宣布全面开源，其在多个基准测试中展现出影视级的生成效果，甚至超越了闭源模型，仅用 8 块 GPU 便登顶 Hugging Face 排行榜，预示着 3D 内容生成领域的新突破。



在人工智能飞速发展的今天，AI 在文本、图像、视频生成领域已取得令人瞩目的成就。然而，作为下一个前沿阵地，3D 内容的生成一直面临巨大的挑战。 如今，这一局面正被一款名为 **Direct3D-S2** 的模型所改变。 它不仅实现了影视级别的 3D 生成效果，更以全面开源的姿态，仅用 8 块 GPU 便在 Hugging Face 排行榜上超越了众多闭源模型，加冕“3D 生成新王”。[HuggingFace在线体验Demo](https://huggingface.co/spaces/wushuang98/Direct3D-S2-v1.0-demo)

![image.png](https://static.downly.cn/images/36cdd17b6e3d9c30072d2a66fa030f13.png)

Direct3D-S2 的开源，无疑为 3D 内容创作、游戏开发、元宇宙构建等领域带来了革命性的机遇。 它降低了 3D 内容生成的门槛，使得更多开发者和研究人员能够接触并利用这一前沿技术。
[官网](https://www.neural4d.com/)
![image.png](https://static.downly.cn/images/84327a4e9f2c2591705d92ca741f86ab.png)
### 挑战与突破 3D 生成的“卡脖子”难题

传统的 3D 内容生成，无论是建模还是动画，都依赖于专业软件和大量人工。 即便 AI 参与，也面临着诸多难题

*   **数据稀缺与标注复杂** 相比于 2D 图像，3D 数据集的获取和标注成本极高。
*   **模型复杂性与计算成本** 3D 模型的表示方法多样（点云、网格、体素等），生成高质量、高细节的 3D 内容需要巨大的计算资源。
*   **效果真实性与泛化能力** 现有模型往往难以生成具有真实感、细节丰富且能够泛化到不同场景的 3D 内容。

Direct3D-S2 正是在这些挑战中取得了突破。 它结合了最新的扩散模型技术与多视图几何、神经渲染等先进理念，实现了从文本或图像到高质量 3D 模型的直接生成。
注意：以 512 分辨率生成至少需要 10GB 的 VRAM，而 1024 分辨率需要大约 24GB 的 VRAM。我们不建议以 512 分辨率生成模型，因为这只是 1024 模型的中间步骤，质量明显较低。

### Direct3D-S2 的核心技术揭秘

Direct3D-S2 能够实现影视级 3D 生成，其核心技术在于以下几点

*   **高效的 3D 表示学习** 模型能够有效学习和表示 3D 空间中的复杂几何与纹理信息，从而生成高保真度的 3D 模型。
*   **多视图一致性优化** 通过在训练过程中引入多视图几何约束，确保生成的 3D 模型在不同视角下都具有良好的连贯性和真实感，解决了传统 3D 生成中常见的“鬼影”或“崩坏”问题。
*   **先进的扩散模型** 借鉴了 2D 图像生成领域的成功经验，Direct3D-S2 将扩散模型引入 3D 生成，通过迭代去噪过程逐步生成高质量的 3D 内容。
*   **优化的训练策略** 论文中详细描述了其训练策略，包括如何有效利用现有 2D 数据进行蒸馏，以及如何进行高效的 3D 数据增强，从而在有限的计算资源下实现卓越性能。

![image.png](https://static.downly.cn/images/45709b164f70e428c89a868def28e725.png)

### 性能惊艳 8 块 GPU 登顶 Hugging Face

Direct3D-S2 的性能表现令人震撼。 在多个权威的 3D 生成基准测试中，它不仅超越了此前表现优异的众多开源模型，甚至在许多关键指标上胜过了闭源解决方案。

更令人惊叹的是，这一卓越的性能是在相对有限的计算资源下实现的。 官方数据显示，仅需 8 块 GPU，Direct3D-S2 便能完成训练并展现出顶尖的生成能力。 这对于个人开发者和中小企业而言，无疑是巨大的福音，极大地降低了参与 3D 内容生成前沿研究和应用的门槛。

在 Hugging Face 平台上，Direct3D-S2 凭借其高质量的生成效果和高效的训练推理能力，迅速获得了社区的认可，成功登顶相关排行榜，成为 3D 生成领域的新标杆。

### 颠覆未来 3D 内容创作的无限可能

Direct3D-S2 的全面开源，其影响力将是深远的

*   **赋能游戏与影视行业** 开发者可以快速生成高质量的 3D 资产、场景，大幅缩短游戏和影视作品的制作周期和成本。
*   **加速元宇宙构建** 为元宇宙中的虚拟形象、物品、环境等 3D 资产的快速生成提供了强大工具，推动虚拟世界的建设。
*   **推动 VR/AR 发展** 高质量的 3D 模型能够为 VR/AR 应用提供更沉浸、更真实的体验。
*   **激发学术研究** 开源代码和模型将吸引更多研究人员投入到 3D 生成领域，共同探索更先进的技术。

<video src="https://static.downly.cn/images/55c830acc95a9f8603688a648fdda517.mp4"  title="civitai_house0.mp4"></video>

Direct3D-S2 的出现，标志着 3D 内容生成技术正在从实验室走向实际应用，从高门槛走向普惠。 它不仅仅是一款模型，更是开启 3D 创作新时代的钥匙。 我们可以预见，在不久的将来，通过简单的文本描述或图像输入，便能生成栩栩如生的 3D 世界，将不再是梦想。



影视级 3D 生成新王 Direct3D-S2 全面开源 8 块 GPU 超越闭源登顶 HF

> 在人工智能驱动的数字内容生成领域，如何让虚拟形象更加生动、自然地与用户互动，一直是技术探索的热点。近日，腾讯混元大模型团队推出了一个重磅开源项目——HunyuanVideo-Avatar。这项技术的核心在于能够仅凭一段语音，就驱动生成具有丰富表情和自然口型变化的数字人视频。这一创新不仅极大地降低了数字人视频制作的门槛，更为虚拟直播、教育、娱乐等多个领域带来了全新的可能性，标志着语音驱动数字人技术迈入了新的阶段。


腾讯混元大模型团队在人工智能领域持续发力，继文本生成图片、视频生成等技术之后，再次向开源社区贡献了重要的研究成果——HunyuanVideo-Avatar。这一项目的开源，旨在 democratize（民主化）数字人视频的生成过程，让更多开发者和使用者能够轻松地利用语音来驱动虚拟形象的生成。

![image.png](https://static.downly.cn/images/20250529032514.968715463.png)

HunyuanVideo-Avatar 的核心功能正如其名 所言，能够实现“语音驱动生成数字人”。这意味着用户不再需要复杂的 3D 建模、动作捕捉或专业的视频编辑技能，只需要提供一段音频，系统就能够根据语音的内容、情感和语速，自动生成一个数字人说话的视频。这无疑是一项具有颠覆性的技术，将极大提升内容创作的效率和便捷性。

<video src="https://static.downly.cn/images/20250529085234.658090026.mov" controls width="70%" title="teaser.mov"></video>

在线测试HunyuanVideo-Avatar：[https://hunyuan.tencent.com/modelSquare/home/play?modelId=126](https://hunyuan.tencent.com/modelSquare/home/play?modelId=126)

## 技术揭秘 语音如何“驱动”数字人

实现从音频到数字人视频的无缝转换，需要跨越多模态技术的壁垒。HunyuanVideo-Avatar 在技术上可能采用了以下几个关键组成部分


*   **语音特征提取与分析** 系统首先需要对输入的语音进行深入分析，提取出语音的语言内容、语调、情感以及与口型运动相关的声学特征。
*   **面部动作与表情生成** 基于语音特征，模型需要推断出数字人相应的面部动作、表情变化以及最关键的——口型变化。这需要对人脸的肌肉运动和语音发声机制有深刻的理解。
*   **图像生成与渲染** 最后，模型将生成或操纵数字人的图像，使其面部表情和口型与分析出的语音特征同步，最终输出一段连贯自然的数字人视频。

![image.png](https://static.downly.cn/images/20250529032542.076218755.png)

为了确保生成视频的自然度和逼真度，HunyuanVideo-Avatar 可能采用了先进的深度学习模型，如基于 Transformer 的架构、生成对抗网络（GAN）或扩散模型，并结合了大量的多模态数据集进行训练。[论文](https://arxiv.org/pdf/2505.20156)中可能详细描述了其具体的模型结构和训练策略，例如可能采用了创新的注意力机制来对齐语音和视觉特征，或者使用了新的损失函数来优化生成视频的质量和一致性。

## 开源的价值 普惠 AI 的重要一步

腾讯选择将 HunyuanVideo-Avatar 开源，具有重要的战略意义和社区价值
<video src="https://static.downly.cn/images/20250529082542.256822829.mp4" controls width="70%" title="黑白相声-2.mp4"></video>

*   **加速技术普及与应用** 开源使得更多的开发者和研究机构能够接触和使用这一先进技术，基于其进行二次开发和创新应用，从而加速语音驱动数字人技术的普及和落地。
*   **激发社区创新活力** 开源社区的力量是巨大的。 全球的开发者可以共同对 HunyuanVideo-Avatar 进行改进、优化和拓展功能，推动技术的快速迭代和演进。
*   **构建开放生态** 腾讯通过开源，有助于构建一个围绕混元大模型和数字人技术的开放生态系统，吸引更多合作伙伴共同参与，共同推动产业发展。
*   **提升技术透明度** 开源有助于提高技术的透明度，让使用者更加了解模型的原理和潜在限制，促进技术的健康发展。

![image.png](https://static.downly.cn/images/20250529032750.526292890.png)

HunyuanVideo-Avatar 的开源，是腾讯在践行“科技向善”理念、推动 AI 普惠化方面的重要一步，为降低数字内容创作门槛、赋能更多个体和企业提供了强大的工具。


## 广泛应用前景 数字人进入千家万户

HunyuanVideo-Avatar 的出现，将极大地拓展数字人的应用边界，为各行各业带来新的机遇
<video src="https://static.downly.cn/images/20250529083258.269327757.mp4" controls width="70%" title="女声田野独唱.mp4"></video>
*   **虚拟直播** 个体创作者和品牌可以快速生成具有个性化形象的虚拟主播，降低直播成本，提升内容吸引力。
*   **在线教育** 创建生动有趣的数字老师，根据学生的语音输入进行互动式教学。
*   **客服与导览** 生成智能数字客服或虚拟导览员，提供更加人性化的服务体验。
*   **娱乐与营销** 制作创意短视频、广告或虚拟偶像，进行更具互动性和趣味性的内容传播。
*   **个人表达与社交** 未来用户甚至可以轻松创建自己的数字分身，用于社交互动和内容分享。

![image.png](https://static.downly.cn/images/20250529032918.759711415.png)

凭借语音驱动这一便捷高效的方式，HunyuanVideo-Avatar 有望让数字人不再是高门槛的技术，而是人人都可以轻松使用的工具，真正让数字人“走进千家万户”。
<video src="https://static.downly.cn/images/20250529083247.466789044.mp4" controls width="70%" title="女声吉他独唱森林火焰.mp4"></video>

## 本地部署

需要支持CUDA的NVIDIA GPU
  - 该模型在8GPU的机器上进行了测试。
  - **最低配置**：生成720px1280px129帧视频所需的最小GPU内存为24GB，但速度很慢。
  - **推荐配置**：我们建议使用80GB显存的GPU以获得更好的生成质量。
- 测试过的操作系统：Linux

### 🛠️ 依赖项和安装

首先克隆仓库：

```shell
git clone https://github.com/Tencent/HunyuanVideo-Avatar.git
cd HunyuanVideo-Avatar
```

### Linux安装指南

我们推荐使用CUDA 12.4或11.8版本进行手动安装。

Conda的安装说明可在[这里](https://www.anaconda.com/docs/main)找到。

```shell
# 1. 创建conda环境
conda create -n HunyuanVideo-Avatar python==3.10.9

# 2. 激活环境
conda activate HunyuanVideo-Avatar

# 3. 使用conda安装PyTorch和其他依赖
# 对于CUDA 11.8
conda install pytorch==2.4.0 torchvision==0.19.0 torchaudio==2.4.0 pytorch-cuda=11.8 -c pytorch -c nvidia
# 对于CUDA 12.4
conda install pytorch==2.4.0 torchvision==0.19.0 torchaudio==2.4.0 pytorch-cuda=12.4 -c pytorch -c nvidia

# 4. 安装pip依赖
python -m pip install -r requirements.txt
# 5. 安装flash attention v2以加速（需要CUDA 11.8或更高版本）
python -m pip install ninja
python -m pip install git+https://github.com/Dao-AILab/flash-attention.git@v2.6.3
```

如果在特定GPU类型上遇到浮点异常（核心转储），您可以尝试以下解决方案：

```shell
# 方案1：确保您已安装CUDA 12.4、CUBLAS>=12.4.5.8和CUDNN>=9.00（或直接使用我们的CUDA 12 docker镜像）
pip install nvidia-cublas-cu12==12.4.5.8
export LD_LIBRARY_PATH=/opt/conda/lib/python3.8/site-packages/nvidia/cublas/lib/

# 方案2：强制显式使用CUDA 11.8编译版本的PyTorch和所有其他包
pip uninstall -r requirements.txt  # 卸载所有包
pip install torch==2.4.0 --index-url https://download.pytorch.org/whl/cu118
pip install -r requirements.txt
pip install ninja
pip install git+https://github.com/Dao-AILab/flash-attention.git@v2.6.3
```

此外，您也可以使用混元视频Docker镜像。使用以下命令拉取并运行docker镜像。

```shell
# 对于CUDA 12.4（更新以避免浮点异常）
docker pull hunyuanvideo/hunyuanvideo:cuda_12
docker run -itd --gpus all --init --net=host --uts=host --ipc=host --name hunyuanvideo --security-opt=seccomp=unconfined --ulimit=stack=67108864 --ulimit=memlock=-1 --privileged hunyuanvideo/hunyuanvideo:cuda_12
pip install gradio==3.39.0 diffusers==0.33.0 transformers==4.41.2

# 对于CUDA 11.8
docker pull hunyuanvideo/hunyuanvideo:cuda_11
docker run -itd --gpus all --init --net=host --uts=host --ipc=host --name hunyuanvideo --security-opt=seccomp=unconfined --ulimit=stack=67108864 --ulimit=memlock=-1 --privileged hunyuanvideo/hunyuanvideo:cuda_11
pip install gradio==3.39.0 diffusers==0.33.0 transformers==4.41.2
```

### 🧱 下载预训练模型

预训练模型的下载详情请参见[这里](https://github.com/Tencent-Hunyuan/HunyuanVideo-Avatar/blob/main/weights/README.md)。

### 🚀 多GPU并行推理

例如，要使用8个GPU生成视频，可以使用以下命令：

```bash
cd HunyuanVideo-Avatar

JOBS_DIR=$(dirname $(dirname "$0"))
export PYTHONPATH=./
export MODEL_BASE="./weights"
checkpoint_path=${MODEL_BASE}/ckpts/hunyuan-video-t2v-720p/transformers/mp_rank_00_model_states.pt

torchrun --nnodes=1 --nproc_per_node=8 --master_port 29605 hymm_sp/sample_batch.py \
    --input 'assets/test.csv' \
    --ckpt ${checkpoint_path} \
    --sample-n-frames 129 \
    --seed 128 \
    --image-size 704 \
    --cfg-scale 7.5 \
    --infer-steps 50 \
    --use-deepcache 1 \
    --flow-shift-eval-video 5.0 \
    --save-path ${OUTPUT_BASEPATH} 
```

### 🔑 单GPU推理

例如，要使用1个GPU生成视频，可以使用以下命令：

```bash
cd HunyuanVideo-Avatar

JOBS_DIR=$(dirname $(dirname "$0"))
export PYTHONPATH=./

export MODEL_BASE=./weights
OUTPUT_BASEPATH=./results-single
checkpoint_path=${MODEL_BASE}/ckpts/hunyuan-video-t2v-720p/transformers/mp_rank_00_model_states_fp8.pt

export DISABLE_SP=1 
CUDA_VISIBLE_DEVICES=0 python3 hymm_sp/sample_gpu_poor.py \
    --input 'assets/test.csv' \
    --ckpt ${checkpoint_path} \
    --sample-n-frames 129 \
    --seed 128 \
    --image-size 704 \
    --cfg-scale 7.5 \
    --infer-steps 50 \
    --use-deepcache 1 \
    --flow-shift-eval-video 5.0 \
    --save-path ${OUTPUT_BASEPATH} \
    --use-fp8 \
    --infer-min
```

### 低显存运行方案

```bash
cd HunyuanVideo-Avatar

JOBS_DIR=$(dirname $(dirname "$0"))
export PYTHONPATH=./

export MODEL_BASE=./weights
OUTPUT_BASEPATH=./results-poor

checkpoint_path=${MODEL_BASE}/ckpts/hunyuan-video-t2v-720p/transformers/mp_rank_00_model_states_fp8.pt

export CPU_OFFLOAD=1
CUDA_VISIBLE_DEVICES=0 python3 hymm_sp/sample_gpu_poor.py \
    --input 'assets/test.csv' \
    --ckpt ${checkpoint_path} \
    --sample-n-frames 129 \
    --seed 128 \
    --image-size 704 \
    --cfg-scale 7.5 \
    --infer-steps 50 \
    --use-deepcache 1 \
    --flow-shift-eval-video 5.0 \
    --save-path ${OUTPUT_BASEPATH} \
    --use-fp8 \
    --cpu-offload \
    --infer-min
```

### 运行Gradio服务器

```bash
cd HunyuanVideo-Avatar

bash ./scripts/run_gradio.sh
```

## 未来展望 AI 驱动数字内容新浪潮

腾讯开源 HunyuanVideo-Avatar，是人工智能驱动数字内容生成浪潮中的一个重要里程碑。它不仅展示了腾讯在多模态 AI 领域的深厚技术积累，更通过开源的方式，将前沿技术分享给全球社区，共同推动数字人技术的创新和应用。

随着技术的不断发展和社区的共同努力，我们可以期待 HunyuanVideo-Avatar 在未来能够支持更多复杂的语音情绪、更细腻的面部表情以及更多样的数字人形象。这场由语音驱动的数字人新浪潮，才刚刚开始，它将深刻改变我们创作、消费和互动数字内容的方式。




搜索结果: 技术揭秘