
> 随着人工智能技术的飞速发展，大型语言模型（LLMs）和多模态模型层出不穷。如何准确、全面地评估这些模型的性能成为了一个日益重要的问题。为了解决这一挑战，谷歌近日推出了一个全新的统一评估工具——LMEval，旨在为大语言模型和多模态模型的评估提供一个标准化、高效的平台。

## AI评估的挑战与现有工具的局限性

过去，评估AI模型的性能通常依赖于针对特定任务或数据集的独立基准测试。这种方法存在诸多局限性

*   **碎片化** 不同模型可能在不同的基准上进行评估，导致结果难以进行直接比较。
*   **覆盖范围有限** 现有的基准往往只关注模型在特定任务上的表现，难以全面反映模型的整体能力。
*   **多模态评估困难** 随着多模态模型的发展，评估其理解和处理不同模态信息（如文本、图像、音频）的能力变得更加复杂。
*   **效率低下** 开发者和研究人员需要花费大量时间和精力来适配不同的评估框架和工具。



LMEval的出现，正是为了克服这些挑战，提供一个更加统一、灵活和高效的评估解决方案。

## LMEval 统一评估的新范式

LMEval的设计核心在于其统一性和模块化。它旨在提供一个通用的框架，能够支持对不同类型的大语言模型和多模态模型进行评估，涵盖各种任务和能力。

*   **统一接口** LMEval提供了一个统一的接口，使得开发者可以轻松地将其模型与评估框架集成，无需进行大量的代码修改。
*   **广泛的任务支持** LMEval支持评估模型在各种任务上的表现，包括文本生成、问答、摘要、翻译、图像理解、跨模态推理等。
*   **多维度评估** 除了传统的性能指标，LMEval还支持对模型的鲁棒性、公平性、可解释性等方面进行评估。
*   **模块化设计** LMEval采用模块化设计，允许用户根据自己的需求选择和组合不同的评估任务和数据集，构建定制化的评估流程。

![image.png](https://static.downly.cn/images/20250527025007.130666018.png)

这种统一和灵活的设计，使得LMEval能够成为一个强大的工具，帮助研究人员和开发者更全面、更准确地了解他们模型的优势和不足。

## 如何使用LMEval

LMEval的设计理念是简化评估流程，提高效率。开发者和研究人员可以通过简单的配置和调用，即可启动评估过程。

*   **模型集成** 将待评估的大语言模型或多模态模型与LMEval框架进行集成。
*   **选择评估任务和数据集** 根据需要选择LMEval提供的各种评估任务和对应的数据集。
*   **运行评估** 通过命令行或代码调用LMEval，启动自动化评估流程。
*   **分析结果** LMEval会生成详细的评估报告，展示模型在不同任务上的表现，并提供各种指标和可视化结果。



LMEval的出现，有望极大地降低AI模型评估的技术门槛，使得更多人能够参与到模型评估和改进的工作中。

## LMEval的意义与影响

谷歌推出LMEval具有重要的意义和深远的影响。

*   **推动AI模型发展** LMEval提供了一个标准化的评估平台，有助于研究人员更清晰地了解不同模型的性能差异，从而更有针对性地进行模型改进和创新。
*   **促进行业合作与透明度** 统一的评估工具可以促进不同机构和研究团队之间的合作，使得模型性能的比较更加公平和透明。
*   **加速多模态AI发展** LMEval对多模态模型评估的支持，将有力推动多模态AI技术的进步和应用。
*   **提升AI应用的可靠性** 通过更全面的评估，可以确保部署的AI模型更可靠、更安全，为实际应用提供保障。



LMEval的发布，是AI评估领域的一个重要里程碑，有望重塑AI模型评估的标准和流程。

## 未来展望

LMEval的推出只是AI评估工具发展的一个开端。未来，我们可以期待LMEval在以下方面进一步发展

*   **更广泛的任务和模态支持** 支持评估更多类型的AI模型和更广泛的任务，包括更复杂的跨模态交互和推理。
*   **更精细的评估指标** 开发更细致、更能够反映模型深层能力的评估指标。
*   **社区驱动的贡献** 鼓励全球研究社区贡献新的评估任务、数据集和评估方法，不断完善LMEval。



谷歌推出的LMEval，作为统一评估大语言模型和多模态模型的新工具，有望为AI领域的评估工作带来一场深刻的变革，加速AI技术的进步和应用。



谷歌发布LMEval 统一评估大模型与多模态AI的新利器

> Claude 4是Anthropic公司在2025年5月22日发布的最新一代AI模型，包括两个版本：Claude Opus 4和Claude Sonnet 4。这两款模型相比前代产品带来了显著的能力提升，尤其在编码、推理和AI代理能力方面取得了突破性进展。Claude 4代表了Anthropic迈向更安全、更强大的AI系统的重要一步，提供了新的交互方式和工具集成能力。
>
> 本文旨在全面分析Claude 4的技术能力、性能表现和实际应用场景，通过与其他顶级AI模型的比较，帮助读者深入了解Claude 4的优势和局限性，为AI开发和应用提供参考依据。

### Claude 4版本特性：

- Claude 4包括Opus 4和Sonnet 4两个版本，针对不同需求和预算
- 在编码能力方面，Claude 4在SWE-bench上达到72.5%-72.7%的表现，领先行业
- 新增扩展思考(Extended Thinking)功能，可结合工具使用提升复杂问题解决能力
- 显著改进的记忆能力和持续工作能力，可连续工作长达7小时
- 在多项基准测试中超越GPT-4和Gemini 2.5 Pro

## 2. Claude 4 版本特性

![image-20250526174151379](https://static.downly.cn/images/image-20250526174151379.png)

### 核心技术进步

Claude 4模型在以下方面带来了显著的技术进步：

1. **扩展思考与工具使用(beta)：** 两个模型都能在扩展思考过程中使用工具，如网络搜索，允许Claude在推理和工具使用之间交替，以提高响应质量。
2. **新模型能力：** 两个模型都能并行使用工具，更精确地遵循指令，并且在开发人员提供本地文件访问权限时，显著提升记忆能力，能够提取和保存关键事实以维持连续性和随时间构建隐性知识。
3. **记忆增强：** Claude Opus 4在记忆能力方面大幅超越所有先前的模型。当开发人员构建提供Claude本地文件访问权限的应用程序时，Opus 4擅长创建和维护"记忆文件"以存储关键信息。
4. **减少捷径行为：** 在特别容易出现捷径和漏洞的代理任务上，两个模型都比Sonnet 3.7减少了65%的这种行为。

![Claude 4 models lead on SWE-bench Verified](https://static.downly.cn/images/F09a6d5aa47c25cb2037efff9f486da4918f77708.webp)

Claude 4模型在SWE-bench Verified测试中的领先表现，这是一个衡量真实软件工程任务性能的基准测试



## 3. 扩展思考功能(Extended Thinking)

扩展思考是Claude 4的一项重要创新功能，它使Claude能够在提供最终答案之前进行增强推理，同时提供对其逐步思考过程的不同级别的透明度。

### 工作原理

启用扩展思考后，Claude会创建"思考"内容块，其中输出其内部推理过程。Claude在制作最终响应之前会整合这些推理中的洞察。API响应将包含思考内容块，然后是文本内容块。

#### 使用扩展思考的关键点：

- **思考预算：** budget_tokens参数决定Claude允许用于内部推理过程的最大token数。较大的预算可以通过对复杂问题进行更彻底的分析来提高响应质量。
- **思考总结：** Claude 4模型返回Claude完整思考过程的摘要，提供扩展思考的全部智能优势，同时防止滥用。
- **交错思考：** Claude 4模型支持交错思考，使Claude能够在工具调用之间进行思考，并在接收到工具结果后进行更复杂的推理。

### 扩展思考与工具使用

扩展思考可以与工具使用结合，允许Claude推理工具选择和结果处理。使用工具的扩展思考支持交错思考，这使得Claude能够：

- 在决定下一步操作之前推理工具调用的结果
- 在中间有推理步骤的情况下链接多个工具调用
- 基于中间结果做出更细微的决策

> 交错思考是Claude 4的一项重大创新，允许模型在工具调用之间进行复杂推理，极大地提高了其解决多步骤问题的能力。



## 4. 性能评测与基准测试

Claude 4模型在多项权威基准测试中展现了卓越的性能，特别是在编码和复杂推理任务方面。以下是关键基准测试的结果分析：

![2025052414324231](https://static.downly.cn/images/2025052414324231.png)

### 编码能力

在软件工程基准测试中，Claude 4模型取得了令人印象深刻的成绩：

| 基准测试                | Claude Opus 4 | Claude Sonnet 4 | GPT-4.1    | Gemini 2.5 Pro |
| :---------------------- | :------------ | :-------------- | :--------- | :------------- |
| SWE-bench Verified      | 72.5%         | 72.7%           | 54.6%      | 63.8%          |
| Terminal-bench          | 43.2%         | ~42%            | 数据不可用 | 数据不可用     |
| 高计算条件下的SWE-bench | 79.4%         | 80.2%           | 数据不可用 | 数据不可用     |

### 知识与推理能力

| 基准测试                | Claude Opus 4 | Claude Sonnet 4 | GPT-4.1    | Gemini 2.5 Pro |
| :---------------------- | :------------ | :-------------- | :--------- | :------------- |
| MMLU (扩展思考)         | 87.4%+        | 85.4%+          | 80.1%      | 数据不可用     |
| GPQA Diamond (扩展思考) | 74.9%+        | 70.0%+          | 数据不可用 | 数据不可用     |
| AIME (扩展思考)         | 33.9%+        | 33.1%+          | 数据不可用 | 18.8%          |

![Claude 4 models deliver strong performance across various tasks](https://static.downly.cn/images/image-20250526174151019.png)

Claude 4模型在编码、推理、多模态能力和代理任务方面的强大表现

### 实际应用评测

根据16x Eval的实际测试，Claude 4模型在多项实际开发任务中表现卓越：

![image-20250526172615571](https://static.downly.cn/images/image-20250526172615571.png)

## 5. 与竞争对手的比较

### Claude 4 vs GPT-4.1 vs Gemini 2.5 Pro

根据最新的评测数据，这三款顶级AI模型各有优势：Claude 4在编码能力方面领先，GPT-4.1在效率和延迟方面表现最佳，而Gemini 2.5 Pro则在多模态处理尤其是视频理解方面占据优势。

### 优势领域比较

![image-20250526172642615](https://static.downly.cn/images/image-20250526172642615.png)

### 价格比较

| 模型            | 输入价格(每百万tokens) | 输出价格(每百万tokens) | 特殊考量                        |
| :-------------- | :--------------------- | :--------------------- | :------------------------------ |
| Claude Opus 4   | $15                    | $75                    | 通过提示缓存可节省最多90%成本   |
| Claude Sonnet 4 | $3                     | $15                    | 通过批处理可节省最多50%成本     |
| GPT-4.1         | $2                     | $8                     | 最实惠的高性能模型              |
| Gemini 2.5 Pro  | $2.50                  | $15                    | 超过200K tokens的提示价格会增加 |

> 真正的问题不是哪个模型"最好"，而是哪个模型最适合您的特定用例、预算和风险承受能力。

## 6. 应用场景与实际案例

Claude 4适用于各种高级AI应用场景。以下是一些关键用例和实际案例：

 ![image-20250526172728471](https://static.downly.cn/images/image-20250526172728471.png)



## 7. 新API功能与开发工具

随着Claude 4的发布，Anthropic还推出了四项新的API功能，使开发者能够构建更强大的AI代理：代码执行工具、MCP连接器、文件API和缓存提示长达一小时的功能。

![image-20250526173456911](https://static.downly.cn/images/image-20250526173456911.png)

### Claude Code

现已全面推出的Claude Code带来了Claude的强大功能，拓展到了更多的开发工作流程——在终端、您喜欢的IDE以及使用Claude Code SDK在后台运行。

#### IDE集成

Cursor 0.5版本已经支持Claude4，WindSurf需要在官网配置Claude API Key才可使用Claude4。

![image-20250526181527457](https://static.downly.cn/images/image-20250526181527457.png)

#### Claude Code SDK

Anthropic发布了可扩展的Claude Code SDK，使您能够使用与Claude Code相同的核心代理构建自己的代理和应用程序。他们还发布了SDK可能性的示例：Claude Code on GitHub，现处于测试阶段。



## 8. 使用建议

![image-20250526173642204](https://static.downly.cn/images/image-20250526173642204.png)

### 优化扩展思考功能

#### 最佳实践

- **预算优化：** 最小预算为1,024个token。建议从最小值开始，逐步增加思考预算，以找到适合您的用例的最佳范围。
- **起点：** 对于复杂任务，从较大的思考预算(16k+tokens)开始，并根据您的需求进行调整。
- **大型预算：** 对于超过32k的思考预算，建议使用批处理以避免网络问题。
- **Token使用跟踪：** 监控思考token的使用情况，以优化成本和性能。

#### 性能考虑

- **响应时间：** 准备好可能因推理过程所需的额外处理而导致的响应时间较长。
- **流式处理要求：** 当max_tokens大于21,333时，需要流式处理。



## 9. 总结与展望

Claude 4代表了Anthropic在AI能力发展方面的重大飞跃，特别是在编码、复杂推理和AI代理方面。Claude Opus 4和Claude Sonnet 4为不同需求和预算提供了选择，两者都在基准测试中表现卓越。

扩展思考功能和工具使用的结合为解决复杂问题开辟了新的可能性，而新的API功能为开发者提供了构建更强大AI应用的工具。随着AI行业的快速发展，Claude 4为人工智能的未来发展树立了新的标准。

### 未来展望

AI模型竞赛远未结束，而是在加速。Anthropic的目标是到2027年实现120亿美元的收入，而OpenAI的宏伟目标是创建一个"代理软件工程师"，能够端到端地编程整个应用程序。

随着技术的不断演进，我们可以期待在以下方面看到更多进步：

- 更长时间运行的代理能力
- 增强的工具使用和系统集成
- 更精确的推理和问题解决
- 更深入的专业领域知识
- 改进的多模态理解和生成



> AI模型正在以前所未有的速度发展，而Claude 4在这场全球性的智能竞赛中确立了自己的地位，特别是在编码和复杂推理能力方面。

无论您是押注于下一个突破的初创公司创始人，还是为AI战略选择骨干的财富500强开发者，Claude 4都代表了人工智能的当前巅峰。未来正在用代码书写，而这些AI模型正在执笔。

最强编程模型 - Anthropic Claude 4 深入分析报告



> 随着大型语言模型（LLM）能力的不断增强，如何让它们更好地理解人类偏好、生成符合人类价值观和意图的文本，成为了一个关键问题。奖励模型（Reward Model, RM）是实现这一目标的重要技术之一，它通过学习人类的反馈来评估LLM生成的文本质量。然而，现有的奖励模型评估基准往往不够全面和细致。近日，清华大学等机构联合推出了一个全新的奖励模型评估基准——RM-BENCH，旨在从微妙之处和风格化层面更细粒度地评估大模型的奖励模型能力，助力打造真正“善解人意”的AI。



## 奖励模型：让AI更懂你

大型语言模型在生成文本方面表现出色，但它们并非总是能生成用户期望的、符合道德伦理或特定风格的内容。奖励模型应运而生，其核心思想是训练一个模型来模拟人类的偏好判断。通过收集大量人类对LLM生成文本的评价数据（例如，哪个回复更好），奖励模型学习如何为不同的文本打分。这个分数（即奖励）随后被用来指导LLM的训练，促使LLM生成更高质量、更符合人类偏好的文本。这种技术是强化学习与人类反馈（RLHF）等对齐方法的重要组成部分。



![image.png](https://static.downly.cn/images/20250514024933.031765635.png)



## 现有评估基准的不足

尽管奖励模型的研究取得了进展，但对其进行全面和细致的评估仍然面临挑战。现有的奖励模型评估基准往往侧重于评估模型对内容事实性、逻辑性等方面的判断能力，而对于文本中更微妙、更具主观性的方面，例如语言的风格、情感色彩、细微的语义差异以及在特定情境下的恰当性等，评估能力相对不足。这使得我们难以判断奖励模型在多大程度上真正理解了人类复杂的语言偏好和表达方式。



![image.png](https://static.downly.cn/images/20250514025007.266704907.png)





为了弥补现有评估基准的不足，清华大学等机构的研究人员构建了 RM-BENCH。这个新的评估基准具有以下关键特点：

*   **细粒度评估：** RM-BENCH 关注文本中更微妙的差异。它包含大量经过精心设计的测试用例，用于评估奖励模型在识别细微语义错误、不恰当表达、不流畅语句以及对情感、语气等方面的判断能力。
*   **风格化评估：** RM-BENCH 引入了对文本风格的评估。它包含不同风格（例如，正式、非正式、幽默、严肃等）的文本对，要求奖励模型能够区分和偏好特定风格的文本，或者判断文本是否符合某种预设的风格要求。
*   **场景多样性：** RM-BENCH 涵盖了多种不同的应用场景和任务，例如对话生成、文本摘要、内容创作等，以全面评估奖励模型在不同语境下的表现。
*   **专家标注数据：** RM-BENCH 的数据集经过了高质量的人类专家标注，确保评估结果的可靠性和准确性。



![image.png](https://static.downly.cn/images/20250514025120.267189065.png)



## 助力打造更“善解人意”的AI

RM-BENCH 的发布为奖励模型的研究和开发提供了重要的工具。通过在这个基准上进行评估，研究人员和开发者能够更清晰地了解不同奖励模型在哪些方面表现出色，哪些方面还需要改进。这有助于指导模型的优化方向，促进更高质量奖励模型的诞生。

更强大的奖励模型意味着我们能够更好地将人类的偏好和价值观注入到大型语言模型中，使得AI生成的内容不仅在事实和逻辑上准确，而且在情感、风格和语境上更贴近人类的需求。最终，这将帮助我们构建更“善解人意”、更值得信赖的AI系统。



![image.png](https://static.downly.cn/images/20250514025239.254619083.png)



## 开源与未来

RM-BENCH 的代码和数据集已经开源，供全球的研究人员和开发者使用。这有助于推动奖励模型评估领域的标准化和协作。未来，研究人员计划进一步扩展 RM-BENCH 的规模和评估维度，纳入更多复杂的语言现象和人类偏好，以应对不断发展的大型语言模型技术。


谁家AI更懂“人情世故”？清华等机构推出RM-BENCH，细粒度评估大模型奖励模型

一个全面的中文基础模型评估套件

C-Eval

H2O.ai推出的基于Elo评级方法的大模型评估系统

搜索结果: 模型评估