Transformer 之父重磅回归：Essential AI 开源 Rnj-1，8B 小模型引爆代码推理革命

导语 Transformer 架构联合创始人 Ashish Vaswani 领衔的 Essential AI 正式开源了其首款旗舰模型 Rnj-1。这款拥有 80 亿参数的模型向伟大的数学家拉马努金致敬，采用了与主流“后训练”强化学习相反的路线，坚持通过高质量预训练决定智能上限。Rnj-1 在代码生成、STEM 推理及 Agent 智能体能力上表现惊人，特别是在 SWE-bench Verified 测试中取得了同量级模型数量级的领先优势，并以 Apache 2.0 协议完全开源，允许在消费级显卡上运行。

逆流而上 回归预训练的本质

在当前 AI 行业普遍痴迷于通过强化学习（RLHF）和后训练（Post-training）来提升模型表现的浪潮中，Essential AI 选择了一条截然不同的“复古”路线。由 Transformer 论文作者 Ashish Vaswani 和 Niki Parmar 创立的这家公司，坚信“预训练决定了智能的天花板”，而后训练仅仅是挖掘已有的潜力。

Rnj-1 就是这一理念的结晶。该模型完全从零开始训练，使用了高达 8.4 万亿 token 的数据集。与盲目堆砌数据不同，研发团队构建了精细的数据分类学，专注于科学、技术、工程、数学（STEM）以及代码数据的混合。这种对预训练质量的极致追求，使得 Rnj-1 在逻辑推理和复杂问题解决上展现出了“原生”的强大能力，而非通过后期微调“模仿”出来的智能。

小身材大能量 吊打同级竞品的代码能力

这里，rnj-1 指的是基础模型，而 rnj-1-instruct 指的是训练后调优的指令模型。 Rnj-1 的核心亮点在于其惊人的代码与推理能力。尽管只有 80 亿参数（8B），它在著名的软件工程基准测试 SWE-bench Verified（bash-only 模式）中取得了 20.8% 的高分。

这一成绩意味着什么？官方数据显示，Rnj-1 在该项测试中的表现比同等规模的其他开源模型高出一个数量级，甚至能够通过 Agent 框架解决现实世界中的 GitHub 问题。除了代码能力，它在数学竞赛（AIME）、科学问答（GPQA）等硬核 STEM 领域也表现出色，证明了其并非“偏科生”，而是具备深层逻辑推理能力的通用模型。

专为开发者打造 消费级硬件上的 Agent 利器

Essential AI 此次开源显得诚意十足。Rnj-1 及其指令微调版本（Rnj-1-instruct）均采用宽松的 Apache 2.0 许可证，这意味着开发者和企业可以免费商用。

对于广大开发者而言，Rnj-1 的硬件友好性极具吸引力。得益于其 8B 的紧凑体积，经过量化后的模型可以轻松在拥有 16GB 显存的消费级 GPU 甚至高端笔记本电脑上运行。同时，模型支持 32k 的上下文窗口，结合其在函数调用（Tool Use）和 FIM（代码中间填充）方面的优化，使其成为构建本地 AI 编程助手和自主智能体（Autonomous Agents）的理想底座。

技术细节揭秘 站在巨人肩膀上的创新

虽然 Rnj-1 的架构借鉴了 Google 的 Gemma 3，但团队进行了关键性的改良。模型采用了全局注意力机制（Global Attention）以及用于长上下文扩展的 YaRN 技术，确保了在处理长文档和复杂代码库时的稳定性。

值得一提的是，在训练过程中，团队使用了 Muon 优化器，显著提升了训练效率。Essential AI 坦诚地表示，Rnj-1 虽然在推理和代码上登峰造极，但由于专注于 STEM 数据，它并不是一个为了“事实检索”而优化的模型，有时甚至会产生幻觉，误认自己的身份。这种“坦诚”反而让社区对其在特定垂直领域的专业性更加充满信心。

开源社区的新里程碑

Rnj-1 的发布不仅仅是一个新模型的诞生，更是对“Scaling Law”和模型训练方法论的一次有力探索。它向业界证明，通过科学的数据配比和扎实的预训练，小参数模型依然可以在高难度的推理任务中挑战极限。

对于那些苦于 API 成本高昂、由于隐私问题无法使用闭源模型的开发者来说，Rnj-1 提供了一个强大、开放且可本地部署的全新选择。随着技术报告的即将发布，Rnj-1 有望激发开源社区在 Agent 和代码智能领域的又一轮创新热潮。 注：该模型需要 Ollama 0.13.3，目前处于预发布阶段