来源:新浪财经

DeepSeek 默默地在自己的 open-infra-index 库中发布了一份题为「开源 DeepSeek 推理引擎的路径」的文档,宣布将开源自己的内部推理引擎(internal inference engine)并与开源社区建立更广泛的合作。有意思的是,该文档发布之后不久就经历了两次修改,对一些措辞和表述进行了更加中立和宽泛的处理。
在其中一次修改中,DeepSeek 提到了与 SGLang 和 vLLM 项目的合作关系,但这两个具体的项目名称在新版本中被替换成了「现有的开源项目」。修改原因是为了强调「未来的开源合作是面向整个开源社区的,不局限于具体某些项目。」因此,DeepSeek 与 SGLang 和 vLLM 这两大开源项目的合作关系应该是已经确定了。
开源 DeepSeek 推理引擎的路径

文档地址:https://github.com/deepseek-ai/open-infra-index/blob/main/OpenSourcing_DeepSeek_Inference_Engine/README.md
以下为 DeepSeek 发布的文档的原文译本:
几周前,在开源周期间,我们开源了多个库。社区的反响非常积极 —— 激发了鼓舞人心的合作、富有成效的讨论以及宝贵的错误修复。受此鼓舞,我们决定更进一步:将我们的内部推理引擎回馈给开源社区。
我们非常感谢开源生态系统,没有它,我们不可能在通用人工智能 (AGI) 方面取得进展。我们的训练框架依赖于 PyTorch,我们的推理引擎基于 vLLM,这两者都对加速 DeepSeek 模型的训练和部署起到了重要作用。
鉴于部署 DeepSeek-V3 和 DeepSeek-R1 等模型的需求日益增长,我们希望尽己所能回馈社区。在我们起初考虑将完整的内部推理引擎开源时,我们发现了一些挑战:
- 代码库差异:我们的引擎基于 vLLM 一年多前的一个早期分支。虽然结构相似,但我们针对 DeepSeek 模型对其进行了大量定制化处理,因此难以扩展到更广泛的用例。
- 基础设施依赖:该引擎与我们的内部基础设施(包括集群管理工具)紧密耦合,如果不进行重大修改,就无法进行公开部署。
- 维护带宽有限:作为一个专注于开发更优质模型的小型研究团队,我们缺乏维护大型开源项目的带宽。
考虑到这些挑战,我们决定采用一种更可持续的替代方案:与现有的开源项目合作。
展望未来,我们将在以下方面与现有的开源项目紧密合作:
- 提取出分立的功能:将可复用的组件模块化并作为独立的软件库贡献出来。
- 共享优化:直接贡献设计改进和实现细节。
我们衷心感谢开源运动 —— 从操作系统和编程语言到机器学习框架和推理引擎。能够为这个蓬勃发展的生态系统做出贡献,并看到我们的模型和代码受到社区的广泛欢迎,我们深感荣幸。让我们携手突破通用人工智能 (AGI) 的界限,并确保其造福全人类。
注:需要说明,本文仅概述了我们开源 DeepSeek-Inference-Engine 代码库的路径。对于未来的模型发布,我们将对开源社区和硬件合作伙伴保持开放和协作的态度。我们承诺在新模型发布之前主动同步与推理(inference)相关的工程工作,目标是使社区能够从第一天起就获得 SOTA 级支持。我们的最终目标是建立一个同步的生态系统,使尖端的 AI 功能能够在模型正式发布后无缝地应用于各种硬件。
本文转载自新浪财经,本文观点不代表雅典娜AI助手YadiannaAI立场。