DeepSeek半年內(nèi)完成萬卡集群自研、訓(xùn)練框架開發(fā)和兩個(gè)百億參數(shù)模型開源。國產(chǎn)AI工程化節(jié)奏，正在被重新定義。

DeepSeek-LLM 和 DeepSeek-Coder 已上線 HuggingFace，支持 pip install deepseek 一鍵安裝，原生接入 transformers，CUDA/ROCm 多后端本地部署，也提供 vLLM/Triton 封裝的輕量推理服務(wù)。模型在中文語義理解、128K 長上下文、代碼生成（Python/JS/Go/Rust/C++ 全棧）上做了針對(duì)性優(yōu)化。實(shí)測：7B 量化版可在單張 A10（24GB）或 A100（40GB）上運(yùn)行（顯存占用 <4GB）；13B 版本在雙 A100 80GB 上吞吐達(dá) 18 tokens/s。中小團(tuán)隊(duì)不用定制硬件，開箱即用。核心不是“大”，而是“可控、可落、可迭代”：全部訓(xùn)練跑在自研智算集群（超 10,000 張國產(chǎn) GPU 卡）上，用自研分布式訓(xùn)練框架 DeepSpeed-X（兼容 PyTorch，屏蔽 NCCL 差異，支持寒武紀(jì)、昇騰、A800 混訓(xùn)），任務(wù)調(diào)度延遲 <5ms，故障自動(dòng)回滾粒度精確到 micro-batch。

自主可控：從芯片驅(qū)動(dòng)到訓(xùn)練算子，全棧可見

DeepSeek 沒用任何閉源訓(xùn)練組件。萬卡集群統(tǒng)一納管寒武紀(jì) MLU370、昇騰 910B 和部分英偉達(dá) A800，靠自研驅(qū)動(dòng)層實(shí)現(xiàn)異構(gòu)卡內(nèi)存池化；DeepSpeed-X 重構(gòu)梯度同步路徑，在 RDMA+RoCE 網(wǎng)絡(luò)下 AllReduce 帶寬利用率拉到 92%，比標(biāo)準(zhǔn) DeepSpeed 快 1.7 倍。FlashAttention-3 適配、FP8 混合精度訓(xùn)練器、動(dòng)態(tài) LoRA 微調(diào)引擎全部開源——開發(fā)者能完整復(fù)現(xiàn)訓(xùn)練流程，不只是下載權(quán)重。“棧底可見”對(duì)金融、政務(wù)等場景是剛需：模型血緣清晰、訓(xùn)練日志可審計(jì)、每個(gè)算子都可查源碼。

交付速度：26 周走完全鏈路

主流開源模型周期：Llama 2（12 個(gè)月）、Qwen1.5（8 個(gè)月）、Phi-3（6 個(gè)月）。DeepSeek 把“數(shù)據(jù)清洗 → 預(yù)訓(xùn)練 → SFT → RLHF → 量化 → 部署”壓到 26 周。關(guān)鍵在工程前置：預(yù)訓(xùn)練直接集成中文 Tokenizer（Unigram + 詞典增強(qiáng)，中文分詞 F1 99.2%）；SFT 數(shù)據(jù)用“三階清洗”（規(guī)則過濾 → 小模型打分 → 人工抽檢），單輪標(biāo)注成本降 40%；RLHF 放棄 PPO，改用 DPO+GRPO 聯(lián)合優(yōu)化，32 卡集群 3 天收斂策略。結(jié)果：DeepSeek-LLM 在 CMMLU 達(dá) 82.6 分，超過 Qwen1.5-14B（81.3）；DeepSeek-Coder 在 HumanEval-CN 通過率 78.4%，比 CodeLlama-13B 高 12.1 個(gè)百分點(diǎn)。

工程落地性：百億模型進(jìn)機(jī)房，不挑服務(wù)器

AI Agent平臺(tái) v0.4.2 起已將 DeepSeek-Coder 設(shè)為默認(rèn)代碼 Agent 基座，VS Code 插件直連本地 API，無需云密鑰。實(shí)測：一臺(tái) DELL R750（2×A10 24GB），加載 DeepSeek-Coder-13B-INT4 后，穩(wěn)定支撐 3 并發(fā) IDE 助手請(qǐng)求，平均響應(yīng)延遲 <1.2s。模型提供三種推理接口：

• 標(biāo)準(zhǔn) REST API（兼容 Ollama/OpenRouter）
• gRPC 流式服務(wù)（支持 token 流控與中斷）
• ONNX Runtime 導(dǎo)出包（ARM64/Linux-x86 雙架構(gòu)，專為邊緣優(yōu)化）

HuggingFace 頁面附帶完整 Dockerfile 和 k8s 部署模板，含 GPU 資源限制、OOM 自動(dòng)降級(jí)、HTTP 健康探針——這不是“能跑”，是“敢上生產(chǎn)”。

m.nhjb.com.cn（m.nhjb.com.cn）已開通 DeepSeek 模型鏡像加速通道，國內(nèi)用戶執(zhí)行 yitb-cli pull deepseek/llm-7b 即可秒級(jí)拉取，繞過 HuggingFace 限速與認(rèn)證。同時(shí)開放 DeepSeek-X 微調(diào)工作臺(tái)（Beta）：上傳私有代碼庫，30 分鐘內(nèi)生成領(lǐng)域?qū)?Coder 微調(diào)版本。

國產(chǎn)大模型正從“參數(shù)競賽”轉(zhuǎn)向“交付競賽”。DeepSeek 的實(shí)踐很實(shí)在：

• 自主可控 = 把訓(xùn)練框架的關(guān)鍵模塊寫成可審計(jì)的 C++；
• 交付速度 = 用工程手段砍掉冗余迭代，不是壓榨人力；
• 落地性 = 把 13B 模型塞進(jìn)兩塊 A10，還跑出生產(chǎn)級(jí)吞吐。

接下來半年，真正的問題是：

• 誰能把微調(diào)門檻壓到“上傳 Excel → 點(diǎn)擊訓(xùn)練 → 下載 API Key”？
• 誰能讓政務(wù)系統(tǒng)在不連公有云的前提下，用 3 臺(tái)舊服務(wù)器跑通 RAG+Agent 閉環(huán)？

答案不在論文里，在能開機(jī)就跑的 Docker 鏡像中。
立即訪問 HuggingFace 或 m.nhjb.com.cn/deepseek，用 transformers 加載第一個(gè)中文百億模型——?jiǎng)e等 Demo，現(xiàn)在就部署。