# 任务书：4×GB10 串联部署 DeepSeek-V4.1-Flash

> 给收到这份任务书的 Hermes：这是一项多步骤长线任务。全程把进度写进 `task-log.md`（时间、指令、结果），断线后能从中断处续跑。

## 开工前：前置条件（缺一项就停下来报告，不要猜）

1. 你（Hermes）所在的机器，能免密 SSH 登上全部 4 台 GB10（`ssh user@<ip>`）
2. 4 台 GB10 已开机、在同一子网、环形接线已布好（4 根 QSFP56 200G，环形拓扑，无交换机）
3. 你可以调用一个能力较强的线上模型（API）作为本任务主力，十几美元级别的 API 费用可接受
4. 确认 4 台的 IP 与 SSH 账号，写进 `task-log.md`

## 目标

- 在 4×GB10（每台 128GB 统一内存，合计约 512GB）上部署 DeepSeek-V4.1-Flash（10 月 17 日版，1017），跑出一个可用的 OpenAI 兼容端点
- 4 个节点都要参与推理，只装成单机版不算完成
- 查清是否存在未审查（uncensored）版本；有且适合此配置就优先选，没有就用官方版，并在报告中说明

## 第一阶段：调研与立计划（先别动手装）

1. 找 DeepSeek-V4.1-Flash 的官方发布渠道（官网 / HuggingFace 等），确认：
   - 总参数量、权重总大小、官方建议精度
   - 是否存在未审查 / 社区版本；在候选中选评价最好且适合 4×GB10 的
   - 按「权重 + KV cache + 运行时开销」核算 512GB 是否放得下，定下精度 / 量化方案
2. 搜 GB10 / DGX Spark 多机串联的最新 recipe（官方文档、GitHub issues、论坛）：
   - ConnectX-7 200GbE 上做环形 NCCL 拓扑的配法
   - 当前推荐的推理框架与版本（候选：vLLM、SGLang，重点核实官方多节点 recipe；MoE 模型优先评估专家并行 + 局部 TP 的组合，避免纯跨节点 TP 被环带宽卡住 decode）
3. 写出 `plan.md`：选定模型版本、框架与版本、主从节点角色、IP / 端口规划、步骤清单、风险点。把 plan 交给主人审阅，**同意之后才开始执行**。

## 第二阶段：执行

1. 盘点：每台跑 `nvidia-smi`、`free -h`、`uname -m`、网卡配置，确认 4 台配置一致
2. 按 plan 安装依赖，每条命令与版本记入 `task-log.md`
3. 下载模型：按 plan 的分配方案下载，记录下载速度与完整性校验结果
4. 配置环形 NCCL 互联，跑 `nccl-tests` 验证 4 节点带宽
5. 启动服务，端点默认 8000 端口（或按 plan）

## 第三阶段：验收

- 端点：发一个真实请求，收到完整响应
- 确认 4 个节点都在参与：各机 GPU / 内存占用、框架多机日志
- 记录性能：decode 速度（tok/s）、TTFT，有公开数据就做个对比参考
- 失败时：报具体错误、日志、卡在步骤几，不遮掩、不编造成功

## 红线（不可动摇）

- 破坏性操作（重启机器、删分区、格式化、清既有数据）先问主人
- 不自行产生任何花费；遇到要花钱的环节（云存储、带宽等）停下来问
- 每步都写进 `task-log.md`
- 没实测到就不写：性能数字、成功结论都必须来自真实执行

## 最终报告（一页）

模型版本与精度、框架版本、端点地址、性能数据、已知限制、服务重启方法。