大模型分布式训练算法：五种并行策略与代价
数据并行、流水线并行、张量并行、专家并行与 ZeRO——逐个说清楚切的是什么、代价落在哪，以及面试里该怎么说。
关于
10 年开发经验，从后端服务、大数据平台一路做到大模型应用——贯通三段工程栈，清楚每一层的水有多深。做过从 0 到 1 的企业知识中台，也接过把「准确率 62% 的问答机器人」救回 91% 的烂摊子。
现在专注 AI 大模型应用开发，擅长：企业级 RAG / GraphRAG 知识库、Agent 工作流设计与落地（状态机 / 多角色 / 工具编排）、Text2SQL 与结构化生成、模型微调与自动化评测。近期在推进：代码安全评估 Agent 平台。
能做什么
从架构评审到上线交付，按价值排序的工程能力。
RAG / GraphRAG
混合检索、查询改写、重排、图谱构建与社区摘要。擅长判断 GraphRAG 什么时候不值得用。
Agent 系统
工具调用、长程规划、状态管理、失败恢复、可观测性。LangGraph / Function Calling / MCP。
微调 SFT / DPO
数据工程优先，LoRA / 全参微调，配套自动化评测集。多数问题不需要微调，我会先告诉你。
强化学习 RL / RLHF
奖励模型训练、PPO / GRPO 流程搭建、在线策略优化。
推理与成本优化
vLLM 部署、KV Cache 复用、量化蒸馏、prompt 缓存。把账单压下来。
评测体系
从数据合成到指标设计，构建能反映真实业务的评测集，而不是只跑公开 benchmark。
数据工程
脏数据清洗、去重、配比、合成。从原始文本到训练 ready 的整个链条。
可观测性
trace、token 用量、失败模式归因。上线之后能看清每一步发生什么。
工程纪律
代码评审、CI、灰度、回滚。AI 项目也要按软件工程标准做。
交付过的东西
每个案例都写清楚：原来的问题、改了什么、最后拿到了什么数字。
- GraphRAG
- Neo4j
- Milvus
- Rerank
企业知识中台 · GraphRAG 问答
某制造业客户 40 万份技术文档，通用 RAG 在多跳问答上准确率仅 62%。构建实体关系图谱 + 社区摘要，设计「向量召回 → 图遍历扩展 → 重排」三段式检索。
准确率 62% → 91%，人工工单降 43%
- Agent
- LangGraph
- AST
- Sandbox
代码审计 Agent
人工 Code Review 覆盖不全，安全漏洞遗漏率高。基于 LangGraph 构建多角色审查 Agent，接入 AST 工具与规则库，加入失败重试与人工兜底通道。
漏洞检出率 ×2.1，误报率 < 12%
- SFT
- DPO
- LoRA
- Eval
领域大模型微调 pipeline
通用模型在垂直领域术语与格式遵循上表现差。从零搭数据合成与清洗流水线，LoRA SFT + DPO 两阶段，配套自动化评测集。
格式遵循 71% → 96%，成本 -68%
有个问题卡住了？聊聊
把现状、目标和你已经试过的方案简单说一下，24 小时内回复。
写过的东西
全部文章 »模型原理、参数高效微调、分布式训练的图文笔记。每篇都把图重绘成离线可读的矢量图，只写能在面试和真实工程里对得上的结论。
ZeRO-3 核心流程：把参数也切开的那一档
参数、梯度、优化器状态全部按卡数切开，每卡只留 1/N；哪一层要用就临时把参数拼回来，算完立刻释放。
Ring AllReduce 核心流程：梯度是怎么聚合的
梯度切成 N 块、N 张卡排成环，两轮各走 N−1 步：每卡只搬约 2 份梯度大小的数据，就能拿到全量梯度之和。
LoRA 参数高效微调：低秩分解与关键配置
冻结原权重，只训练两个小矩阵 A(d×r) 与 B(r×k) 去逼近 ΔW，可训练参数从 dk 降到 r(d+k)：挂在哪、秩 r 怎么选。