【RAG】

RAG 定义：数据检索 + 生成式 AI

2B 场景，大模型做系统的数据集成；2C 场景，大模型是系统的新入口

RAG 优势
- 数据管理：像传统 DB 一样，可扩展到 billion 量级的文档
- 信息检索：用自然语言检索，减轻模型幻觉

RAG 劣势
- 检索内容正确性
- 检索前可能需要澄清语义

RAG 挑战
- 长文本分割
- Embedding 模型
- 检索结果相关性：Self-consistency、Reflection、COVE
- 生成内容质量：BLEU / ROGUE 指标

RAG 应用
- Retrieval Augmented Few-Shot learning
- AI Agent = 生成式 AI + 工具（包括信息检索） + 动作 + 记忆 + 规划

【知识图谱】
与知识图谱结合的应用
- 问答与推理：检索、CoT
- 查询：NL2DSL
- 图谱构建与知识挖掘：NER

【AI 基础设施】
训练效率
- 资源、性能效率：利用率、加速比、内存与算力资源匹配
- 人效：工程稳定性、人工运维多、训练策略配置

DLRover：AI 模型训练的“serverless”——引擎优化、资源调度，同时与训练框架、调度系统解耦
- 引擎优化：PyTorch / TF 加速库（Flash Attention、计算图优化）；显存 / 通信优化库；优化器
- 资源调度：自动配置并行策略;自动配置训练资源，自动扩缩容；弹性训练，支持节点抢占和释放。
- 自动运维：自动故障检测，隔离故障机不影响其余节点训练，

【工程经验】
数据
- 对数据的要求：正确、多样、有难度。
- 对总量做减法，对质量做加法：质量是模型效果的基石，Ziya 模型在 2W 高质量 SFT 数据上准确率 55%，在
45W 全量 SFT 数据上准确率 43%。
- 质量评估：客观评估，编译器、验证环境；主观评估，对齐人类偏好（RLHF）
- 质量增强：使用 Reward Model 筛选样本，使用 FeedBack Model 优化样本

RAG 对齐：从模型不知道自己不知道，到知道自己不知道
RLHF 的挑战
- 奖励稀疏：采用混合粒度奖励（token-level, step-level, sample-level）；局部奖励对数学推理非
常重要；oracle guide 做空间搜索增强

LLM 语义理解能力与知识
- 扩展词表对模型影响大，失去原始 Embedding 信息，需要大量训练才能恢复
- 做多语言对齐的增强预训练，不能在知识层面提升模型能力
- 大模型存在核心语言区
-- 增量预训练 / 微调需要配比其他数据
-- 与小模型不同，不能针对少量数据做过拟合。少量数据做多 EPOCH 的训练，可能导致整个模型失效
-- 对训练数据中的噪音敏感