TechBlog

Appearance

百万 AI 架构师一期 ​

百万 AI 架构师一期课程，面向 AI 时代的系统架构师培养。

课程概述 ​

本课程系统讲解大模型、RAG、Agent、MLOps 等 AI 工程核心能力，帮助工程师完成从研发到 AI 架构师的转型。

课程亮点 ​

  • 大模型原理: Transformer、Attention、MoE 架构
  • RAG 工程: 向量检索、知识图谱、混合召回
  • Agent 体系: Function Calling、MCP、多智能体协作
  • MLOps 实践: 模型训练、推理服务、效果监控

课程大纲 ​

第一阶段：大模型基础 ​

  • Transformer 架构与 Attention 机制
  • 主流开源模型：Llama、Qwen、DeepSeek
  • 模型微调：LoRA、QLoRA、PPO、DPO
  • 模型推理优化：vLLM、TensorRT-LLM
python
# LoRA 微调示例
from peft import LoraConfig, get_peft_model

config = LoraConfig(
    r=8,
    lora_alpha=16,
    target_modules=["q_proj", "v_proj"],
    lora_dropout=0.05,
    bias="none",
    task_type="CAUSAL_LM",
)
model = get_peft_model(base_model, config)

第二阶段：RAG 工程化 ​

  • 向量数据库选型：Milvus、Qdrant、PgVector
  • 文档解析与切分策略
  • 召回策略：稀疏召回 + 稠密召回 + Rerank
  • 评估体系：Faithfulness、Relevancy、Context Recall
python
# 混合召回示例
sparse_results = bm25.search(query, k=20)
dense_results = vector_db.search(embedding, k=20)
merged = reciprocal_rank_fusion([sparse_results, dense_results])
final = cross_encoder.rerank(query, merged, k=5)

第三阶段：Agent 与多智能体 ​

  • Function Calling 与 Tool Use
  • MCP 协议与工具编排
  • 多智能体协作：AutoGen、CrewAI、LangGraph
  • Agent 记忆与长程规划

第四阶段：MLOps 与生产化 ​

  • 模型训练流水线：特征工程、训练、评估、注册
  • 推理服务：Triton、SGLang、流式输出
  • 效果监控：漂移检测、A/B 实验
  • 成本治理：KV Cache、量化、批处理

© 2024 TechBlog. All rights reserved.