01-大模型基础与微调

本讲为一期第一阶段，聚焦大模型架构原理与微调工程实践。

核心内容

• Transformer 架构与 Attention 机制
• 主流开源模型：Llama、Qwen、DeepSeek
• 模型微调：LoRA、QLoRA、PPO、DPO
• 模型推理优化：vLLM、TensorRT-LLM

# LoRA 微调示例
from peft import LoraConfig, get_peft_model

config = LoraConfig(
    r=8,
    lora_alpha=16,
    target_modules=["q_proj", "v_proj"],
    lora_dropout=0.05,
    bias="none",
    task_type="CAUSAL_LM",
)
model = get_peft_model(base_model, config)