04-MLOps 与生产化

本讲为一期第四阶段，聚焦模型训练流水线、推理服务与效果监控。

核心内容

• 模型训练流水线：特征工程、训练、评估、注册
• 推理服务：Triton、SGLang、流式输出
• 效果监控：漂移检测、A/B 实验
• 成本治理：KV Cache、量化、批处理

# 训练流水线示例
from mlflow import start_run, log_metric, log_param

with start_run(run_name="llama-lora-rank8"):
    log_param("lora_r", 8)
    log_param("epochs", 3)
    trainer.train(train_dataset)
    eval_result = trainer.evaluate(eval_dataset)
    log_metric("eval_loss", eval_result.loss)
    log_metric("eval_rouge", eval_result.rouge)
    trainer.save_model("outputs/llama-lora")