📖 AI 总结

本文介绍了一个针对工具调用型大语言模型的完整微调流程，使用XYZ-Aquila-SFT数据集和Qwen3-0.6B模型。文章详细展示了从数据流式加载、多轮工具调用轨迹解析、结构化工具调用提取，到数据特征分析的完整预处理过程。技术实现上，作者将工具模式在消息嵌入与结构化格式间转换，构建了Qwen兼容的ChatML格式，并采用仅对助手输出进行损失掩码的策略。微调阶段使用LoRA技术，配置了2048序列长度、30步训练和8梯度累积等参数。文章还提供了训练前后的工具调用预测效果对比评估，并导出了转换后的数据集和语料统计信息。整体而言，该教程为开发者提供了一个可复现的端到端工具调用微调参考实现，涵盖了数据处理、模型训练和评估的完整技术栈。