📖 AI 总结

Liquid AI 开源了 Pipette，一个可复现的基准测试套件，用于在边缘设备上评估基础模型。其核心观点是，设备端行为应被视为部署系统的整体属性，而非模型孤立表现，因此测量单元涵盖模型、量化、运行时和设备的完整配置。发布的数据集包含超过1000种配置组合，覆盖30多个模型、多种llama.cpp构建及不同上下文长度，初始验证基于MacBook Pro、iPhone 17 Pro和Galaxy S26 Ultra。关键发现是，同量化级别下，两个350M模型在相同手机上的解码吞吐量差异显著（4,096 tokens时分别保留78.4%和33.8%），凸显了系统级评估的必要性。Pipette以Apache 2.0许可开源，提供基础设施、公共数据集、仪表盘及原生应用，适用于从独立开发者到大型OEM的各类团队，尤其适合对延迟、隐私或连接性有严格要求的行业。