AI功能上线后，产品团队常常陷入一个测量困境：传统的用户产品指标（DAU、留存、转化）无法精确捕捉AI功能带来的价值；而模型层的技术指标（准确率、F1 Score）又与业务价值脱节。本文提供一套面向AI产品的四层度量框架，帮助团队从模型到业务建立完整的指标体系。
第一层：模型质量指标（技术团队关注）
这是AI功能的底层质量保障，但不直接等于用户价值。核心指标：准确率（Accuracy）/精确率（Precision）/召回率（Recall）——针对分类型AI任务；BLEU/ROUGE分数——针对文本生成任务的自动评估；延迟（Latency）——P50、P95、P99延迟，直接影响用户体验；模型可用性（Availability）——AI服务的正常运行时间。
⚠️ 警告：高准确率不等于用户满意——一个准确率98%但回答风格令人厌烦的客服机器人，用户留存可能还不如一个85%准确率但友好易用的系统。
第二层：AI输出质量指标（产品团队关注）
这一层关注AI输出在实际场景中的表现质量。人工评估（Human Eval）：定期抽样AI输出，由人工评分（1-5分，按预定评估标准）；用户反馈信号：点赞/踩、”这个回答有帮助吗”等明确反馈的收集率和正负比；幻觉率（Hallucination Rate）：在RAG场景下，AI引用了知识库中不存在内容的频率。AI产品度量框架详解
第三层：用户行为指标（产品团队关注）
AI功能的用户行为指标与传统功能有所不同：AI功能采用率（Adoption Rate）——有多少用户在使用AI功能（vs 传统路径）；AI输出接受率——用户采纳AI建议的比例（以Copilot为例，Tab接受率）；AI功能留存——第一周使用AI功能的用户，第四周还在用的比例；AI vs 手动任务时长对比——使用AI完成某任务的平均时间 vs 不使用AI的时间。
第四层：业务价值指标（管理层关注）
AI对最终业务目标的贡献：客服场景：首次接触解决率（FCR）、人工转接率降低幅度、客服成本/客；代码辅助场景：开发者生产力（功能交付速度、Bug率）；内容生成场景：内容产出量×质量评分；销售辅助场景：销售周期缩短、赢单率提升。
