AI功能上线只是开始：数据驱动的迭代方法论

上线那天开香槟，上线之后看数据，是每个 AI 功能的两副面孔。

很多团队的 AI 功能上线即巅峰——首周数据漂亮（尝鲜流量），随后断崖式下跌。这篇讲讲我们怎么做 AI 功能的上线后运营与迭代。

先定义"北极星"与"护栏"

AI 功能的指标体系我固定用"1 + 3 + N"结构：

1 个北极星指标：这个功能解决了什么核心问题？比如 AI 写作助手，北极星是"用户采纳率"（生成的内容被用户保留的比例）。

3 个过程指标：

• 触达率：目标用户里有多少人真正用起来了
• 完成率：开始使用的人里有多少完成任务全流程
• 复访率：用过的人里有多少形成习惯（7 日留存）

N 个护栏指标：幻觉率、延迟、成本、客诉率。北极星可以冲，护栏不能破。

三个必须盯的漏斗断点

以 AI 客服为例，我们典型的分析漏斗：

进入会话 → 发出首个问题 → 获得 AI 回复 → 问题解决 → 满意评价 → 再次使用

每个断点的流失原因截然不同，对策也截然不同：

断点	典型流失原因	对策
发出首问	不知道能问什么、入口太深	引导示例问题、场景化入口
获得回复	延迟过高、答非所问	TTFT 优化、意图路由优化
问题解决	幻觉、能力边界不清	知识库补全、边界明确告知
再次使用	一次性问题、体验无记忆	场景延展、个性化

先看漏斗定位断点，再看 badcase 定性原因，最后才动手优化。 顺序不能反——我们曾经跳过漏斗分析直接优化 badcase，结果发现那些 badcase 来自占比 0.3% 的边缘场景，主力断点根本不在那。

归因实验的三个新坑

AI 产品的 A/B 测试有三个传统产品没有的坑：

坑一：模型版本混淆

对照组和实验组如果跨越了供应商的模型更新，结论直接作废。我们的规则：实验期间冻结模型版本，且实验结论要标注模型版本号。

坑二：新奇效应

尝鲜流量会污染前两周的数据。我们固定观察期至少 4 周，前两周数据只做参考不做结论。

坑三：生成内容的多样性

同样的功能改动，对不同用户的输出差异极大。样本量要显著大于传统功能实验，我们通常按传统经验的 2-3 倍预留。

一个真实案例：采纳率从 31% 到 58%

AI 写作助手上线后采纳率 31%，低于预期。我们的迭代过程：

1. 漏斗分析：68% 的流失发生在"生成后大段删除重写"环节
2. badcase 抽样：发现用户普遍在改"语气"，生成内容太"AI 味"
3. 假设：用户要的不是替他写，而是按他的语气写
4. 方案：引入用户历史内容的风格学习 + 语气调节器（正式/轻松/简洁）
5. 实验：4 周 A/B，采纳率 31% → 52%，再迭代一轮到 58%

整个周期 10 周。核心不是任何单点技术，而是**"数据定位 → 定性归因 → 小步验证"的循环纪律**。

结语

AI 功能的产品生命周期里，上线只是 30% 的工作量，剩下 70% 在数据里。持续看数据、持续归因、持续迭代的团队，和"上线即撒手"的团队，三个月后就是两个物种。