当排名或曝光数据上升、商店后台没有报错,但用户仍然完不成“找到并安装合适应用”的任务时,说明你验收的是中间指标,而不是任务结果。此时应把验收口径从“指标是否变好”改回“用户是否完成动作”,并用可区分原因的证据决定保留、调整还是回退。
假设有一个记事本应用,你把副标题和前三张截图改成强调“待办清单”。一周后,商店搜索展示量上升,点击率也上升,但安装后的首次记录创建率没有变化,卸载反馈里仍出现“找不到怎么新建”。这是一个明确标为假设的情境,用来演示验收判断,而不是真实项目结果。
这里的指标成功是:曝光、点击、转化入口的数据变好。任务成功是:用户进入应用后,能完成“新建一条记录并保存”这个核心动作。两者不一致时,不能因为前者变好就判定改动正确。更稳妥的做法是把验收问题写成一句可检验的话:这次改动是否让目标用户更快完成核心任务?如果答案无法从现有数据回答,说明验收证据不足。
可区分原因的证据包括:
如果只有第一类指标变化,后两类没有变化,最合理的解释通常不是“改动有效”,而是“改动吸引了更多点击,但没有解决任务障碍”。
具体动作是:为本次改动列出不超过三个核心任务完成点,并给每个完成点指定一个可观察信号。以假设的记事本应用为例,完成点可以是“进入首页后看到新建入口”“成功创建第一条记录”“再次打开时能看到这条记录”。对应信号可以是关键页面到达、创建按钮触发、次日回访时列表非空。
这个动作的结果会直接影响下一步:
要注意,完成点变差也可能来自版本发布、季节需求变化或数据采集口径变化。一次改动前后的比较必须把这些因素放在一起看,不能把相关当成因果。
原有业务如果一直靠“搜索某个通用词后安装”获客,验收重点通常是商店页面的匹配和转化。但当关键前提变化,例如目标用户从主动搜索变成从内容平台跳转,或者应用的核心任务从“查看”变成“创建”,原来的验收标准就不再适用。
变化前后应采取不同决策:
判断前提是否真的变了,可以看三个信号:新用户来源结构是否改变、首次任务失败是否集中在同一环节、评论中是否出现与旧场景不同的任务描述。只凭单一信号不够,至少要有两类证据指向同一变化。
把验收写成清单,能避免“看起来成功”掩盖任务失败。以下清单适用于已有实际业务、但关键前提发生变化的场景:
回退不是失败,而是把验收口径拉回任务本身。若中间指标上升但任务完成不变,先检查页面承诺是否制造了错误预期;若任务完成下降且集中在改动覆盖的人群,应缩小改动范围或回退,再重新设计一个只验证单一假设的改动。
验收的终点不是某个指标好看,而是用户能完成他原本要做的事;当这个条件不成立时,任何看似成功的操作结果都只能算未通过验收。