结论:没有真实业务数据时,练习仍然可以做,但要把目标从“验证效果”改成“检验判断链”。可行做法是先写下一个可被推翻的有限假设,再为它设计最小观察和停止条件;如果假设依赖你无法观测的变量,比如真实搜索需求或竞品内部数据,就应降级为“流程演练”,不计入效果结论。
常见分歧是:直接抄一个公开案例的数据来复现,还是自己造一组小样本。两者都能用,但代价不同。
如果目标是学会“提出可检验的问题”,选自造样本;如果目标是学会“读懂一份现成报告”,选公开案例。两者不要混在一次练习里,否则你分不清哪部分是自己判断的,哪部分是抄来的。
“这个页面标题不够好”不是假设,因为它没有说明什么算好、在什么条件下算好。可用的写法是:
假设:把页面首段从泛泛介绍改为直接回答一个具体问题,会让停留时间中位数上升。
这句话有对象、有动作、有观察量,也有被推翻的可能。练习时只保留一个动作,不要同时改标题、内链和图片。动作越多,你越无法判断是哪一步带来了变化。
若这三条缺一条,结论就只能写成“流程走通了”,不能写成“这个改法有效”。
假设你有一个练习站点,共十二个页面,没有真实流量。你可以这样构造:
这里的关键不是数字大小,而是你是否事先写下了“如果变化低于某个幅度,就认为假设不成立”。例如你可以规定:若改动组与对照组的差异没有稳定方向,就判定本次假设未被支持,下一步改为检查测量方式,而不是继续加改动。
这个例子的所有数字都是假设,用于说明比较方法,不代表任何真实站点表现。
最容易被忽略的反例是:你观察到的变化其实来自练习环境本身。比如你为了记录数据而频繁访问页面,站内行为数据就会偏离自然状态;或者你在同一时间调整了导航,却把变化归因于首段。这类情况下,即使指标上升,也不能支持原假设。
另一个反例是:你用的指标对改动不敏感。首段改动可能影响理解,却不一定影响点击,因为点击更多取决于标题和摘要。此时指标没动,不等于假设错,而是你选错了观察对象。遇到这种情况,下一步应更换指标或降低假设的野心,而不是直接否定整个练习。
完成一轮后,先做一件事:把假设、动作、观察量、停止条件写成四行记录。然后问自己两个问题——如果换一个人按同样步骤做,能不能得到同样的判断过程?如果不能,说明你的假设还不够具体。
下一步只改一个变量,重复一次。若两次都得到同方向结果,可以把它当作练习环境内的稳定观察;若方向相反,就回到测量方式,检查是否有未记录的同时改动。这样做的结果会直接决定你下一次是继续验证同一假设,还是先修正观察设计。