终止条件不是“再观察几天”,而是一组事先写好的判断规则:达到哪条就推广,触发哪条就回滚,出现哪条就暂停并补证据。对单页面优化技巧而言,试验页的结论只有在满足预设证据标准时才有资格外推;否则你推广的不是方法,而是一次无法解释的波动。
假设你在一个栏目页上调整了标题写法与首屏信息顺序,试验页的点击率和停留表现都上升。直觉结论是“这套改法有效,全站照做”。但推广后整体表现可能持平甚至下滑。原因通常不在改法本身,而在试验页与全站页面的差异:试验页可能是需求最集中的少数页面,而全站包含大量意图不同、竞争环境不同的页面。
这时不要急着否定试验,也不要急着否定推广。先承认一个事实:单页结果只证明“在这个页面、这个时间段、这组查询下,改法与表现同时出现变化”,它不自动证明“改法对全站有同样作用”。终止条件的意义,就是在这两种解释之间划出可核对的界线。
解释一:改法有效,只是推广范围或节奏有问题。如果试验页的提升来自标题更贴合查询意图,那么同类意图的页面也应受益;推广后变差,可能是把改法套到了意图不同的页面上,或一次性改动过多导致无法归因。
解释二:试验页特殊,提升与改法无关。试验页可能恰好处在需求上升期,或本身已是站内权重较高的页面,任何轻微调整都容易看到变化。此时推广到普通页面,自然没有同样效果。
两种解释都会表现为“试验页好、全站平”。区分它们,靠的不是感觉,而是下面几类证据。
这些证据不必全部完美,但至少要有一组能排除“全站同期同向变化”这一解释。否则推广结论不成立。
把条件写成三类,每类都对应一个动作,而不是只写“继续观察”。
一个具体动作是:在推广前先确定“同类意图页面”的名单和基线值,并保留一组不动的对照页面。这样做的结果是,推广后你能直接比较改动组与对照组,而不是把全站涨跌都算在这次改法头上。下一步是否继续推广,取决于这个比较,而不是取决于试验页曾经好看过。
假设某站有 40 个同类意图页面,先改 10 个作为第一批,保留 10 个不动作为对照,其余暂不处理。观察窗口结束后,改动组与对照组都出现同向变化,那么这次变化更可能来自需求或季节,不能作为推广依据,应延长观察或换时间窗口。若改动组明显区别于对照组,且方向与试验页一致,才进入下一批推广。这里不设固定见效时间,也不把一次比较当作永久结论;比较方法本身才是决策依据。
终止条件只有写下来才可交接。记录至少包含:试验页范围、推广批次、对照页面、观察窗口、需求侧参考页面,以及每条条件触发后由谁执行回滚或暂停。这样做的结果是,后续任何人看到结果时,都能判断当时是依据哪条规则做的决定,而不是重新争论“到底有没有效果”。
回到最初的问题:从试验页推广到全站前,终止条件应当先于推广写好,并明确区分“同类页面同向改善”与“全站同期同向变化”这两种情况,前者支持继续,后者只说明你需要更多证据。