A/Bテスト設計の3原則
:LiTarget: 概要
雑なA/Bテストは雑な意思決定の元。仮説/サンプル/期間を事前に決めて初めて意味を持つ。
:LiKey: 要点
- 仮説を明文化（「変更X→指標Y が Z%改善」）
- 必要サンプルサイズを事前計算（検出力80%、α=0.05）
- テスト期間も事前確定（途中で止めない）
- 同時に複数テストを走らせない（交絡）
- 勝ち負けが出たら「なぜ」を分析
:LiUsers: 対象読者
- プロダクトマネージャー
- マーケ
- グロース
:LiTrendingUp: 効果
勘ではなくデータで意思決定。改善打率が3倍に。