A/Bテストのやり方について、役に立ちそうな記事があったので自分用にメモ。
1. 会議は不要
2. 上司を信じるな
3. 抜本的な改革を忘れるな
4. 「なぜそうなるのか」を考えるな
結論：とにかく「データ」だけを信じろ
出典
web: WIRED ウェブご担当者さま、あなたの会社は大丈夫？：A／Bテスト
雑誌: WIRED VOL.5 GQ JAPAN.2012年10月号
A/Bテストの新ルール
A/Bテストを行う際に気を付けるべき点について、以下の題と共に具体例が紹介されていました。
1. 会議は不要
2. 上司を信じるな
3. 抜本的な改革を忘れるな
4. 「なぜそうなるのか」を考えるな
結論：とにかく「データ」だけを信じろ
1. 会議は不要
かつてサイトのエディターたちは重要な見出しの文句をどれにするかで15分もテーブルを囲んでいたものだが、いまではただすべての見出し案をアップして、あとはテストに決めさせるだけでいい。コンセンサス第一主義、ひいては民主主義さえもが、複数意見共存主義に置き換わり、データによって解決される。
- WIRED Vol.5 44ページより
実際は、Webの実装コストの方がMTGのコストよりも高いとか色々解決すべき課題はありますが、将来的にはこういう意思決定方法を採用したいものです。
2. 上司を信じるな
グーグル社員、ひいてはA/Bテストの信奉者は、データ中心ではない意思決定システムを「HiPPO」と読んで軽蔑する。HiPPO - highest-paid person's opinion(トップの意見)と。
ごく初期のグーグルでは、エンジニアがアイデアとそれを裏付けるデータさえもっていれば、役職があろうがなかろうが関係ありませんでした。
一歩下がって、「選択肢は3つだ。どれが効果があるか実験してみよう。わたしたちにはわからないのだ」ということに価値を見出すようになったんです。
- WIRED Vol.5 45ページより
上司、平社員のどちらであっても、自分の気持ちだけでなく、データで意思決定するのはとても大切ですね。
3. 抜本的な改革を忘れるな
A/Bテストが登場してからというもの、製品を抜本的に改良する機会が減ってしまったようだと、多くの開発者は口を揃える。
A/Bテストのツールはエンジニアチームにとって実に励みになりますが、大して重要でもないちまちました変化ばかりを試したくなってしまう誘惑も大きいのです。
もしデータに頼りすぎるなら、事業の発展はそこまでです。自動車の時代に馬車の鞭の改良にいそしむようなものです。
- WIRED Vol.5 45ページより
「ちまちました変化ばかりを試したくなってしまう」まさにその通りですね…。データ第一主義でありながら広い視野を持つことが大事、ということでしょうか。
4. 「なぜそうなるのか」を考えるな
(あるA/Bテストの結果について、)以前は何年もその逆が正しかったのに、なぜこんなことが起こるのか？ 何度も何度も話し合ったが、その理由は誰にも分からなかった。そのうちに、そんなことははっきり言って大した問題ではないことがわかってきた。
なぜ足置きソファをミニカーペットの右に載せるより左に載せた方がよく売れるのか？ そんな問いを発する余裕も、それに答えなければならない理由もない。
ただテストし、結果に反応し続ければいい。あれこれ考えたければ家でどうぞ、というわけだ。
- WIRED Vol.5 46ページより
理由は大した問題ではない、結果がすべてである、と。
A/Bテストの弊害、ビジョンを持つことの大切さ
iPadのためにどれだけ市場テストをしたかと聞かれたときのジョブズの有名な返答にわたしたちはうなずかないわけにはいかない。彼の答えは「一切していない」だった。
- WIRED Vol.5 47ページより
記事内では、市場に出す製品はWebページと違って簡単にはA/Bテストを実施できない、という点についても触れていました。A/Bテストも万能ではない、ということですかね。
抜本的な方向転換が望まれているときに10,000の微調整をしたところでどうにもならない。
しまいには枠線を3ピクセルにすべきか、それとも4ピクセルか5ピクセルかといったことで議論したうえ、自説の正当性を証明するよう命じられた。あんな環境で仕事をするのはもうごめんだ。
- WIRED Vol.5 47ページより
大きな視点も忘れずに。
謝辞
A/Bテストを進める上での基本原則について、WIREDの記事を引用させていただきました。分かりやすい記事を執筆してくださりありがとうございます。
