Lean Analytics: Problem Interviewsにおけるスコアリング方法

リーンスタートアップにおける、課題発見インタビュー(Problem Interviews)の具体的なやり方メモ。



元ページの紹介


このページのコンテンツは、「How To Score Problem Interviews During the Lean Startup Process」のざっくり意訳です。


リーンスタートアップは、「構築→計測→学習を可能な限り素早く頻繁に行う」ことを目的としています。今回の記事は、インタビュー結果すらも、客観的に計測し、次の学びにつなげるべきという前提の元、インタビューをスコアリングする方法を解説しています。


この辺から既に意訳が始まるので、ご注意ください(^^)


「Problem Interviews」とは、ざっくり言うと「自分たちが解決しようとしている課題に対する、需要調査インタビュー」です。


自分たちが解決しようとしている課題に価値はあるのか、もしないとしたら他にどんな課題があるのか、を見付けるためのインタビューが「Problem Interviews」というわけです。


そのインタビューの中で、「どういう質問をすればよいのか」、「その結果をどうスコアリングして評価すればよいのか」の話がこの後続きます。



インタビューのスコアリング


How to score interviews


Problem Interviewsは質的データを集めるためにデザインされています。集められた質的データは、「あなたが解決しようとしている課題」に、解決する価値があるのかどうかを見抜くために使います。


質的データは、解釈が難しい上に主観的になりがちです。


そこで、得られた質的データを一旦スコアリングすることにします。スコアリングすることで、質的データを量的データを変換するのが簡単になります。


Problem Interviewsの途中、集めた方が良いいくつかの情報があります。次に、その情報の集め方とスコアリング方法を解説していきます。


※訳者注:質的データと量的データのあたりには、「質的データから解決すべき問題を発見し、量的データでその課題は本当に解決すべきなのか検証せよ」みたいな前提知識があります。



1. インタビューされた人はあなたが提示した課題を適切にランク付けできましたか?


1. Did the interviewee successfully rank the problems you presented?


Problem Interviewsの際中、インタビューする人はインタビューされる人に対して複数の課題(あなたが解決すべきだと思っている課題)を提示しましょう。そして、厳密にランク付けしてもらいましょう。


インタビューする人は、インタビューされる人の答えに対して以下のようにスコアリングしましょう。


  1. (答えたランク付けに関わらず)強い興味を示していたら10点。
  2. 順位付けには迷うが、与えられた問題点に対して興味を持っていたら5点。
  3. 順位付けに困っていたり、既に持っている他の問題点について話始めたら0点。

インタビューの際中、「インタビューする人が提示した問題と似てはいるが異なった問題」をインタビューされる人から見付けることが重要です。


仮にこのインタビューのスコアが低かったとしても、似た別の問題を見付けられたなら、インタビューとしては決して失敗ではありません。


インタビューする人が想像もしなかった新しい問題が見付かるかもしれません。インタビューをする際は、公平に、新しい発見を常に取り入れるように、注意しましょう。



インタビューされる人は積極的に問題の解決に取り組みましたか? それとも、既に解いたことのある問題でしたか?


2. Is the interviewee actively trying to solve the problems, or have they done so in the past?


インタビューする人が提示した問題に対して、インタビューされる人が積極的に取り組んでくれたのであれば、それは良い兆候です。


  1. インタビューされる人がその問題点をエクセルやFAX(古臭い、不便な手段の比喩)で解決しようとしていたら、それは素晴らしい発見だ。10点。
  2. 解決しようとはするけどたいしてノッてくれなかったら、それは5点。
  3. 全然解決しようとしてくれなかったら、それは大した問題ではない。0点。


インタビューされる人はインタビューの際中集中してくれていましたか?


3. Was the interviewee engaged and focused throughout the interview?


理想的なインタビューは、インタビューされる人が、聞くことと話すことの両方に対して、生き生きと前傾になるくらい熱心に取り組んでくれることです。


十分なインタビュー経験を積むと、そのようなインタビューとそうでないインタビューの違いが分かるようになるでしょう。


  1. インタビューされる人が、自分のスマートフォンそっちのけで、インタビューに取り組んでくれたなら8点。
  2. 気が散りがちだったり、あなたが質問するまでコメントしてくれないのであれば4点。
  3. 退屈そうにしたり、自分のスマートフォンをいじりだしたなら0点。


インタビューされる人は他の人をあなたに薦めてくれましたか?


4. Did the interviewee refer others to you for interviews?


インタビューの最後には、「他にインタビューした方が良さそうな人が思いつきますか?」という質問をした方が良いでしょう。


今回インタビューした人は、同じようなデモグラで同じように潜在的な顧客になり得る人たちと強いつながりを持っているはずですし、それはあなたにとってチャンスです。


この段階で重要なのは、「インタビューされた人たちが、あなたを助けるために友人や他の人たちを紹介してくれるのか」を見ることです。


インタビューされた人たちが知人を紹介してくれるということは、「あなた紹介しても恥ずかしくない人、スマートなインタビューをした人」ということですし、逆に全く紹介してくれないということは、そう思ってもらえなかった、ということになるわけです。


  1. あなたが聞く前に紹介してくれたなら4点。
  2. 聞いたら教えてくれる状態なら2点。
  3. 聞いても教えてくれなかったなら0点。(その時は、見込みがありそうかどうかいくつかの難しい質問をしてみましょう)

※訳者注:0点の部分の補足説明は、「and ask yourself some hard questions about whether you can reach the market at scale.」を訳したものです。



インタビューされる人はそのソリューションに対して即座にお金を払ってくれそうですか??


5. Did the interviewee offer to pay you immediately for the solution?


「あなたがインタビューで提示したソリューションに対して、今すぐにでもお金を払ってもらえるか?」これは、現在の状態を確かめるための良い試金石となります。


  1. 聞く前から具体的な金額でお金を払いたいと言ってくれたなら4点。
  2. 払ってもいいよ、なら2点。
  3. お金を払ったり使ったりしてくれないなら0点。


スコアを計算しましょう


Calculating the scores


25点以上なら良い傾向です。このスコアは、現時点での、「あなたの解決したい問題とその解決策」が適切かどうかの指標になります。


どうすればスコアを改善できるのか、スコアが悪い原因は何だったのか、をよく考えるようにしましょう。


狙ったマーケットセグメントは適切か、正装していればもっといい結果だったのか、コーヒーショップでインタビューすべきではなかったのか、全ては実験であり、学びの機会となります。


最初の質問で教えてもらった「問題点のランク付け」を集計してみましょう。どれがよく一位に選ばれていましたか? その問題は、もっと掘り下げて調べてみると、取り組んでみる価値があるものなのかもしれません。(インタビューの際中に)


ベストなシナリオは、複数のインタビューにおいて、インタビューが高いスコアを取り、「問題点のランク付け」がどれも似たようなものになることです。このことは、見付けた問題が正しいものであり、狙った市場も適切であったという証拠になるためです。



ただ1つの指標


The One Metric That Matters


※訳者注:The One Metric That Matters(OMTM)は、「注視すべき指標は常に1つであるべき」みたいな概念です。


Problem InterviewsのようなリーンスタートアップにおけるアーリーステージでのOMTMは、痛み、特に「インタビューされる人が提示された問題に対して感じた痛み」です。


痛みは非常に質的な側面の強い情報ですが、スコアリングをすることで、客観的な方法で分析可能な指標となります。そしてスコアリングをすることで、すぐに間違いに気付いて後戻りすし、時間を無駄にしないで済むことになります。



まとめ


リーンスタートアップは、「構築→計測→学習を可能な限り素早く頻繁に行う」ことを目的としています。今回の記事は、インタビュー結果すらも、客観的に計測し、次の学びにつなげるべき、という話でした。



参考書籍




参考リンク


How To Score Problem Interviews During the Lean Startup Process


著者プロフィール
Webサイトをいくつか作っています。
著者プロフィール