「価値の検証」を構成する4つのステップ

これはなにか

「企画における5つのフェーズ」のフェーズ5「価値の検証」の進め方をまとめたものである。

フェーズ2「解法の選択」をまとめた『「解法の選択」を構成する4つのステップ』で、「次回は『製品の実装』について取り上げる」と書いたが、開発プロセスやプロジェクト管理フレームワークなどは、すでにわかりやすく有名な書籍が沢山あるため、本ポストではフェーズ5「価値の検証」を取り上げることにした。

今回も、これまでと同様に概要をざっくりまとめる方針で、書き進める。

価値の検証の4つのステップ

価値の検証とは、「企画の結果、当初の課題が仮説に沿って解決されたかを確認すること」である。

この価値の検証は、平たく言い換えると「立てた企画がどれくらい上手くいったかを測る」フェーズであり、以下の4ステップで構成される

f:id:kyosu-ke:20180730021549j:plain

分析軸の決定
初速の共有
数字の抽出
数字の解釈

以降、1~4を前回と同様に「とあるECサイトの売上をxxxx円増やす」という事例とともに、詳述する。

1. 分析軸の決定

実行した企画が、元の仮説に対して結果を出したことを証明できる指標を考える。

また、このときにポジティブな影響だけでなく、企画によるネガティブな影響がある可能性を考慮して、悪影響の有無を確認できる指標についても考えておく必要がある。

例えば、「とあるECサイトの売上をxxxx円増やす」というミッションを背負ったPMが「商品検索機能の使い方が理解されていない」という仮説に対し、「初回アクセス時に商品検索機能の説明動画をいれる」という解決策を行った場合、下記のような指標が考えられる。

ポジティブな影響が見られうる指標として

検索実行者率
1ユーザーあたりの検索実行回数
検索経由のコンバージョンレート

ネガティブな影響がありえる指標として

継続率
検索実行者率

この例では、初回アクセス時に動画が再生され、期待していない動画を見せられるという体験から、ユーザーが離脱してしまい、その後戻ってこないというシナリオや、高機能をアピールする動画を見ることで、ユーザーが検索自体を難しいものと感じてしまうというネガティブシナリオを想定して、継続率や検索実行者率をネガティブチェック項目として設けている。

2. 初速の共有

企画がリリースされてから数時間後、1日後、数日後の効果を共有することである。

この時点では、深い洞察や分析でなくともよく、多少荒くともスピードを優先してチームに共有を行うことが大切である。

なぜならば、チームは貴重な時間というリソースを使い、PMの立てた企画を実行に移しており、その結果がポジティブなのかネガティブなのか、またはジャッジにはもう少し時間経過が必要なのかなども含めて、知りたいと思うことが多いからだ。

それゆえに、この時点では、プロダクト全体でデイリーでウォッチしているデータの中で、関連するデータをピックアップして語るだけでも十分である。

SQLクエリが書けない場合でも、初速の共有を疎かにしてはならない。

3. 数字の抽出

ここからは具体的な分析の実作業に入る。大きな組織に所属していて、分析の専門チームがある場合は、1で決定した分析軸をもとに、担当分析官が行うことが多い。

SQLクエリを書いて、データベースからデータを抽出してきてもよいし、TableauやRedashとといったBI(ビジネス・インテリジェンス)ツールから抽出してもよい。または、スプレッドシートに落とし、ピボット分析をかけるなどして、必要な数字を抽出してもよい。

数字を抽出したあとは、分析の軸やその傾向に合わせて、差分がわかりやすいように、グラフやチャートにビジュアライズしていく。

4. 数字の解釈

抽出してきた数字に対して、良し悪しのジャッジメントをする。

数字自体は客観的なものであるが、その数字をどう解釈するかは、実に主観的な行動である。そのため、企画の結果としての数字に対して、それが良かったか悪かったかの解釈を加えて、判断を行う必要がある。

例えば、1ユーザーあたりの検索実行回数が10%伸びたとしたときに、その事象を「10%も伸びた」と捉えるのか、逆に「10%しか伸びなかった」と捉えるのかで意味合いは全く異なる。また、1ユーザーあたりの検索実行回数が10%伸びたとしても、検索実行率に-5%の悪影響が出ていたとしたら、これらの事象をどういった意味合いで捉え、解釈するのか。

こういった「数字のかたまり」を「意味のかたまり」へ変換していくステップが、この「数字の解釈」のステップである。