運用実習の内容（データに基づく運用の理論と実践（製品運用の実践部分））

データに基づく運用の理論と実践（実用化における製品運用）

これまで、データ駆動型操作の基本的な概念について説明し、データ駆動型操作とは何か、データ駆動型操作の主な内容について説明しました。業務は、業務の重点によって、プロダクト業務、ユーザー業務、イベント業務などに分けられます。連載「データドリブン業務の理論と実践（実践編）」の冒頭として、本日はデータを活用してプロダクト業務を駆動させる方法についてお話しします。

1. 製品運用を推進するためにデータを使用する必要があるのはなぜですか?

製品運用について話すとき、まず最初に言及する必要があるのは、従来の製品運用ルーチンの問題点は何なのか、そして製品運用を最適化するためにデータに基づく手段と方法を使用する必要があるのはなぜかということです。なお、本稿で言及した製品運用は0から1までの段階を指し、現在は製品の最適化やアップグレードに重点が移っていることを付け加えておきたい。

著者の観察によると、従来の観点から見たほとんどの製品運用ではデータ認識が欠如しており、それは主に次の 3 つの側面に現れています。

1. 製品の需要は客観的ではない

製品がリリース後に期待されたビジネス目標を達成できない場合、通常は製品の機能を変革し、アップグレードする必要があります。この時点で、バージョン改善のための新たな要件を提示する必要があります。こうした新たな要求はどこから来るのでしょうか?なぜこれらの要件を改善し、それらの要件を改善しないのでしょうか?どのニーズを最初に改善し、どのニーズを延期すべきでしょうか?従来のモデルでは、製品の問題の発見や改訂の必要性は、ユーザーの行動からのフィードバックではなく、上司からの指示から生じることが多いです。上司はなぜそのような要求をするのでしょうか?彼は自分の経験や競合製品の分析に基づいて結論を出すかもしれません。したがって、製品要件を提案するこの方法は客観的ではなく、詳細な分析と十分な証拠が欠けています。

2. 最適化計画が厳密ではない

製品の最適化と改善の計画を設計する際、製品マネージャーはリーダーの指示に従うことが多く、何を改善すべきか、どのように改善すべきかを証明する十分な証拠を使用しません。その結果、リーダーの決定と指示により、プロダクトマネージャーは新製品の改善計画を設計する際に必然的に通常の軌道から外れ、プロダクトマネージャーが出力するPRD文書やプロトタイプ計画が歪んでしまいます。製品最適化ソリューションを設計するこの方法は厳密ではなく、データのサポートが不足しています。

3. 非科学的な効果評価

従来のモデルでは、製品の反復効果の評価は大部分が広範囲にわたるため、包括的かつ客観的な評価指標システムが欠けています。改訂の影響に関する分析は十分に深く徹底的ではなく、正確かつ公正な判断を下すことが困難です。

従来のモデルによる製品運用のクローズドループにこれらの問題が発生する理由は、一方ではリーダーシップと製品マネージャーにデータ主導の考え方が欠けており、他方では、ユーザーの製品使用に関する行動データを収集する手段が不十分であるために制限される可能性があるためです。従来のモデルによる製品クローズドループ運用のこれらの問題と欠点に基づいて、データ駆動型の製品クローズドループ運用が誕生しました。データ駆動型の製品運用クローズドループにより、製品需要の精度が向上し、製品最適化計画の信頼性が高まり、効果評価がより合理的になります。

従来の製品運用の欠点

従来の方法と比較して、データ駆動型の製品運用では、製品の開発、テスト、リリースに大きな違いはありません。主な違いは、製品需要の開始点と終了点にあります。従来の製品閉ループ運用モデルの出発点は需要分析であり、終点は効果検証です。データ駆動型製品のクローズドループ運用の出発点はデータ分析であり、終点はデータ検証です。データ駆動型製品のクローズドループ操作のコアロジックは、データは製品の問題から生成され、データは最終的に製品の問題解決の有効性を検証するために返されるというものです。

従来の製品運用からデータ駆動型製品運用へ

2. データはどのように製品運用を推進しますか?

製品運用のクローズドループにおけるデータの役割は、監視、洞察、診断、検査、評価という 5 つのキーワードで要約できます。彼らは、指標システムを使用して運用プロセス全体を監視し、データ分析を使用してユーザーの製品ニーズを把握し、指標の異常を使用して製品の「障害ポイント」を診断し、保持曲線分析を使用して新機能の有効性をテストし、データを使用して製品改訂の有効性を評価しています。

1. 監視:インジケーターシステムを使用して操作プロセス全体を監視します。

製品運用プロセスのインデックス化とデジタル化は、洗練された製品運用の基礎となります。製品ユーザーデータ、機能アプリケーション、収益などの側面から包括的な製品運用監視指標システムを構築し、製品運用プロセスを分解して定量化できます。製品運用プロセス全体の監視を実現するには、完全なデータ収集メカニズムを確立する必要があります。インターネット製品では通常、ユーザーによる製品の使用に関する行動データを収集するために追跡技術が使用されます。インターネット製品の機能評価を例にとると、機能浸透、機能変換、機能維持という 3 つの側面から監視および評価できます。

例: 製品機能評価

2. 洞察力: データ分析を使用してユーザーの製品ニーズを理解する

製品に対するユーザーの需要を把握するには、通常、複数のソースからのデータに基づいて包括的な調査と分析を行う必要があります。例えば、製品を使用するユーザーの行動軌跡データ、製品担当者自身の製品体験データ、カスタマーサービスセンターが受け付けるユーザーからの相談や苦情データなどです。下図に示すように、ユーザーのニーズは通常、6つの側面のデータから発見できます。

データの6つの側面からユーザーのニーズを洞察する

例:

ある省の携帯電話会社のプロジェクトでは、さまざまなデータを総合的に分析した結果、ユーザーにはトラフィック需要があるものの、既存のトラフィックパッケージシステムがユーザーの需要を抑制していることがわかりました。ユーザーには、バックアップとして適切なトラフィック パッケージが必要です。この製品需要を発見した後、私たちは2元の重ね合わせパッケージを設計することで製品のギャップを埋め、ユーザートラフィックの不足の問題を解決し、ユーザーの一時的なトラフィックのニーズを満たしました。 2元積み上げパッケージの発売後、ユーザーから好評を博し、好成績を達成しました。

例: データプランに対するユーザーの需要を分析する

3. 診断：異常指標を用いて製品の「障害点」を診断する

多くの場合、ユーザーが製品プロセスをスムーズに完了するのを妨げるのは、いくつかの小さな機能上の問題です。こうした小さな機能ポイントの使い方が、ユーザーコンバージョンの鍵となるのです。指標を通じてこれらの異常を監視することで、製品の問題を診断し、その後、製品の「障害」を適時に修復することができます。

例:

あるアプリの登録プロセスでは、本人認証のために携帯電話番号が必要であり、確認コードの送信が重要な変換ノードとなります。ユーザーが携帯電話番号を送信するためにクリックする回数が急増した場合、この指標に異常がある場合は、携帯電話認証コードの送信機能に問題がある可能性があります。これは製品体験における「障害点」であり、携帯電話の認証コード機能を適時に修正する必要があることを思い出させます。

例: データを使用して製品の故障箇所を診断する

4. テスト:保持曲線分析を使用して新機能の効果をテストする

製品に新機能が導入された後は、その新機能を使用しているユーザーがいるかどうか、ユーザーがその機能をどのくらいの頻度でどのくらいの期間使用しているか、その機能がユーザーのコアニーズを満たしているか、ユーザーに価値をもたらしているかどうかを監視する必要があります。保持曲線を通じて、新しい機能の粘度を分析できます。

例: 新機能の効果をテストするための保持曲線分析

例:

リテンションカーブ分析により、新しい製品機能の使用開始から2日後、継続して使用するユーザーの数が急激に減少していることがわかりました。これは、この機能がユーザーの問題を十分に解決していないことを示しており、新しく導入された機能を再考し、再設計する必要があることを思い出させます。

5. 評価:データ分析を使用して製品改訂の効果を評価する

製品の反復の有効性を測定および評価することは、製品マネージャーの日常業務の 1 つです。評価の前に、リリース後の製品の品質を測定するためにどのような指標を使用するかを明確にする必要があります。新バージョンを社内にリリースする前に改訂目標を明確にし、改訂後の理想の状態がどの程度改善できるかを適切に評価して、改訂後の比較が明確にできるようにしておくのがベストです。製品の改訂評価においては、反復の実際の意義を正しい割合で指摘できることに加え、改訂の目的に応じて反復の価値を柔軟かつ総合的に評価することも必要です。これを踏まえて、製品改訂の有効性の評価は、ユーザー評価、主要指標の変化傾向、主要パス変換率、新機能の使用状況、新機能の保持、機能障害の 6 つの側面に焦点を当てる必要があります。

製品改訂の有効性を評価するための分析フレームワーク

例:

金融商品は5月1日にホームページに初心者特典機能を追加し、新バージョンv2.0（旧バージョンv1.0）をリリースした。この機能は初心者ユーザーを対象としています。この機能を設計する目的は、ユーザーに自分の段階を明確に知らせ、各ステップのメリットを得られるよう支援し、ユーザーを登録、口座開設、チャージへと導き、初回投資のコンバージョン率を向上させることです。改訂前後の新機能が基本的に安定しており、ユーザー属性も基本的に同じであると仮定した場合、新バージョンの有効性を効果的に評価するにはどうすればよいでしょうか。改定前と改定後のユーザーの初回コンバージョン率を比較・分析することができます。

5 月 20 日に新しいバージョンを評価すると仮定します。これら 2 つの条件により、5 月 1 日から 5 月 15 日の間に追加され、バージョン v2.0 を使用しているユーザーを除外し、ユーザー グループ A として保存できます。同様に、4 月 15 日から 4 月 30 日の間に追加され、バージョン v1.0 を使用しているユーザーを除外し、ユーザー グループ B として保存することもできます。

例：改定前と改定後の初回コンバージョン率の変化

対応する期間のユーザー グループ A とユーザー グループ B の初回コンバージョン率をそれぞれ 20% と 15% と仮定して比較し、分析します。初回コンバージョン率に基づいて、新バージョンの反復効果を判断できます。

もちろん、新バージョンが最終指標に与える影響に注目するだけでなく、ユーザー評価、登録コンバージョン、リチャージコンバージョン、機能エラー報告などの側面から改訂の影響を総合的に評価する必要もあります。

3. まとめ

まとめると、データ駆動型製品運用は主に監視、診断、分析、評価においてデータの役割を果たし、製品の改善の必要性に関する洞察の獲得、製品機能の最適化、新機能の効果の評価を通じて、製品のクローズドループ運用を推進します。データの力によって、製品のクローズドループ操作はより科学的、正確、洗練されたものになります。

今後もユーザーオペレーションやイベントオペレーションなどを推進する上でのデータの価値について議論していきますので、ご期待ください。