データ分析運用レポート（この8つのレベルに合格して優れたデータ分析レポートを作成してください）

これらの8つのレベルを突破して、優れたデータ分析レポートを作成します

なぜオペレーション部門が自らデータ分析レポートを書かなければならないのでしょうか?

なぜプロダクトマネージャーはデータレポートを変更し続けるのでしょうか?

多くの場合、これらの人々は実際に問題を分析したいのではなく、代わりに自分たちがうまくやっていることを証明する方法を見つけたいのです。数え切れないほどの人々を困惑させてきたのは、まさにこの「良い」という言葉なのです。なぜなら、データアナリストに本当に「はい」と言ってもらいたいのであれば、少なくとも 8 つのレベルに合格する必要があるからです。

レベル1: 基準があります!

データ分析における基本原則は、数字自体は良いか悪いかを示すものではなく、数字と基準によってのみ良いか悪いかが示されるというものです。簡単な例を見てみましょう。オペレーションが新規顧客獲得アクティビティを開始し、アクティビティ ページを通じて 10,000 人のユーザーを登録しました。

これら 10,000 人のユーザーは、それが良いか悪いかを示すことはできません。それが良いことか悪いことかを示す唯一の方法は、ページを通じて 5,000 人のユーザーを登録する予定でしたが、実際の登録数は 10,000 人だったと言うことです。

このステップは単純に見えますが、多くの人を困惑させる可能性があります。例えば：

n イベント運営において、どの指標をどのレベルからどのレベルまで改善すればよいのかを明確に説明できない。彼らはただこう言うのです。「ただ改善するためです。他の人がこのようにやっているのを見ます。」

n 製品を改訂する際に、改善の方向性や改善度合い、影響指標が明確でなく、上司が「ここはこう変えたから、ここはこう変えた」と言うだけ

この場合、後からデータを分析して「分析は良かったのか悪かったのか？」と問うと、絶対に答えは出せないでしょう。

第2レベル: 事前に基準を設定する必要がある

おかしいですね、基準は事前に設定されているのではないですか？現実は残酷です。多くの人が事前に目標を設定せず、後から私に相談してきます。「人工知能とビッグデータを通じて、まず最も科学的で合理的かつ権威ある自然な成長を計算し、残りは私が実現します...」

すると、彼らの心の中では最も科学的で、合理的で、権威ある自然成長率が常にマイナスであることに気づくでしょう。これは、彼らの仕事が効果的であり、流れを変えることができることを証明することができます。

レベル3: 基準は後から変更できない

面白いですね。何度も変更された場合でも、その標準は標準と呼べるでしょうか?現実は残酷だ。評価指標が上がっていないことに気づいたとき、多くの人がまず考えるのは基準を変えることです。彼らはそれを「人工知能とビッグデータを活用して基準がどの程度引き上げられたかを計算し、最も科学的で合理的かつ権威のある補正値を与える」とさえ呼んでいます...

この状況に答える言葉はただ一つ、「ばか！」

レベル4: 基準は定量化可能

ほとんどの売上/業務/製品指標は定量化可能であるため、この質問は比較的まれです。しかし、混乱した状況で魚釣りをすることを好む人もまだ少数ながら存在します。 2021年になっても、彼らは人々を騙すために、満足度/エクスペリエンス指数/NPS/ROSといった1990年代の骨董品を持ち出している。

これらの外部の調査ベースの小規模サンプルのサンプリング結果では、特定のアクティビティ/製品/機能が内部指標に与える影響を説明することはできません。

したがって、そのような人に出会ったときは、単に無視して、完全なデータを収集できる内部指標にリンクするように依頼してください。

レベル5: 標準はレベルに分割する必要がある

この問題は非常によく起こります。原則として、ビジネスアクションを通じて直接促進された成果のみが成果としてカウントされます。事業運営に関係のないものはカウントされません。

例えば：

n 新規顧客獲得活動の場合、評価対象となる結果は、活動ページへの登録数になります。

n プロモーション活動の場合、評価すべき結果はプロモーション対象製品の売上です。

n 製品を改訂した場合、評価すべき結果はどのページ/プロセスが変更されたかであり、そのページ/プロセスのみを評価する必要があります。

しかし！

多くの人は、直接寄与していない要因も含めることを好みます。たとえば、イベント開催中に市場全体のパフォーマンスが上昇している場合は、「イベントによって市場が上昇した」と書くことができます。たとえば、ページが改訂され、製品の全体的なアクティビティ率が上昇した場合、「ページの改訂により、製品全体の成長が促進されます」と記述できます。

特に、これらの人々が担当する活動やページのパフォーマンスが平凡な場合、彼らは市場全体の上昇を言い訳として挙げたがります。さらに迷惑なのは、自慢した後にこんな一文を付け加えることです。「人工知能とビッグデータを使って、DAUが100万人増えたこと、そのうち何万人が私のページによるものなのかを正確に分析してください…」

活動や改訂が市場全体を牽引するような状況はありますか?持っている！ダブルイレブンのように、会社全体で総力を挙げて取り組む一大イベントであり、新バージョンのような大幅なリニューアルです。通常の小規模な活動や部分的な改訂は、「市場全体の推進」、「クロスファクター」、または「広範囲にわたる影響」とはまったく関係がありません。

したがって、評価基準はレベルに分割する必要があります。提案：

1. 市場全体に焦点を当てるのは、企業レベルの大規模なイベントのみ

2. 部門レベル、すべての人のための小さな活動、活動自体の小さな目標に焦点を当てる

3. 部門レベルで、参照グループ内の一部の人々の正確な活動についてABテストを実施する

これは、イベント後の紛争を解決するための究極の戦略です。

注: 最初の 5 つのレベルに合格すると、倫理評価基準を取得できます。評価基準さえあれば、当初提起された問題の 80% は解決されたという「非常に良い」結論を導き出すことができます。

しかし、この結論は一部の人々によって覆される可能性があります。彼らは言うでしょう。「これは試験重視の教育の結果です。実際のところ、結果はそれほど良くありません。」この攻撃に耐えるには、さらに 3 つのレベルを通過する必要があります。

レベル6: 結果は安定している必要がある

いわゆる安定性とは、評価結果が一貫して「良好」でなければならないことを意味します。簡単な例を挙げると、活性化を促進する活動の場合、理論的には、最良の結果は以下の図 1 のようになります。オンライン化後、活動率は安定的に高い。以下の図 2、3、4 はすべて、いわゆる「不安定」なシナリオです。

そうでなければ、攻撃するのは簡単です。

これは上手くやるということではなく、幸運であるということなのです。

これは良いことではなく、自然な変動です

これは良いことではない、一時的な流行だ

これはうまくやるということではなく、ただ潮が満ちればすべての船が浮かぶということだ

この指標の安定性は主にビジネスパフォーマンスに依存することに注意してください。ビジネスでは、不安定な状況に遭遇したときに、その状況をどう改善するかを考えるのではなく、データ分析者に「もっと深く分析したほうがいいよ」と言わせてしまいます。しかし、これでは指標は安定しません。

レベル7: 結果は投資に見合うものでなければならない

評価基準が包括的ではなく、コストがかからない可能性もあります。

ビジネスアクションは実験的なもので、コストが考慮されていなかった可能性があります。

短期的にはお金に困ることはなく、コストを気にしていない可能性もあります。

しかし、ある時点で、人々はコストと入力と出力を常に思い出すでしょう。このとき、過去の問題を調べて、「作業はうまく行われた」という以前の結論を覆します。

これは良いことではありません。ホルモンにお金をかけるのは無駄です。

これはうまくいっているわけではなく、偽りの繁栄を買うためにお金を使っているだけです。

これは良い考えではありません。明らかに、より低コストの方法を使用できるのです。

人々が古い問題を持ち出すと、抵抗するには遅すぎます。したがって、この問題に対処する最善の方法は、事前に楽観的になって、ピーターから奪ってポールに支払うことを考えたり、指標を上げるためにいくらかのお金を費やしてそれで済ませたりしないことです。むしろ、問題を解決するという視点に立って、反復を通じて徐々に改善し、効率を向上できる方法を設計すべきです。

レベル8: 結果は市場にふさわしいものでなければならない

自分自身の単一ポイントの活動はうまくいっているのに、市場全体の指標が下がり続けている場合、それは良いことだとみなされますか?客観的に言えば、それは良いことだと考えられるはずです。しかし、リーダーシップのレベルが高くなるほど、細かい点を気にする度合いは減り、市場全体の動向を気にするようになります。

したがって、経営者が次のように考えるのを止めるのは難しい。

市場は下落しているが、この小さな活動は上昇しており、それは間違った方向に向かっていることを意味する。

市場は下落していますが、この小さな活動は上昇しています。全体のリズムがずれてしまうのでしょうか？

市場は下落していますが、この小さな活動は上昇しています。それは他人の利益を転用しているのでしょうか?

これはパフォーマンス評価における究極の課題です。本質的に、この質問は「どのような戦略の組み合わせが市場全体に役立つのか」を問うているからです。戦略の組み合わせにおけるサブ戦略は相互に干渉しますか?単一のプロジェクトの観点からこれらのつながりを明らかにすることは困難です。全体的な状況を見て明らかにするためには、戦略開発部などの調整部門に引き渡すしかありません。

まとめ

本質的に、「よくやった」と言うのは難しいです。

1. ビジネスにおいては、正直であるべきであり、リスクを冒したり、状況をごまかしたりすべきではありません。

2. 業務面では、全体的な考え方と展開が必要であり、各タスクには明確な位置付けと目標が必要です。

3. ビジネス面では、実施計画を設計する際により多くの可能性を考慮し、真の推進要因を見つける必要があります。

4. データに関しては、「人工知能とビッグデータ」が上記1、2、3のタスクを代替できると迷信しないでください。

5. データに関しては、指を数えるだけですべてをコントロールできると考えるのではなく、ビジネスが1、2、3のポイントを明確にするのを手伝ってください。

協力し合うことによってのみ、物事を本当に成し遂げることができるのです。最終的にそれが良いかどうかは決して計算によるものではなく、努力の結果です。皆さんにこれを共有していただければ幸いです。

著者: 地道な教師チェン、WeChat 公開アカウント: 地道な学校、Coder Bear。 10 年の経験を持つデータ アナリストであり、彼が立ち上げたデータ分析コース シリーズには 20,000 人を超える受講生が参加しています。