リスク管理製品運用 (製品運用は ABTest に大きく依存しているのに、リスク管理は依存していないのはなぜですか?)

製品運用は ABTest に大きく依存しているのに、リスク管理は依存していないのはなぜでしょうか?

編集者注: ABTest はインターネット業界でよく使用される方法です。高頻度のテストを通じて最良の結果を見つけます。 ABTest は、需要と利益を測定するのに役立つ良き友人です。製品運用における ABTest の高頻度の使用と比較すると、リスク管理における ABTest の使用頻度は低くなります。何故ですか？この記事の著者はこれを分析し、皆さんと共有しました。

トラフィックの時代において、インターネット製品や運用が行っているのは、最適なものを見つけるための高頻度のテストであることは誰もが知っています。背後にある統計原理を知らなくても、ABTest についてはよく知っています。

製品の機能や要件を作成するときによく聞かれる質問は、「この機能/要件はどのようなメリットをもたらすのか?」です。利益はどれほど大きいのでしょうか?では、需要によってもたらされる実際の利益をどのように測定するのでしょうか?現時点では、ABTest は需要のメリットを測定するのに役立つ良き友人です。

では、リスク管理モデル戦略がオンラインになる前に AB テストを実行する必要がありますか?皆さんもそれについて考えてみてください。

以前、面接で相手から「ABTest をやったことがあるか」と聞かれて、「はい」と答えた経験があります。それから彼は私に例を挙げるように頼みました。私はそれについて考え、何かがおかしいことに気づき、たくさんの意味不明な説明をしました。

なぜなら、リスク管理戦略のための実際の AB テストは存在しないからです。

• オペレーション担当の同僚がテストしたいと考えています: バナーの高さはクリックスルー率に影響しますか?
• デザイナーは、共有ボタンの色を変えることでクリックスルー率を高めることができるかどうかをテストしたいと考えています。
• ビッグデータの学生がテストしたいこと: さまざまな推奨アルゴリズムのクリックスルー率?

ABTest は、さまざまなユーザーをさまざまなグループに分割し、さまざまなソリューションを同時にテストして、ユーザーからのフィードバックからの実際のデータを通じてどのソリューションが優れているかを判断します。解決策は、複数の解決策があり、どれがより良いかを判断しなければならないという問題を解決することです。

製品設計の場合、それが本当に最適化されているかどうかを直感的に判断することが難しいことがよくあります。この変更は、コピー、ボタンの色、インターフェースのレイアウト、機能の反復から発生する場合もあれば、推奨アルゴリズムから発生する場合もあります。

どちらが良いか知っているって言ったよね？

見分ける唯一のことは、それがラバか馬かということです。それらを引き出して比較してください。

これらの考えに基づいて、ABTest にはいくつかの重要なポイントがあります。 1 つはトラフィックの迂回であり、これはトラフィックを公平に分散する必要があることを意味します。もう 1 つはテストであり、結論が統計的に有意であることを確認することを意味します。

ABTest の統計的な知識については書きません。検索すれば見つかりますし、私にはわかりません。

ABTest は戦略ではなく、アイデアを検証するための戦略であることに注意してください。

すべての状況に適しているわけではないので、すべての問題を解決できるわけではありません。

ランディング ページを変更することは、AB テストの良い候補になる可能性があります。また、Web サイトまたはフォーム上のボタンの位置を変更することも、AB テストの良い候補になる可能性があります。実験の実施方法によっては、Web サイト全体の再設計が適切な AB テストになるかどうかが変わります。

通常、増分変更は AB テストに適しています。欠陥もそこに隠れており、増分テストは明らかに局所最適性に陥りやすいことに注意してください。

成長部門は ABTest の最も一般的なユーザーです。では、ABTest はいつ導入すべきでしょうか?比較的信頼性の高い成長パスを見つけたら、そのパスを ABTest を通じて最適化する必要があります。

ある人は、製品とオペレーションの関係を次のように要約しました。 「製品は物を作ることであり、オペレーションは物を売ることである。」かなり興味深いですね。

製品であれ、オペレーションであれ、それらを総称して成長と呼び、すべてが成長に貢献します。前述の通り、成長は ABTest に非常に適しています。

たとえば、電子商取引業界の典型的な成長課題は、リストページから商品詳細ページへのコンバージョン率、商品詳細ページから注文確認ページへのコンバージョン率、注文確認ページから取引成功ページへのコンバージョン率の向上を含む、ページコンバージョン率の向上です。

アイコン、コピーライティング、ページ構造、推奨結果など、このプロセス全体で ABTest が使用される場所は多数あります。製品エクスペリエンスの 5 つの要素の多くはテストする必要があると言えます。

たとえば、eコマースプラットフォームが618やダブル11のセールを宣伝する場合、一定額以上の購入にクーポンを使用する方がよいのか、それとも割引クーポンを使用する方がよいのかを知りたいと考えます。これら 2 種類のクーポンは、商品のカテゴリや顧客グループによって効果が異なる場合があります。

実際、テストには多くのオプションがあるため、どれがより良いのか本当にわかりません。

Google のデザイナーが 2 つの色のどちらにするか決めかねたとき、41 種類の異なる青の色合いをテストしたと言われています。

予想外だが妥当？

電子商取引のシナリオを例に、職場での典型的な製品および操作ワークフローを見てみましょう。

製品および運用の同僚は、eコマースの検索結果ページでPV、UV、露出、クリックなどのデータ指標を定期的にカウントし、このページの検索結果のコンバージョン率が非常に低いことを発見しました。つまり、多くのユーザーは検索はしましたが、検索結果をクリックしてストアに入り、購入しませんでした。

その後、運用スタッフはユーザーの行動データとさまざまな指標を分析し、問題を特定し、ブレインストーミングを行い、実行可能な改善計画をいくつか提案しました。

その後、これらのソリューションは ABTest を通じて同時にオンライン運用され、実験ログが記録され、コンバージョン率などの指標が計算されます。最終的に、各ソリューションの効果指標を分析することで、最適なソリューションが得られます。

まとめると、このワークフローは、問題の発見 -> 目標の提案 -> 仮説の確立（最適化計画の提案） -> AB 実験 -> 仮説の検証 と要約できます。仮説が正しい場合は、新しい計画を開始します。そうでない場合は、ブレインストーミングを続けて新しい計画を提案し、実験を実施します。

上記の分析を通じて、ABTest がデータ主導の成長に必要なツールになっていることがわかります。

私はこの部分を書きたかっただけです。なぜ最初に最初の 2 つの部分を書かなければならなかったのかはわかりません。

リスク管理においては、新しいモデルや新しい戦略を作成する際に、より優れたものを十分に評価する必要があります。反復モデルは多くのものと比較する必要がありますが、その最初のものは置き換えるモデルです。戦略を最適化するときに最初に比較するのは、元の戦略です。

より良いモデルや戦略の結果が得られなければ、それを実行するどころか、作業を完了したとは言えないでしょう。

もちろん、ここには生存者バイアスが存在します。 「生存者」に関しては、B が A より優れていることを確認します。

ご存知のとおり、これは従来の ABTest ワークフローとはまったく異なります。それが良いことなのか悪いことなのかは分からないので、オンライン転用テストに頼るしかありません。

根本的な問題は何ですか?

AB テストの帰無仮説はグループ間に差がないということであり、対立仮説は差があるということです。目標は帰無仮説を棄却することであり、その核心は反証です。

リスク管理戦略に関しては、AB の間に明らかな違いはなく、B の設計の方がシンプルで明確であり、保守が容易であるため、B が受け入れられる可能性が非常に高くなります。

成長のためのプラン B はブレインストーミングを通じて提案されましたが、リスク管理のためのプラン B は苦労の末に生まれたものです。より複雑なアルゴリズム、より洗練された特徴マイニング、ターゲット定義の変更などがあるかもしれません。どれであっても、改善のためには実行する必要があります。もちろん、それでも B が A ほど優れていないという恥ずかしい状況がまだ存在する可能性は否定できません。

これがリスク管理と成長の前提の違いです。一つは違いがない場合は拒否すること、もう一つは違いがない場合は受け入れることです。

成長とは本質的に、AB テストという考え方を通じてユーザーに製品の意思決定権を与えることです。リスク管理の場合はそうではありません。

新しいリスク管理戦略では、新しいビジネス指標が元のビジネス指標よりも大幅に優れていることを保証する必要はありません。大きな違いがない場合でも、新しい戦略を開始することは可能です。

その根本的な理由は、これらがユーザーと対話しないということです。製品レイヤーとは異なり、新しい UI は元の UI よりも効率的でない限り使用されません。

その結果、効果が確認されない限り製品は発売されず、悪影響がない限りリスク管理が実施されることになります。

これは、リスク管理に ABTest が存在しないことを意味するものではありません。

リスク管理意思決定エンジンの ABTest は、一般的にチャンピオン チャレンジャーと呼ばれます。以上の理由から、チャンピオンシップ挑戦者の役割は、安心感を与えることだけです。それらのほとんどは価値がありません。

リスク管理を行う際には、モデルの反復であれ、債務返済能力などの特定の戦略ツールの反復であれ、リスクの差別化を評価したり、スワップインとスワップアウトを評価したり、パス率を評価したり、あれこれ評価します。これらはオンラインではなくオフラインで行われます。

この記事はもともと @雷帅 によって Everyone is a Product Manager に掲載されました。無断転載禁止

タイトル画像はCC0ライセンスに基づいてUnsplashから引用しています