データビジネスマネジメント（データベースビジネスが何度も失敗する理由、118人のCTOが語る7つのマネジメント体験談）

データ駆動型ビジネスが何度も失敗する理由: 118 人の CTO による 7 つの経営経験

ビッグデータ概要

翻訳者：傅易洋、大潔瓊、魏子民

データ分析機能の向上は、企業のデジタル変革における最優先事項になりつつあります。

企業のデジタル化の成功事例には明らかに共通点があります。

データの品質、データのコンテキストに注意し、効果的なデータ管理システムを確立します。

失敗した企業はそれぞれ独自の問題を抱えています。

私たちは、118 社の最高情報責任者 (CIO)、最高技術責任者 (CTO)、データマネージャー、IT 部門の従業員およびコンサルタントを対象に調査を行い、企業のデータ管理において最も起こりやすい 7 つの問題を特定しました。

「データ統合は、今日のデータ分析が直面している最大の課題です」と、SAS のビジネスソリューションコンサルタントであり、データガバナンス専門組織 (DGPO) のチーフスポークスパーソンであるアンバフ氏は述べています。

実際には、多くの企業はさまざまなソースからのデータを統合せずに、単にデータを積み重ねているだけです。身元識別を例に挙げてみましょう。たとえば、あるシステム内の「通行人 A」の情報が、別のシステム内の「通行人 A」の情報（同じ名前の場合もあります）と関連付けられていない場合、「通行人 A」の身元を完全に記述することは不可能です。

「データ統合とは、データをまとめることではありません」とバフ氏は言う。「異なる情報源からのデータを結び付けて、特定の主題についてより正確なイメージを得ることです。それを行うと、関連するデータがすべてまとめられ、ビル・スミスがどんな人物なのかというより完全なイメージが得られます。それらを結び付ける必要があります。」

バフ氏はまた、「さまざまなデータ統合テクノロジーがこれを可能にしている」と述べた。同時に、不要な手作業や作業の重複を減らすために、データ統合テクノロジーを正しく選択、実装、実行することが重要です。

データサイエンティストは、データを使用して競争上の優位性やブレークスルーの可能性などを見つけて分析します。そのため、データ統合がますます重要になります。

「過去のデータをすべて組み合わせなければ、パターンを見ることはできない」とバフ氏は語った。

異なるビジネスにおけるデータ要件の違いを無視する

「統合データ技術は分析プログラムの成功に不可欠であり、異なる事業部門には異なるデータニーズがあることを認識することが重要です」とバフ氏は述べた。「データは誰に対しても同じ形式であるべきではありません。代わりに、データフィードについて考える必要があり、IT 部門はビジネスタイプとデータ形式を一致させる必要があります。」

すべてのビジネスに統合データが必要なわけではありません。金融機関のさまざまなニーズを例にとると、リスク管理部門では異常を検出するために未処理の生データが必要です。たとえば、ある人物の住所情報を複数のデータセットで検索すると、その人物が複数のローンを申請したかどうかを判断できます。

「これらの企業は、複数の類似データセット間の違いを研究する傾向があるため、これらの違いは保存されなければならない」とバフ氏は説明した。

一方、マーケティング部門などの部門では、正確なユーザー情報の配置を実現したいと考えているため、正しいデータセットのみが必要になります。

ここ数年、データサイエンティストという職業は、シリコンバレー、ニューヨーク、中関村、西二旗の大手インターネット企業の間で急速に人気を集めています。伝統的な企業も多数この職種を設け、大量に採用し始めています。

結局のところ、すべての企業は、新しいテクノロジーを通じてビジネス分析を予測的かつ分析的にしたいと考えていますが、そのためには専門のチームと人員のサポートが必要です。

しかし、通常、これらの企業が募集するのはデータサイエンティストの求人のみです。

これでは十分とは言えません。

データサイエンティストはデータセットを収集するためにデータエンジニアを必要としますが、多くの企業ではデータエンジニアのポジションに十分な注意が払われていません。

「現在、大企業におけるデータエンジニアの需要は、データサイエンティストの需要の2倍のペースで伸びている」と、サンフランシスコのベイン・アンド・カンパニーのパートナー兼高度分析・デジタル部門のリーダーであるロリ・シェラー氏は語る。

米国労働統計局は、データエンジニアの平均年収が 135,800 ドルに達し、データエンジニアの需要は今後 10 年間で急速に増加し続け、2026 年までに 44,200 件の新しい関連職が創出されると予測しています。

一部の専門家は、多くの IT 職種と同様にデータエンジニアも不足しており、一部の企業は IT 部門から一般従業員を採用または選抜してトレーニングすることでこの人材不足を補うだろうと述べています。

過去 10 年間、データストレージコストが継続的に低下したため、IT 部門は大量のデータを保存し、長期間保持できるようになりました。これは、増え続けるデータ量とそれを分析する必要性にとって朗報です。

「企業は大量のデータを望んでいます」と、Soaring Eagle Consulting の創設者であり、『Mining New Gold: Managing Your Business Data』の共著者でもあるペニー・ガーバス氏は言う。

しかしガーバス氏は、多くの企業がデータを長期間保持しすぎているとも考えている。

「これは単に保管コストの問題ではない。10年以上前のデータは基本的に無関係だ」と彼女は語った。「データにはライフサイクルを与える必要があります。」

ガーバス氏は、データ保持期間は部門や組織ごとに決めるべきだと考えています。たとえば、小売業界では即時かつ関連性の高いデータが必要ですが、マーケティング部門ではトレンドを検出するために何年にもわたる履歴データが必要です。

そのためには、データの有効性を確保するために、IT 部門がさまざまな部門のニーズに基づいて明確なデータ適時性基準のセットを策定する必要があります。

Garbus 氏はまた、それらの「古い」データについては、それが利用可能であることを確認し、コアデータベースには保存しないようにすると付け加えました。

「われわれは、モデリングや分析に、最も関連性の高いデータではなく、最も入手しやすいデータを使用する傾向がある」と、ITコンサルティング会社ブーズ・アレン・ハミルトンの上級副社長、スティーブ・エスカラベージ氏は語った。

これは今日の企業や組織によくある誤解だと彼は考えています。おそらく、より多くのデータセットを探す前に、正しいデータがあるかどうかを尋ねるのではなく、まずデータが関連性があるかどうかを考える必要があるでしょう。

たとえば、多くの企業は大量のデータ内の異常を探しています。適切性は重要ですが、優れた企業はデータの特殊性も考慮します。特定の個人や機関からのデータを調べて異常を見つけます。たとえば、症例を分析する場合、医療構造では医師のシフトサイクルが考慮されます。

Escaravage 氏は、企業や組織がデータの希望リストを作成し、ビジネス部門にその希望を記入させ、CIO、CTO、または最高データ責任者にデータ収集を実施させることができると考えています。

「今日のデータ分析における重大な問題は、データの偏りです。偏ったデータは分析結果に偏りをもたらし、正しいビジネス上の決定や結果に影響を及ぼす可能性があります。偏りは、IT 部門によるデータの取り扱い方法を含め、多くの部門が分析プロセス全体に関与していることから生じ、IT 部門によるデータの取り扱い方法にも偏りが生じます」とエスカラベージ氏は語ります。

「IT 部門がデータの出所を完璧に追跡できていないことが多すぎます。これに気付かないと、データモデルのパフォーマンスに影響する可能性があります。また、データの出所がわからないと、バイアスを制御することが難しくなります。」

Escaravage 氏は、IT 部門にはデータの出所とそのソースを取り巻く状況を理解する義務があると考えています。データ管理に投資すると同時に、ソースデータ管理ソリューションも開発する必要があります。

Escaravage 氏は、データの出所とシステム内をどのように移動したかを追跡する強力なソースデータ管理プログラムが必要であるだけでなく、ユーザーに履歴情報を提供し、分析によって生成された結果の一部にコンテキストを提供する必要があると考えています。

「優れたデータとモデルがあれば十分完璧だと考えることもありますが、近年、分析方法がますます複雑になるにつれ、データと分析結果の解釈はますます少なくなっています。分析結果をビジネスに適用する以前とは異なり、データはビジネスルールに従って分析され、説明されていました」と彼は言いました。

エスカラヴェージ氏は、新しいディープラーニングモデルは分析結果に注釈を付けたり、意思決定に役立つ実行可能な提案をいくつか提供したりはするものの、何かが起こる確率や確実性などの情報など、最善の決定に役立つ、あるいは決定に不可欠なコンテキストを提供することはできないと説明した。したがって、ユーザーの意思決定を支援するために、より優れたユーザーインターフェイスを提供する必要があります。

「技術的な問題は、ユーザーがデータモデルとどのようにやり取りするかを理解することです。UI/UX インターフェイスによって、ユーザーに対するシステムの透明性が決まり、透明性は、ユーザーが分析結果をどの程度深く調査するかによって決まります。これらはすべて、CIO が分析システムを構築する前に考慮すべき事項です。」