ミドルプラットフォームデータ運用（データミドルプラットフォーム構築の5ステップ方式）

データセンターを構築するための5つのステップ

データミドルプラットフォームを構築するための 5 つのステップは、複数のデータミドルプラットフォーム プロジェクトの実装からまとめた一連の方法論です。データミドルプラットフォームプロジェクトの実施においては、具体的なプロジェクト状況に応じて、1つまたは複数の部分の内容を強化または弱めることに重点を置くことも、あるいは1つの側面のみで突破口を開き、重要な問題に取り組むこともできます。データ ミドル プラットフォームを構築するための 5 つのステップの方法をまとめた目的は、企業のデータ ミドル プラットフォームを構築する手順とアーキテクチャを比較的標準化することです。 5 ステップ方式は、企業の全体的なデータ構築の出発点にすぎません。私たちは、これら 5 つの標準ステップを通じて企業のデジタル化構築を全面的に開始し、このプロセスを継続的に実行し、最終的に現在のテクノロジーと方法に支えられた包括的な企業のデジタル化の勝利の反対側に到達することを願っています。

ステップ1: データリソースのインベントリと計画

データ化の基礎は情報化、あるいは情報化によって生成されるデータです。これらのデータには独自のデジタル的な意味があります。同時に、これらのデータはデジタルフレームワークシステムに入り、計算を通じてさらに多くのデータとより大きな価値を生み出し続けます。したがって、企業のデータ リソースのインベントリは、デジタル構築の前提と基盤となります。完全かつ正確なデータ リソースは、その後のデータ構築に対する強力な保証となります。

データ リソースのインベントリと計画では、次の目標を達成する必要があります。

（１）既存のデータリソースのインベントリと統計。

（２）企業が所有できる、あるいは所有すべきデータリソースを計画する。

（３）在庫管理システムを構築し、在庫結果が常に実際の状況と一致するように必要なツールを使用する。

ステップ2: データアプリケーションの計画と設計

企業は、既存の技術的条件とソリューションに基づいて、比較的完全なデータアプリケーション計画を実行する必要があります。このステップでは、次の質問に答えることができます。

1. 企業におけるデータのニーズは何ですか?

ビジネス ライン、ビジネス レベルから最も細かいポジションに至るまで、データ要件を整理する必要があります。

2. 企業はどのようなデータ アプリケーションを構築すべきでしょうか?

データのニーズに基づいて、データ アプリケーションの全体的な計画と設計を実行する必要があります。

3. これらのデータ アプリケーションはどのような順序で実装する必要がありますか?

データアプリケーションの評価モデルを確立する必要があります。評価の次元には、データ アプリケーションを実装できるかどうか、データ アプリケーションのビジネス価値、およびデータ アプリケーションの実装コストという 3 つの主要な側面が含まれます。評価結果を通じて、データアプリケーションの実装パスを決定できます。

ステップ3: データ資産の構築

データ資産の構築は、データ ミドル プラットフォームのコア製品に依存する必要があります。データ資産は、企業のデジタル化の重要な基盤です。すべてのデジタル構築は最終的にはデータ資産に基づいており、この基盤を中心に展開されます。データ資産は、企業が最も多く投資し、包括的なデジタル化構築の初期段階で最も遅い成果が得られる基本レイヤーモジュールになります。データ ミドル プラットフォームに関するさまざまな議論、論争、妥協が行われる主な理由は、このインフラストラクチャが巨大かつ複雑で、多額の投資を必要とすることです。

データ資産構築の内容には、以下の側面が含まれます。

1. 技術構築

（１）商品の選択製品の選択には、データミドルプラットフォーム製品の選択方法、データミドルプラットフォーム製品が備えるべき機能、および技術パラメータ指標が含まれます。

（２）技術アーキテクチャ設計技術アーキテクチャ設計には、データ ミドル プラットフォーム製品を展開する方法、従来のデータ ウェアハウスを置き換える方法またはそれと並行して実行する方法、およびデータ ミドル プラットフォームが現在のアプリケーション データを抽出する方法が含まれます。

2. 標準およびデータウェアハウスモデルの構築

（１）モデリングと開発仕様モデリングと開発仕様には、データ ウェアハウス モデルの設計仕様の策定、データ開発仕様の策定、現在よくあるデータ開発の混乱や困難な運用および保守状況を回避する方法などが含まれます。

（２）データモデリングデータ モデリングには、データ ウェアハウス モデルの構築とレビューへの送信が含まれます。

3. データ抽出、データ開発、タスク監視、運用保守

（１）データ抽出データ抽出には、データ リソース レイヤーから ODS レイヤーへのデータの抽出が含まれます。

（２）データ開発データ開発には、データ タスクの開発、データのクリーニング、およびデータの計算が含まれます。

（３）業務監視、運用保守タスクの監視と操作および保守には、すべてのデータ タスクを監視し、異常なタスクやエラーのあるタスクに対して必要な手動介入と処理を実行することが含まれます。

4. データ品質の検証

データ品質検証には、現在発見されているデータ品質の問題の検証と処理が含まれ、データ ガバナンスの開発と継続的な最適化を促進します。

5. データアプリケーションのサポート

データ アプリケーション サポートには、現在のデータ アプリケーション開発のためのサポート開発プラットフォームの提供が含まれます。

ステップ4: データアプリケーションの詳細設計と実装

ウォーターフォール モデルとアジャイル モデルのどちらを使用するかに関係なく、データ アプリケーションの設計は、一般的に、従来の情報アプリケーション設計のプロセスと概念に従います。データ アプリケーションでのデータ開発は、通常、データベースまたはデータ ウェアハウスで完了します。データ アプリケーションの内容は、大画面の視覚化やカスタマイズされた開発アプリケーションなどの BI 分析ツールを使用して表示できます。データ アプリケーションは、API インターフェイス サービスを通じてデータ結果を提供することもできるため、他の外部アプリケーションがオンデマンドでデータ結果を呼び出すことができます。データ アプリケーションの開発は、従来の情報アプリケーションの開発とは次のような点で異なります。

1. データアプリケーションはデータソースの内容と品質に重点を置く

データ アプリケーションを実装する前に、データの種類、各データ タイプの特定の属性、データ コンテンツの品質など、会社の現在のデータ ソースを十分に理解する必要があります。失敗するデータ アプリケーションのほとんどは、データの欠落やデータ品質の問題など、データ ソースのさまざまな問題によって発生します。

2. 複雑なデータ開発には継続的な調整と反復が必要

機械学習やディープラーニングなどのアルゴリズムの導入により、データモデルを構築する手段はますます多様化しています。しかし、通常の状況では、究極のビジネス価値を生み出すことは、データのサポートだけでなく経営陣の協力も必要とする複雑なプロセスです。

3. データ適用の結果データの検証作業量が多い

データ結果の正確性を証明したり、データ適用の有効性を評価したりする作業は、時間がかかり、手間のかかる作業です。比較的単純な指標計算であっても、正確さを検証するためにプロセス全体の時間の 3 分の 1 以上を費やすことがよくあります。多くのアルゴリズム プロジェクトでも、データ開発を開始する前に、事前に成果評価モデルを構築し、クライアント企業から承認を得る必要があります。

4. データアプリケーションの運用と保守が難しい

データ内のさまざまな異常は、多くの場合、予測不可能または予期しないものであるため、データの操作と保守には、タスクの実行を継続するための強力な手動サポートが必要です。

5. データ適用の結果は運用する必要がある

データアプリケーション開発の完了は、データの価値を実現するための第一歩にすぎません。業務部門にモデルを理解してもらい、データをいかに活用してもらうかがフォローアップの鍵となります。特に、新しいデータが導入されたばかりで、そのビジネス価値がまだ実証されていない場合、企業はそのデータに対して詳細な運用を実施する必要があります。

ステップ5: データに基づく組織計画

企業のデジタル化は、今後、企業戦略レベルを持つものとなるべきであり、デジタル化には、同じ戦略レベルの組織が責任を持って推進することが必要です。従来の IT 部門からの変革であれ、戦略部門や類似部門による介入であれ、それは良い選択です。組織は、データミドルプラットフォームの円滑な実装を確保するための中核であり、企業のデジタル化プロセスを推進するための人的てこでもあります。

著者: Zhang Xu、Kangaroo Cloud のパートナー兼上級副社長。 Alibaba Cloud MVP。元UFIDAグループアプリケーション統合事業部ゼネラルマネージャー。マスターデータ管理の専門家でありビジネスリーダー。