データ運用ソリューション (ビッグデータのガバナンスと運用に関する総合ソリューション 39 ページ (ダウンロードに添付))

39 ページのビッグデータ ガバナンスと運用の総合ソリューション (ダウンロードに添付)

この記事はコンテンツの一部です。完全版はナレッジプラネット[スマートソリューションライブラリ]で共有されています。プラネット番号: 53220384

狭義では、データ ガバナンスとは、データ品質の管理とデータ自体への重点を指します。

広義では、データ ガバナンスとは、データの収集、クリーニング、変換などの従来のデータ統合およびストレージ作業に加え、データ資産カタログ、データ標準、品質、セキュリティ、データ開発、データ サービス、アプリケーションなど、データのライフ サイクル全体の管理を指します。データ ライフサイクル全体を通じて実行されるすべてのビジネス、技術、管理アクティビティは、データ ガバナンスの範囲内に含まれます。

データ ガバナンスの定義: データ ガバナンスは、企業や機関のデータ資産としてデータを適用および管理するための一連の管理メカニズムに重点を置いています。データの不整合を解消し、標準化されたデータアプリケーション標準を確立し、データ品質を向上させ、社内外のデータ共有を実現し、データを組織の貴重な資産としてビジネス、管理、戦略的意思決定に適用して、データ資産の価値を最大化することができます。

データガバナンスプラットフォームを活用して、標準化、設計、収集、開発から利用、配信、運用、保守に至るまで、データガバナンスプロセス全体をカバーすることで、組織はデータの共有と交換、データ開発、データ運用など、さまざまなアプリケーションシナリオに対応できるワンストップのデータガバナンス運用サービスを実現できます。データ ファクトリーを構築することで、標準化、プロセス ベース、コンポーネント ベースのデータ ガバナンスを実現できます。

1. バッチデータ処理：データ収集プラットフォームのタスクスケジューリングを通じて、委員会や局のフロントエンドデータベースデータと構造化ファイルの変更がタイムスタンプに従って定期的に検出され、データ収集プラットフォームの分析を通じて増分データがデータレイクに抽出されます。

2. ストリーム データ処理: データ レイクに Kafka メッセージング システムを独立して展開することで、委員会または局からデータをプッシュまたは自動的にプルして、ストリーミング データにアクセスできます。現在の抽出ステータス、抽出の進行状況、切断アラーム、一貫性テストの結果など、抽出プロセス中のデータを監視します。また、分散展開を通じてデータ抽出速度を向上させます。