運用データ プラットフォーム (データ プラットフォーム運用の必読書、DataOps の 3 つの原則)

データプラットフォーム運用に必読の DataOps の 3 つの原則

ロネン・シュワルツ

インフォマティカ社 グローバルテクノロジーおよびエコシステム戦略担当エグゼクティブバイスプレジデント

データ駆動型の企業が戦略的優位性を獲得するためにデータの維持と管理に努めていることがますます明らかになっています。利用可能なデータは豊富にあるにもかかわらず、レガシー データに対してコスト効率の高いデータ品質診断を提供することはできません。優れたマルチチャネル顧客体験を提供できず、データが適切に管理され安全であることを保証できず、世界のさまざまな業界標準やデータプライバシー規制に準拠できない企業が多すぎます。

なぜこれらの企業はデータ駆動型開発に関してもっと画期的な対策を講じないのでしょうか?その理由の 1 つは、企業内でデータ プラットフォームを運用する方法をまったく理解していないことです。

私は、データの品質を向上させ、それを活用してより優れた洞察をより早く提供したいと考えている多くのデータリーダーと話をしています。彼らは、速度や品質を犠牲にすることなく、データ プロジェクトの範囲を拡大する必要があることを認識していました。

しかし、具体的にはどのようにすればよいのでしょうか?その答えは、DataOps（データ操作、データ向けのDevOpsとも言える）と呼ばれる新しい運用方法にあります。 DataOps は、DevOps の概念をデータの世界に拡張することで、データ プラットフォームを運用する方法を提供します。 DataOps は、データに関する体系的な思考の柱の 1 つでもあります。詳細については、当社 CEOアミット・ワリアの記事「データに関する体系的な思考がなぜ重要なのか」をご覧ください。

DevOps は、継続的インテグレーション、継続的デリバリー、継続的デプロイメントという 3 つの主要原則に基づいて構築されています。これらのアプリケーション ソフトウェアの原則をデータ パイプラインやデータ駆動型アプリケーションにどのように拡張するのでしょうか?次に、それぞれの原則を詳しく見ていきましょう。

このプロセスには、データ エンジニアが新しいデータ ソースとデータ パイプラインを持続可能かつ自動化された方法で統合、準備、クレンジング、管理、公開する方法が含まれます。データ サイエンティスト、データ アナリスト、データ キュレーターが連携して AI/ML 駆動型データ カタログとデータ準備ツールを使用することで、データの検出と整理を自動化し、検索を容易にし、データ変換を推奨し、データとデータ パイプラインの仕様を自動的に設定し、データ エンジニアはすぐに作業を開始できます。ストリーミングと変更データ キャプチャ (CDC) 技術を使用すると、データ エンジニアはデータ パイプラインをリアルタイム ストリームに変換し、リアルタイムの顧客とのやり取りに使用されるような予測分析アルゴリズムで使用できます。

データ エンジニアは、メタデータ駆動型の開発ツールを使用して、レガシー データ パイプラインを新しい高速処理フレームワークとして将来に対応できるようにし、特にクラウドでは、それらを新興テクノロジーであるかのように使用します。さらに、スマート構造検出や動的テンプレートなどの AI 駆動型機能により、データ ソースが変更されてもデータ パイプラインが保護されます。つまり、オンプレミスでもクラウドでも、取得したパイプラインをどこでも実行できるということです。

このフェーズでは、企業全体にデータ ガバナンスを実装して、すべてのデータ消費アプリケーションが高品質のデータを使用できるようにする必要があります。データ ガバナンスは、データを解放して民主化し、企業全体に配信されるデータが信頼され、安全で保護され、コンプライアンス要件を満たすことを保証します。データ オーケストレーションは、このフェーズでは継続的なプロセスです。データは、すべての関係者 (データ エンジニア、データ サイエンティスト、アナリスト、データ管理スペシャリスト、データ ガバナンス スペシャリスト、InfoSec アナリストなど) 間で共同作業によって配信されます。

たとえば、データ サイエンティストが信頼できると思われるデータを簡単に見つけることができれば、対応する予測分析モデルを設計および検証することで、迅速に反復処理を行うことができます。 AI モデルの開発、テスト、トレーニング中は、データ ガバナンス戦略に従ってデータ品質ルールとデータ マスキング機能が適用されていることを確認することが重要です。そうすることでのみ、分析アルゴリズムと機械学習モデルはプラスのビジネス成果をもたらすことができます。データが企業内を移動する際には、すべてのデータが信頼され保護されるように、データ ガバナンス、データ カタログ、データ品質、およびデータ機密性を、統合されたインテリジェント データ プラットフォームを通じて統合する必要があります。

AI/ML テクノロジーは、人間の認知能力とコラボレーション能力を強化し、企業全体でのデータ ガバナンスの実装に役立ちます。管理されたデータの場合、AI/機械学習テクノロジーは、ビジネス用語を実際のデータ セットと特定のポリシーに自動的にマッピングできます。近い将来、AI / 機械学習テクノロジーは、関連する規制を使用してデータを分析し、データガバナンス戦略を自動的に生成して、コンプライアンスリスクをさらに軽減できるようになります。

この段階では、ビジネス ユニットのセルフサービスを有効にし、信頼できるデータを企業内のすべてのタイプのユーザーが利用できるようにすることができます。この方法により、データ パイプライン開発プロセスのすべての段階でのすべての変更が、アナリストやビジネス ユーザーが使用するさまざまなデータ消費アプリケーションに配布されます。データ駆動型アプリケーションは、顧客サービス、マーケティング、電子商取引、不正検出、サプライ チェーン管理など、多くのビジネス機能にとって重要になっています。つまり、ビジネス エキスパートは最新のデータに迅速にアクセスできるということです。これを行う最善の方法は、水平スケーリングとマイクロサービスベースのアーキテクチャを採用することです。このアーキテクチャは、俊敏性と柔軟性のためにクラウドに導入されることが多いです。データ パイプラインの監視と管理における人工知能と機械学習テクノロジの役割のおかげで、データ パイプラインは継続的に動作し、そのパフォーマンスと容量使用率を継続的に最適化できます。

先ほど述べたように、 DataOps はデータ システム思考の柱の 1 つです。今日、データはデジタル変革の強力な推進力となっています。データ駆動型の組織は、システム思考アプローチを通じて、次のような方法で直面する課題に対処します。

1. 統合ハイブリッドインテリジェントデータプラットフォーム

2. DataOpsコンセプトによるプラットフォーム運用の実行

3. AIを使ってタスクを自動化し、人間の知識を増強する

4. メタデータを使用してデータの発見と理解の能力を獲得する

5. データガバナンスを使用して機密データの適切な使用とセキュリティを確保する

組織が直面しているデータの課題に対処する方法について、2 つの提案があります。

▶ 技術面では、人工知能を活用した統合インテリジェントデータプラットフォームを採用します。

▶ データプラットフォームの運用においては、システム思考法とDataOpsの3原則に従います。

これは一夜にして達成できる仕事ではなく、戦略的な旅です。しかし、データの力を解き放つことができれば、その見返りは莫大なものとなるでしょう。