データ操作とはどういう意味か（データ操作の「道」、「スキル」、「ツール」）

データ操作の「道」「技」「道具」

導入

データ操作とは、データを使用して問題を分析および解決することに関連するアクションの総称です。データは操作の対象であり、操作の目的はデータの価値を活用することです。では、価値を効果的に引き出すには、データ操作をどのように行うべきでしょうか?この質問は、「道」、「修」、「気」という 3 つの側面から展開できます。いわゆる「道」はデータ操作の価値を指し、「データ操作とは何か」「データ操作の価値とは何か」という根本的な疑問に答えます。いわゆる「書」は、データ操作の原理または方法論を指し、「データ操作をどのように行うか」という質問に答えます。いわゆる「Qi」は、データ操作に使用されるツールとソフトウェアを指し、特定のツール操作レベルで「どのように行うか」という質問に答えます。 「道」「書」「気」の三位一体により、比較的完全なデータ操作システムが構成されます。

1. データ運用の「道」

データとは、客観的な世界の測定と記録であり、人間社会の記述、記録、表現です。

データ運用とは、データを活用して問題を分析・解決し、企業が経営管理を最適化し、意思決定の効率を向上させることを指します。データ操作の対象はデータそのものです。データはプロセス全体にわたる手がかりです。データ運用は、データ技術の応用に重点を置いています。データ運用の目的は、第一にデータの価値を発見して公開すること、第二に企業のビジネス管理を最適化し、意思決定の効率を向上させることです。

データ操作の価値は、データ自体の価値と操作の価値の両方によって生み出されます。データの価値は、究極的には、人々が物事に対する洞察を得て正しい決定を下すのを支援することにあります。データは情報の非対称性を減らし、物事の本質に対するより深い洞察を得るのに役立ち、意思決定のリスクとコストを削減し、意思決定の効率を向上させます。運用の価値は、データの処理と分析と切り離せません。分析と処理は、データ操作において不可欠なアクションです。これらの「錬金術的」アクションが洗練されればされるほど、最終的に得られるデータの価値は高くなります。データ操作は、特定のビジネス シナリオでより大きな価値を生み出すことができます。データ運用クローズドループが業務運用クローズドループと密接に連携することで、「コスト削減、効率化、ボリューム増加、リスク回避」などの効果が得られます。

2. データ操作の「スキル」

いわゆるデータ操作の「芸術」とは、データを使用して問題を分析し解決する方法論を指します。著者はこれをデータバリューチェーンの閉ループ操作モデル、すなわちAPEDモデル（図1参照）としてまとめており、これはデータ取得、データ処理、価値抽出、 価値を提供するには 4 つのステップがあります。

図1: データバリューチェーンのAPEDモデル

1. データの取得 (A):まず、データ ソースがデータを生成します。制御する必要があるデータをデータ ソースから収集し、データベースに保存するには、適切なテクノロジと方法を使用する必要があります。

2. 処理 (P):収集されたデータの大まかな処理と前処理。データ ガバナンスとも呼ばれます。データ標準管理、データ品質管理、メタデータ管理、データセキュリティ管理、その他の必要なアクションを含みます。

3. 価値の抽出（E）：ビジネス上の問題や目標に基づいてデータを分析、マイニング、モデル化し、データを深く処理してデータに隠された価値を抽出します。

4. 価値の提供 (D):これは実際には、データを使用して意思決定とビジネス運営を導き、人間による解釈、コミュニケーション、および普及を通じてデータが実際のビジネスで役割を果たせるようにすることを指します。

上記の 4 つのステップを通じて、データから価値への操作チェーンが形成されます。最後に、業務によって蓄積されたデータはデータ収集・保存システムに戻され、前のクローズドループから次のクローズドループにデータが入ることが可能になります。これは、データバリューチェーンのクローズドループ操作 APED モデルであり、私たちがデータ操作の「芸術」と呼んでいるものです。

3. データ操作ツール

データ操作の「ツール」とは、データバリューチェーンの運用で使用するさまざまなツールを指します。図2を参照してください。

図2: データバリューチェーンの運用をサポートするツール

データ収集段階では、ETL、Kafka、クローラー ソフトウェアなどのデータ収集ツールと、データ ウェアハウス、分散型ビッグ データ ウェアハウス HDFS などのデータ保存ツールを使用する必要があります。処理段階では、データ戦略テンプレート、データ アジェンダ テンプレート、データ モデリング ツール、データ ガバナンス ツールまたはプラットフォームなどのツールを使用します。価値抽出段階では、EXCEL、R、SAS、マインド マッピング、CRISP-DM モデルなどのデータ マイニング ソフトウェア、分析およびモデリング ツールが必要です。価値提供の段階では、データ画面、管理コックピット、データパネル、E-CHARTS、意思決定エンジンなどのデータ視覚化ツールと管理意思決定ツールを使用する必要があります。

データ バリュー チェーンの APED モデルの 4 つの段階では、各段階で異なるツールの組み合わせが使用されます。最終的に、これらの「武器庫」のサポートにより、データから価値への変換を実現しました。

IV.まとめ

データ操作の「道」、「術」、「気」は、データの価値を探求する私たちの旅に欠かせない3つの魔法の武器です。 「道」は、データの使用の原則と目標を確立し、科学的なデータの価値を確立するように私たちを導きます。 「Shu」は、データバリューチェーンのAPEDモデルに従って処理を実行し、データバリューの閉ループ操作を完了することを可能にします。 「Qi」はツールと技術サポートを提供し、データバリューチェーンを実現するための技術基盤となります。 「道」「衆」「気」はそれぞれ独自の機能を持ち、互いに補完し合いながら、データによる価値創造に貢献します。