メインコンテンツへスキップ
見出し画像

データ活用の重要用語 | DWH・データレイク・レイクハウスの違いを徹底解説!

    はじめに

    「データレイクとDWHは何が違う?」
    「レイクハウスは、データレイクの新しい呼び方?」
    「データガバナンスとデータマネジメントの違いは?」
    データ活用の分野では、似たような用語が数多く登場します。

    特に近年は、クラウドや生成AIの普及によって、従来のデータウェアハウス(DWH)に加え、データレイク、レイクハウス、データファブリックなどの技術が利用されるようになっています。また、2027年度開始予定の新しいIPA試験制度では、データマネジメントやデータ分析・データ利活用が重要な学習領域として位置付けられています。

    本記事では、IPAの公式シラバス案を参考に、データ活用の重要用語を整理します。単なる用語の暗記ではなく、それぞれの技術を何のために使うのか、どのような場面で選択するのかを理解することを目標とします。


    1. まずは全体像|データ活用は5つの工程で考える

    データ活用と聞くと、AIによる予測やBIツールを使ったグラフ作成をイメージするかもしれません。しかし、データ分析の前には、データを集め、整理し、信頼できる状態にする必要があります。

    典型的なデータ活用の流れは、次の5段階です。

    ① データ収集
    販売管理システム、顧客管理システム、Webサイト、IoT機器などからデータを集める。

    ② データ蓄積
    集めたデータをデータレイクやDWHなどの基盤に保存する。

    ③ データ加工・統合
    形式の統一、重複排除、欠損値の処理、データ同士の結合などを行う。

    ④ データ分析
    BIツール、SQL、統計解析、機械学習などを用いて、データから傾向や規則性を見つける。

    ⑤ 意思決定・業務改善
    分析結果を売上向上、需要予測、業務効率化などに活用する。

    そして、このすべての工程を支えるのが、データガバナンス、データ品質管理、メタデータ管理などの仕組みです。重要なのは、AIや分析ツールを導入するだけでは、データ活用は成功しないということです。元のデータが不正確だったり、部門ごとに定義が違っていたりすれば、分析結果も信頼できません。


    2. DWH・データレイク・レイクハウス・データマートの違い

    この4つは、データ活用の基盤を理解するうえで最優先で覚えたい用語です。

    2-1. DWH(データウェアハウス)|分析しやすいデータの倉庫

    DWH(Data Warehouse)は、複数のシステムから収集したデータを、主に分析・集計に適した形で統合・蓄積する仕組みです。

    例えば、小売企業では次のようなデータが別々のシステムに保存されています。

    • POSシステム:商品別の売上データ

    • ECサイト:オンライン注文データ

    • 顧客管理システム:会員情報

    • 在庫管理システム:在庫数や入出荷履歴

    これらをDWHに統合することで、店舗・商品・顧客・期間などを組み合わせた分析が容易になります。

    DWHの特徴

    • 分析・集計に適したデータを蓄積する

    • SQLやBIツールによる分析に向いている

    • データの定義や構造を整備して利用する

    • 経営分析や定型レポートに適している

    2-2. データレイク|さまざまなデータを蓄積する湖

    データレイク(Data Lake)は、構造化・半構造化・非構造化データなど、多様な形式のデータを大量に蓄積できる仕組みです。

    例えば、以下のようなデータを保存できます。

    • 売上データ(CSV)

    • アプリケーションログ(JSON)

    • センサーデータ

    • 画像・音声・動画

    • 文書・PDF

    特徴は、データを取り込む段階で、必ずしも分析用の構造に変換する必要がないことです。元の形式に近い状態で保存できるため、将来どのように活用するか決まっていないデータも蓄積できます。

    データレイクの特徴

    • 多様な形式のデータを保存できる

    • 生データを保持しやすい

    • 大量データの蓄積に適している

    • 機械学習や探索的なデータ分析にも活用できる

    ただし、無秩序にデータを集めると、何のデータが保存されているのか分からなくなる問題が発生します。このような管理不十分な状態は、データスワンプ(Data Swamp)と呼ばれます。

    2-3. レイクハウス|DWHとデータレイクの長所を組み合わせる

    レイクハウス(Data Lakehouse)は、データレイクの柔軟性とDWHの分析・管理機能を組み合わせたデータ基盤のアーキテクチャです。従来、企業によっては、データレイクに生データを蓄積し、加工したデータを別のDWHにコピーして分析していました。この構成では、データの重複や転送コスト、更新タイミングのずれが課題になり得ます。

    レイクハウスは、データレイクを基盤としながら、テーブル管理、トランザクション制御、SQLによる分析などを実現し、こうした課題の軽減を目指します。代表的な技術として、Delta Lake、Apache Iceberg、Apache Hudiなどのテーブル形式・管理技術が挙げられます。

    レイクハウスの特徴

    • 構造化・非構造化データなどを扱える

    • BI分析と機械学習の両方を支えやすい

    • トランザクション管理やスキーマ管理を利用できる

    • データの重複保存や移動を削減しやすい

    注意点として、データを大量に保存するだけでレイクハウスになるわけではありません。データレイク上で、信頼性の高いテーブル管理や分析処理を実現する仕組みが重要です。また、レイクハウスが従来型DWHを必ず置き換えるわけではなく、両方を組み合わせる構成もあります。

    2-4. データマート|特定部門向けの小さな分析基盤

    データマート(Data Mart)は、特定の部門や業務、分析目的に合わせてデータを整理した仕組みです。例えば、企業全体のデータをDWHで管理し、そこから用途別に次のデータマートを作成します。

    • 営業部門:顧客別・商品別の売上データ

    • 経理部門:売上・費用・利益データ

    • 人事部門:従業員・勤怠データ

    部門ごとに必要なデータを利用しやすくすることが目的です。なお、データマートは必ずDWHから作られるとは限りません。業務システムなどから直接構築する独立型のデータマートもあります。

    2-5. 4つの違いを一言で整理

    DWH:分析しやすいデータを統合・整理する基盤
    データレイク:多様な形式のデータを蓄積する基盤
    レイクハウス:データレイクとDWHの長所を組み合わせた基盤
    データマート:特定の部門・用途に最適化したデータのまとまり

    試験では、単に名称を覚えるのではなく、データの種類、利用目的、管理方法を手掛かりに区別できるようにしましょう。


    3. ETLとELTの違い|データをいつ加工するか

    データ基盤には、複数のシステムからデータを取り込み、統合する仕組みが必要です。そこで登場するのがETLとELTです。

    3-1. ETL(Extract・Transform・Load)

    ETLは、データを抽出し、変換・加工してから保存先に格納する方式です。
    Extract(抽出) → Transform(変換) → Load(格納)

    例えば、販売管理システムから売上データを抽出し、日付形式や商品コードを統一してからDWHに格納します。分析用に整えたデータを取り込むため、DWHで広く利用されてきた方式です。

    3-2. ELT(Extract・Load・Transform)

    ELTは、抽出したデータを先に保存先へ格納し、その保存先の処理能力を使って加工する方式です。
    Extract(抽出) → Load(格納) → Transform(変換)

    例えば、クラウド上のデータ基盤にデータを取り込み、保存先でSQLや分散処理を実行して加工します。クラウドDWHやレイクハウスなどで広く利用されます。

    3-3. 使い分けのポイント

    • ETL:保存先に格納する前に変換する

    • ELT:保存先に格納してから変換する

    「ETLは古い方式だからELTの方が優れている」という理解は誤りです。厳格な入力チェックや機密データの事前除去が必要な場合などは、ETLが適していることもあります。反対に、保存先に十分な計算資源があり、大量のデータを柔軟に加工したい場合はELTが有力です。また、ETLとELTはいずれもデータパイプラインの処理方式であり、データパイプラインそのものと同義ではありません。


    4. スキーマオンライトとスキーマオンリード

    ETL/ELTと併せて覚えておきたいのが、データの構造を定義するタイミングです。

    スキーマオンライト(Schema on Write)

    データを保存する段階で、あらかじめ定義した構造に合わせる考え方です。例えば、売上テーブルに保存するデータについて、日付型、商品コード、金額の型などを決めておきます。DWHやRDBで典型的に利用されます。

    スキーマオンリード(Schema on Read)

    データを読み取って利用する段階で、必要な構造を解釈・適用する考え方です。例えば、データレイクに保存したJSON形式のログを、分析時に必要な項目だけ取り出して集計します。柔軟なデータ利用に適していますが、利用時にデータの意味や構造を確認する必要があります。

    試験対策のポイント

    • スキーマオンライト:保存時に構造を定める

    • スキーマオンリード:利用時に構造を解釈する

    ただし、DWHは必ず前者、データレイクは必ず後者という完全な二分法ではありません。現代のデータ基盤では、両方の考え方を組み合わせることがあります。


    5. データガバナンスとは?データマネジメントとの違い

    データガバナンス(Data Governance)は、組織がデータを適切に管理・活用するための方針、責任、ルール、監視体制を整えることです。

    例えば、次のような問題が発生している企業を考えてみましょう。

    • 営業部門と経理部門で「売上」の定義が違う

    • 同じ顧客に複数の顧客IDが発行されている

    • 退職者のアクセス権が残っている

    • 誰がデータの修正を承認するのか決まっていない

    データが大量に存在していても、このような状態では適切に活用できません。そこで、データを管理する責任者や利用ルールを明確化する必要があります。

    データガバナンスとデータマネジメント

    データガバナンス
    何を守るべきか、誰が責任を負うか、どのように監督するかを定める。

    データマネジメント
    定められた方針の下で、データの設計、収集、保存、加工、品質管理、提供、廃棄などを実施する。

    データオーナーとデータスチュワード

    データガバナンスに関連する重要な役割も押さえましょう。

    データオーナー
    対象データについて、利用方針や管理上の責任・意思決定を担う役割。

    データスチュワード
    データの定義や品質、利用ルールの整備など、日常的な管理・運用を支援する役割。

    組織によって権限や役割分担は異なりますが、データ管理に責任を持つ人を明確にすることが重要です。


    6. データ品質管理|データは正しくなければ意味がない

    どれだけ高度なAIや分析ツールを導入しても、元になるデータが不正確であれば、分析結果の信頼性は下がります。

    データ品質は、次の6つの観点で整理しておくと理解しやすくなります。

    ① 正確性(Accuracy)
    実際の事実とデータが一致しているか。
    例:商品の販売価格が実際の価格と一致する。

    ② 完全性(Completeness)
    必要なデータが欠けずに存在するか。
    例:注文データに注文日時が入力されている。

    ③ 一貫性(Consistency)
    異なるシステム間でデータに矛盾がないか。
    例:販売管理システムと会計システムで売上金額が整合している。

    ④ 適時性・鮮度(Timeliness / Freshness)
    必要な時点で十分に新しいデータを利用できるか。
    例:在庫情報が業務上必要な頻度で更新されている。

    ⑤ 一意性(Uniqueness)
    同一の対象が不適切に重複登録されていないか。
    例:同じ顧客が別々の顧客として重複登録されていない。

    ⑥ 妥当性(Validity)
    データが決められた形式や業務ルールに適合しているか。
    例:商品数量に負の値が設定されていない。

    なお、品質特性の分類は、採用する品質モデルによって異なります。IPAの新シラバス案では、正確性、完全性、一貫性のほか、信憑性や機密性なども用語例に含まれています。

    データクレンジングの典型パターン

    データクレンジングは、品質に問題のあるデータを検出し、必要な補正・整理を行うことです。代表例として、次の処理があります。

    • 欠損値:補完する、除外する、取得し直す

    • 重複データ:同一顧客などを識別して統合する

    • 表記ゆれ:「株式会社ABC」と「(株)ABC」を統一する

    • 外れ値:原因を確認し、必要に応じて修正・除外する

    • 形式の不一致:日付形式や文字コードなどを統一する

    特に注意したいのは、外れ値は必ずしも誤ったデータではないということです。通常より大きな売上額が、実際には重要な大口取引を示している可能性もあります。原因を確認せず削除すると、分析に必要な情報を失うおそれがあります。


    7. メタデータ・データカタログ・データリネージの違い

    組織内にデータが増えるほど、「どのデータが存在し、どのような意味を持つのか」を把握することが重要になります。

    7-1. メタデータ|データについて説明する情報

    メタデータ(Metadata)は、データの意味、構造、作成元、更新日時など、データそのものを説明する情報です。

    例えば、売上データについて、次のような情報が考えられます。

    • テーブル名:sales

    • 金額の単位:円

    • 売上の定義:返品控除後の金額

    • 更新頻度:1日1回

    • 管理担当部門:営業企画部

    • 機密区分:社内限定

    メタデータは、大きく次のように分類できます。

    ビジネスメタデータ
    データの業務上の意味、定義、管理責任者など。

    テクニカルメタデータ
    データ型、テーブル構造、カラム名、スキーマなど。

    オペレーショナルメタデータ
    処理実行時刻、更新履歴、ジョブの実行結果など。

    7-2. データカタログ|データを探すための目録

    データカタログ(Data Catalog)は、組織内のデータ資産についてメタデータを整理し、利用者が検索・理解できるようにする仕組みです。

    例えば、営業担当者が「顧客ごとの購入履歴を分析したい」と考えたとき、データカタログから必要なデータを探すことができます。単にデータの名前を一覧化するだけではなく、データの意味、管理者、更新状況、品質情報などを確認できることが重要です。

    7-3. データリネージ|データがどこから来たかを追跡する

    データリネージ(Data Lineage)は、データの生成元から変換・統合・利用先までの流れや依存関係を追跡する仕組みです。例えば、経営ダッシュボードの売上数値が誤っていた場合、データリネージを確認することで、元データや加工処理を遡って原因を調査できます。

    また、元システムの項目を変更したときに、影響を受けるデータや帳票を調査する用途にも役立ちます。

    3つの違いを整理

    • メタデータ:データの説明情報

    • データカタログ:データを探して理解するための仕組み

    • データリネージ:データの生成元・変換・利用先を追跡する情報

    これらは別々の技術ではありますが、現代のデータ管理ツールでは一体的に提供されることもあります。


    8. データ活用の注目技術|新シラバスで押さえたい用語

    ここからは、従来のデータベースの参考書だけでは理解しづらい、比較的新しい技術や考え方を紹介します。

    8-1. データファブリック(Data Fabric)

    データファブリックは、異なるシステムや環境に分散したデータを、横断的に発見・統合・利用しやすくするアーキテクチャ上の考え方です。

    例えば、データがオンプレミス、AWS、Azure、社内SaaSなどに分散している場合を考えます。それぞれの保存場所が異なっていても、メタデータや連携技術を活用して、利用者が必要なデータを扱いやすくすることを目指します。重要なのは、すべてのデータを物理的に1か所へ移動させる必要はないという点です。

    8-2. データメッシュ(Data Mesh)

    データメッシュは、データを中央のIT部門だけで管理するのではなく、営業、製造、経理などの業務ドメインごとに責任を持って管理・提供する考え方です。データを、他部門も利用できる「データプロダクト」として提供することを重視します。一方で、完全に各部門へ任せきりにするわけではなく、共通の標準やガバナンスも必要になります。

    データファブリックはデータ連携・管理の仕組みに、データメッシュは組織の責任分担やデータ提供モデルに重点があると理解すると区別しやすいでしょう。

    8-3. データ仮想化(Data Virtualization)

    データ仮想化は、データを利用する際に、必ずしも一元的な保存場所へコピーせず、複数のデータソースを統合された形で参照できるようにする技術です。複数システムのデータを論理的に統合して見せることで、データ移動を減らせます。ただし、元システムの性能やネットワーク遅延の影響を受ける場合があります。

    8-4. セマンティックレイヤー(Semantic Layer)

    セマンティックレイヤーは、データの技術的な構造と、業務で使用する意味・指標との間をつなぐ仕組みです。

    例えば、売上テーブルに複数の金額項目があっても、「純売上高」「粗利益」「顧客単価」といった業務指標の意味を共通化します。これにより、部門やBIツールごとに異なる計算をしてしまう問題を抑制できます。

    8-5. メダリオンアーキテクチャ(Medallion Architecture)

    メダリオンアーキテクチャは、レイクハウスなどで利用されるデータ管理の設計パターンです。データを主に次の3層で管理します。

    Bronze(ブロンズ)層
    取り込んだ生データを保存する。

    Silver(シルバー)層
    重複除去、形式統一、品質チェックなどを行い、分析に利用しやすくする。

    Gold(ゴールド)層
    業務目的に合わせた集計・加工を行い、BIツールや分析アプリケーションで利用できる状態にする。

    8-6. AI-Readyデータ

    AI-Readyデータとは、AIによる利用に向けて、データの意味や品質、アクセス権などが適切に整備されたデータを指す考え方です。生成AIに大量の社内文書を渡すだけでは、正しい回答を得られるとは限りません。

    例えば、次のような問題が考えられます。

    • 古い規程と新しい規程が混在している

    • 同じ製品について異なる名称が使われている

    • 文書の更新日や出典が不明

    • 閲覧権限のない機密文書が検索対象に含まれている

    こうした問題を防ぐには、データの整備、メタデータ管理、アクセス制御などが重要になります。生成AI時代だからこそ、データマネジメントの重要性が高まっているという点を押さえておきましょう。


    9. データサイエンスの重要用語も整理しよう

    データ基盤が整った後、データから価値を引き出すために使われるのがデータ分析やデータサイエンスの手法です。試験対策として、次の用語も押さえておきましょう。

    EDA(探索的データ分析)

    データの分布、欠損値、外れ値、相関などを調べ、特徴や傾向を把握する分析手法です。いきなり機械学習を行うのではなく、まずデータを理解するために使います。

    特徴量エンジニアリング

    機械学習の予測に役立つよう、元のデータから特徴量を作成・加工することです。例えば、購入履歴から「直近30日間の購入回数」を作成します。

    回帰分析と分類

    回帰分析は、売上金額や気温など、主に連続的な数値を予測・説明する場面で使われます。分類は、顧客が解約するかどうか、メールが迷惑メールかどうかなど、カテゴリを予測する場面で使われます。

    クラスタリング

    正解ラベルのないデータを、特徴が似ているグループにまとめる手法です。顧客の購買行動に基づくセグメント分けなどに利用されます。

    時系列分析

    時間の経過に沿って観測されたデータを分析し、傾向や周期性などを把握する手法です。売上予測、需要予測、設備の稼働データ分析などに活用されます。

    データドリフト

    運用時に入力されるデータの分布が、学習時のデータ分布から変化することです。データドリフトはモデルの予測精度低下につながる場合がありますが、必ず精度が下がるとは限りません。

    MLOps

    機械学習モデルの開発、学習、評価、配備、監視、更新などを継続的に管理・運用するための考え方や仕組みです。モデルを作って終わりにするのではなく、運用中の品質を継続して確認することが重要です。


    10. 具体例で理解する|ECサイトのデータ活用基盤

    ここまでの技術を、架空のECサイトで整理してみましょう。
    ある企業では、次のデータを保有しています。

    • 会員の顧客情報

    • 注文履歴

    • Webサイトのアクセスログ

    • 商品画像

    • 在庫情報

    経営部門は売上分析を、マーケティング部門は顧客分析を、AI開発部門は需要予測を実施したいと考えています。

    ステップ1:データを収集する

    業務システムやWebサイトから、API、バッチ処理、CDCなどを用いてデータを収集します。CDC(Change Data Capture)は、データベースなどの変更情報を捕捉して連携する技術です。

    ステップ2:データを蓄積する

    注文履歴やアクセスログ、商品画像などをデータレイクやレイクハウスに保存します。生データを保持しておけば、将来の新しい分析にも再利用しやすくなります。

    ステップ3:データを加工する

    ETL/ELTによって、顧客IDの名寄せ、日付形式の統一、重複排除などを実施します。メダリオンアーキテクチャを採用する場合は、Bronze・Silver・Goldの各層で段階的にデータを整備できます。

    ステップ4:分析用データを提供する

    経営部門には売上分析用のデータマートを、マーケティング部門には顧客分析用のデータを提供します。BIツールやSQLを使って、必要な分析を実施します。

    ステップ5:AIで需要を予測する

    過去の注文履歴や季節変動などを活用し、機械学習によって需要予測モデルを構築します。

    ステップ6:ガバナンスと品質を継続管理する

    全工程にわたって、次の仕組みを適用します。

    • データカタログでデータを検索可能にする

    • メタデータで業務上の意味を統一する

    • データリネージで処理経路を追跡する

    • データ品質管理で欠損や不整合を検出する

    • アクセス制御で個人情報などを保護する

    このように、個々の技術は単独で存在するのではなく、データ活用の一連の流れの中で役割を持っています。


    11. IPA試験対策|間違えやすいポイントと確認問題

    最後に、用語の違いを理解できているか確認してみましょう。

    問題1

    画像、ログ、CSVなど、多様な形式のデータを加工前の状態に近い形で蓄積したい。

    最も適切な仕組みは何か。

    解答:データレイク

    多様な形式のデータを大量に保存できることが特徴です。

    問題2

    データを抽出し、先に保存先へ格納した後、保存先の処理能力を利用して変換・加工したい。

    この処理方式は何か。

    解答:ELT

    ETLとELTの違いは、変換と格納の順序です。

    問題3

    ある売上データが、どのシステムから取得され、どの加工処理を経てダッシュボードに表示されているかを調べたい。

    どの仕組みを利用するか。

    解答:データリネージ

    データの発生源から利用先までの流れや依存関係を確認できます。

    問題4

    複数部門で「売上」の定義が異なるため、組織全体で指標の意味を統一したい。

    データ分析における業務指標の共通定義を提供する仕組みは何か。

    解答:セマンティックレイヤー

    業務上の意味や計算ルールを統一し、分析結果の不一致を抑制します。

    なお、こうした取り組みを組織として定着させるには、データガバナンスも必要です。

    問題5

    データレイク上で、SQLによる分析やトランザクション管理などを実現し、BIと機械学習でデータを活用したい。

    適切なアーキテクチャは何か。

    解答:レイクハウス

    データレイクの柔軟性とDWHの分析・管理機能を組み合わせる考え方です。

    問題6

    データを保有する営業部門や製造部門などが、それぞれデータの管理責任を担い、他部門へデータプロダクトとして提供することを重視する考え方は何か。

    解答:データメッシュ

    ドメイン単位の責任分担と、共通のガバナンスを組み合わせます。


    12. まとめ|まず覚えるべき重要ポイント

    今回紹介した技術は、次の3つの視点で整理すると覚えやすくなります。

    データを保存・加工する技術

    • DWH:分析用データの統合・蓄積

    • データレイク:多様な生データの蓄積

    • レイクハウス:レイクとDWHの長所を統合

    • データマート:用途別の分析用データ

    • ETL/ELT:データの抽出・変換・格納

    データを適切に管理する技術・活動

    • データガバナンス:方針・責任・ルール・監督

    • データ品質管理:正確性や完全性などの維持・改善

    • メタデータ:データの説明情報

    • データカタログ:データを探し、理解するための仕組み

    • データリネージ:データの流れや依存関係の追跡

    データを高度に活用する技術

    • データファブリック:分散データの横断的な利用

    • データメッシュ:ドメイン単位でのデータ管理・提供

    • セマンティックレイヤー:業務指標や意味の共通化

    • メダリオンアーキテクチャ:段階的なデータ整備

    • データサイエンス:統計や機械学習を用いた価値の発見

    IPA試験では、これらの用語について、「何を実現するための技術か」「似た技術と何が違うか」を説明できるようにしておくことが重要です。特に、DWH・データレイク・レイクハウスの違い、ETL/ELTの処理順序、データガバナンスとデータ品質管理の役割は、優先的に復習しておきましょう。


    関連記事


    関連記事

    参考資料

     
     
    IT資格の勉強法・合格ノウハウを発信。 書籍では追いにくい最新技術や最新動向まで。 試験対策だけでなく実務にも活きる知識をお届け。 【保有資格】 ・IPA:FE、AP、SC ・DB:OracleDB-Gold、OSSDB-Gold ・Cloud:AWS-SAP、OCI-AP

    あなたへのおすすめ