本文へ移動

DWHとは何ですか?普通のデータベースと何が違いますか?

こんなことでお悩みでは?

社内には顧客管理や販売管理のデータベースがあるのに、なぜ別にDWHが必要なのか分からない。毎月データを書き出して集計しているものの、件数が増えて処理に時間がかかるようになってきた。エンジニアからも「業務で使っているデータベースで重い集計をしないでほしい」と言われ、どうすればよいか迷っている。そんなお悩みはありませんか?

ここでは、DWHと業務用のデータベースの役割やデータの持ち方の違いを整理します。あわせて、DWHの導入を検討する目安と、どのデータを取り込むかを決める際の月曜日のトラの考え方をご紹介します。

回答を一言でいうと

DWHは、複数のシステムのデータを過去の分まで1か所にためて集計するための置き場で、1件ずつの登録や検索が得意な業務のデータベースとは、データの持ち方から違います。

といいますのも

DWHと業務用のデータベースでは、得意な処理が違います。

BigQueryなどのDWHは、大量のデータをまとめて集計・分析する用途に向いています。たとえば、広告・顧客管理・販売管理などのデータを集めて、「どの広告から来たお客様が、どの商品を、いくら購入したか」を調べる場合です。複数のシステムのデータを組み合わせたり、過去数年分の傾向を見たりするときに強みを発揮します。

一方、業務用のデータベースは、日々の業務で必要なデータの登録・参照・更新・削除を、すばやく行うことが得意です。「この顧客の注文を確認する」「配送先の住所を変更する」といった、1件ずつのデータを扱う処理に向いています。

そのため、日々の注文や顧客情報は業務用のデータベースで管理し、大量のデータを使った分析にはDWHを使う、という役割分担になります。

 

たとえば

月曜日のトラでは、業務のデータを丸ごとDWHに移すことはおすすめしていません。判断に使う指標を先に決め、その計算に要るデータから移します。表が小さく、取り込み元が1〜2つで、見る人も数人なら、スプレッドシートで足りることもあります。

DWHに移すのは、次のような状態が続いているときです。

  • 集計の処理が重く、毎回待たされる
  • 複数のシステムから、手作業でデータを集めている
  • 更新が特定の人に頼っていて、ほかの人が数字を説明できない
  • 部署ごとに、同じ指標の定義が違う

移すと決めたら、早めに始めたいのが、区分や判定に使う値の履歴です。履歴は取り始めた日からしか残りません。分類を後から変えると、過去の数字まで新しい分類で集計され、本当に増えたのか減ったのかが分からなくなります。

月曜日のトラではこんなサポートができます

業務のデータベースやスプレッドシートのうち、どれをDWHに移すかの整理から、連携と加工の実装、元のデータとの数字の照合までお手伝いします。今の集計は生かしたまま、重くなった部分だけ移したい、といったご相談もお受けします。

月トラのデータ基盤構築支援を見る 問い合わせる

参考(Google Cloud 公式)

この回答は役に立ちましたか?

この記事をシェア