画像素材:World Image /PIXTA
<目次>
1.これまでの情報システムの欠点
企業における情報システムの導入の歴史は、基幹業務システムの事務処理の機械化から始まりました。伝票入力や会計の計算など、それまでは人が手作業で行っていた作業をコンピュータに計算させることで、事務処理の効率化、スピード化を図ることを目的としました。
機械的な機構を中心としたこうしたシステムは、EDP(Electronic Data Processing)、ADP(Automatic Data Processing)とよばれ,1950年代に企業の経理や給与計算などの間接部門のバッチ処理を対象に導入が進みました。事務処理の合理化のためには、基幹情報システムの構築が必要で、ここにコンピュータが導入され、その後、1967年に米国の経営情報システム(MIS:Management Information System)が日本に紹介されたことを機に,1970年代にかけていわゆるMISブームがおこりました。オンライン処理やデータベース技術によって、大量のデータを集計して組織の各層に瞬時に必要な情報を提供することが可能になったのです。
しかし、各層の利用者が必要とする重要な情報が部門ごとに存在する、という「情報のサイロ化」をつくり上げることになってしまい、情報の集積の方法や更新の時期がバラバラになり、統一化がむずかしく整合性のない情報が散在することになってしまいました。この頃から始まった情報のサイロ化は、社内での情報共有や部門間の円滑な連携を阻害するし、現代においても多くの企業が同様の問題を抱えたままでいます。近年では、DXを推進するための、「デジタル推進課」を設ける企業が増えていますが、情報のサイロ化をどう解決するかは、DX成功の鍵を握ることになるでしょう。
2.DX時代に見直されるデータウェアハウスの意義
情報のサイロ化を解決するために、全社統合の生データを時系列順に記憶させるデータウェアハウスが出現しました。データウェアハウス(DWH)は、アメリカのコンピュータ科学者ビル・インモン氏が提唱した概念です。同氏はDWHを「意思決定のため目的別に編成されたデータの集合体」と定義しました。
データを分析し、迅速な意思決定から次のアクションを起こす機敏性を得ることを、「アジリティの獲得」と私は言っていますが、DXの取り組みにおいて、
このアジリティを獲得することは非常に重要であり、そのための環境としてDWHは不可欠です。DWHは直訳すれば、「データの倉庫」であり、各部門の経営の実態を知るために、全社の全部門のデータを1個所に集めて、時系列順に並べたり、串刺しにしたりして分析する、経営の生産性向上を目的とした意思決定の支援システムです。
さらに付け足せば、経営の実態を示す生データを時系列的に集積し、経営の問題点を解明して経営の生産性向上の行動を促すシステムであるとも言えます。
DWHには、データベースエンジンであるDBMS(データベース・マネージメント・システム)があります。これはデータがある場所を知っているプログラムのことで、これに指示をすると目的のデータを検索して端末のパソコンにその結果を送ってくれます。そしてこのDWHのデータを切り出して目的別のデータベースを構築したものが、データマートです。DWHを構築する目的は、企業のもつ膨大なデータをウェアハウスに蓄積して、そのデータを経営戦略に活かせる情報に転換することです。そのためにはデータを溜め込むという工程が必要なために、それに重点がおかれましたが、溜め込まれたデータは単なるデータの物置に過ぎず、上手に経営に活用されることは少ないのが実状でした。例えば、倉庫管理システム(WMS)や在庫管理システム(IMS)などで言えば、バーコードをモノに貼り付け、高額なハンディターミナル等の専用端末を利用して、生データ(トランザクション)を大量に蓄積している企業は沢山あります。
しかし、それら蓄積した大量のデータをどのように検索(スライシングやダイシング)を行ったら目的の情報の創造ができるかを企業のシステム利用者(ユーザー)は知らないのです。そこがDHWの最大の問題点であり、欠点であると言えるでしょう。DWHの登場によって、企業のデータ活用の黎明期と言われた時代から、大きな進展がないのは、「データから情報を創造する」という汎用的なツールが活用されない(そもそも高度で複雑なツールが多い)、そうした教育がされてこなかった点にあると言えます。
DWHは今こそ見直されるべきであり、データ活用の基本中の基本です。そしてその先にデータレイクハウス(DLH)の活用が見えてくるのです。
3.データ活用を次の時代に導くデータレイク
企業の様々なシステム(販売管理システム、生産管理システム、倉庫管理システムなど)がデータを収集しデータベースを構築しています。しかし、そこに蓄積されたデータを経営支援に役立つ情報に昇華させて活用出来ている企業は多くありません。例えば、物流では、倉庫管理システム(WMS)を使って、日々の入出荷や在庫データを蓄積しています。WMSの画面を開けば、たちまち今日の出荷作業の進捗や現時点の各アイテムの在庫数量を正確に把握することが可能です。
しかし、「売上拡大のために、どの商品をどのタイミングでどこの倉庫に在庫すればよいか」といった意思決定のためには、WMSのデータだけでは不十分です。
DWHが扱うデータは、集計や比較などのために項目別に整理された「構造化データ※」です。しかし、近代ビジネスが必要とする高速で多様な大規模データ(ビックデータ)を扱うにはDWHでは不可能でした。SNSの文章や画像データ、YouTubeやTikTokの動画や音声データなどは「非構造化※」されたデータであり、こうしたデータを蓄積する「データの倉庫」が必要になっています。その機能を提供するのがデータレイクハウス(DLH)です。
※構造化データ・・・あらかじめ決められた管理構造に従って格納されたデータ
※非構造化データ・・・そのままでは利用できない複雑なデータ(文章、音声、画像など)
データレイクは、画像、動画、SNSのログなどの非構造化データを、そのまま格納することができます。データレイクは、まだまだこれからの技術であり、蓄積されたデータを有効に活用できない、データスワンプ(活用ができないデータが大量に溜まっている)状態となっているのが実情です。一方で、先行きの見えないビジネス環境において、柔軟で高性能な経営支援システムに対するニーズは高まり続け、多くの企業が、データ分析、リアルタイムの監視、データサイエンス、AIなど、多様なデータアプリケーションに対応するシステムを必要としています。
データレイクハウスの特徴の一つとして、オープン性があります。オープンで標準化されたAPIを提供し、機械学習や Python/R ライブラリなど、様々なアプリケーションやエンジンから非構造化データへの効率的なアクセスを可能にしています。
データウェアハウスを基本として、データレイクハウスをオプショナルな機能として追加することで、構造化されたデータと非構造化されたデータの両方を活用する術を身につけることが出来れば、これからのデジタル化社会をリードする企業になれるのではないでしょうか。