データサイロとは何か？
データサイロとは、企業のあるグループによって保有されるデータのうち、他のグループからは容易に、または全くアクセスできないデータです。財務、管理、人事、マーケティングチームなどの部門は、それぞれの業務を行うために異なる情報を必要とします。データは各部門ごとに、別々の場所に保管される傾向があります。このような状況は農家が色々な穀物を保管するために使用する構造にちなんで、データサイロや情報サイロと呼ばれています。データ資産の量が増大し多様性がより複雑になるにつれて、データサイロも拡大し続けます。
データサイロは一見無害のように見えますが、サイロ化されたデータは、情報共有や部門間のコラボレーションに障害をもたらします。サイロ間でデータが重複していると不整合が生じる可能性があるため、データの品質が低下することがよくあります。また、データがサイロ化していると、経営陣にとって会社のデータを総合的に把握することが難しくなります。
つまり、サイロ化したデータは 健全なデータではありません。データが健全であるとは、組織全体でデータにアクセス可能で、容易にデータを理解できる状態を指します。データが簡単に見つけられず、タイムリーに利用できなかったり、見つけても信頼できなかったりすると、分析や意思決定のプロセスに付加価値を与えることができません。データサイロを解消しないままデジタル化を進めても、デジタルトランスフォーメーションのメリットを十分に享受することは困難です。本当の意味でのデータ駆動型を実現するためには、意思決定者が分析に関連するデータを360度全方位的に見渡せるようにする必要があります。
企業全体のデータを分析することで、十分な情報に基づいた意思決定を行い、隠れた機会や脅威をより総合的に把握することができます。さらに、サイロ化したデータは、それ自体がリスクになります。サイロ化されたデータは、企業全体でのデータガバナンスを不可能にし、法規制の遵守を妨げ、機密データの悪用につながる恐れがあります。
データサイロによって、自社の総合的なデータ分析の可能性が抑制されているかどうかを十分に理解するためには、データサイロの発生源や、それがデータの利点を最大限に活用するのを妨げるメカニズム、そしてデータサイロを解消するための選択肢であるデータ統合についてもっと知る必要があるでしょう。
なぜデータサイロが発生するのでしょうか？
データサイロは企業の組織構造を反映し、時間の経過とともに自然に発生します。それぞれの部門が独自の目的のために独自のデータを収集して保存することで、独自のデータサイロが形成されます。ほとんどの企業では、データサイロの原因を辿ると、次のような問題に起因していることが多々あります。
サイロ化した組織構造
ビッグデータやクラウドがビジネスに革命を起こす前は、各部門で独自のデータを作成し、管理することは悪いことではないと考えられていました。各部門には独自のポリシー、手順、目標があり、チームは各自のニーズに合った方法でデータを扱い、分析するための独自の方法を開発しました。このように、データの収集・保存方法がそれぞれ異なっているために、会社の各部門ではデータのサイロ化が進みました。
企業文化
上記に関連して、多くの企業では、慣習的に各部門がそれぞれ独自の世界で業務を行っています。それぞれに独自の専門用語があり、プロセスがあり、課題があります。各部門に独自のプロセスや目標があり、また物理的に区切られた場所で働いていると、必然的に他のチームとは異なる、隔離された事業部門であると考えるようになります。この隔離の文化は、データにも及んでいます。営業チームとマーケティングチームの両方が顧客データを扱う場合でも、企業文化によっては、疑問を抱くことなくデータを分けて管理することがあります。全社的なデータの共有は比較的新しい目標であるため、各部門においてデータを統合しようというモチベーションはそう高くありませんでした。
テクノロジー
多くの企業で使用されている技術的なツールやデータ管理システムもまた、データのサイロ化を促進する原因となっていました。各部門では多くの場合、スプレッドシートや会計ソフトウェア、SalesforceのようなCRMなど、さまざまな技術ソリューションを業務に使用しています。レガシーシステムの多くは、データを簡単に共有できるようには設計されていません。各ソリューションによってデータの保存方法や管理方法は異なり、その多くはソリューションを開発したベンダー独自のものであることが多いため、他部署の関係者とデータセットを共有することは困難です。
データサイロがビジネスに悪影響を与える4つの要因
それぞれの部門は、共通の目標達成を支援するために存在しています。各部門は個別に業務を行っていますが、互いに依存しあってもいます。たとえば、財務部門が作成して管理している内部データの少なくとも一部は、管理部門や他の部門による分析にも関連しています。
競争、コスト削減の必要性、そして案件獲得への欲求から、企業はさらなる自社データの活用を迫られています。全社的な情報へのアクセス は業務効率を最大化し、新たな機会を発見するために必要不可欠です。
しかしどこかの時点で、データサイロが成功を阻む障壁となります。ここでは、データサイロがビジネスに悪影響を及ぼすよくある4つの要因を紹介します。
1. データサイロがデータへの視界を制限する
サイロは関連データの共有を妨げます。各部門が行う分析は、それぞれから見える範囲によって制限されます。会社全体のデータを見ることができなければ、全社的な効率を見出すことはできません。たとえば、業務のデータとコストのデータが統合されていないのに、どうして業務コスト削減につながる隠れたチャンスを見つけられるでしょうか。
2. データサイロがデータの整合性を脅かす
データがサイロ化していると、同じ情報が異なるデータベースに保存されていることが多く、部門の保有するデータ間で不整合が生じます。データが古くなると、正確性が失われ、その結果、有用性が低下することがあります。たとえば、ある患者の医療データが複数の異なるシステムに保存されている場合、時間の経過とともにデータの同期が取れなくなる可能性があります。
3. データサイロがリソースを浪費する
同じ情報が異なる場所に保存されていたり、ユーザーが個人やグループのストレージにデータをダウンロードしたりすると、リソースが損なわれます。データを一つのソースに集約することで、貴重なストレージが解放され、必要のないストレージの購入や維持にかかるIT面でのストレスから解放されます。たとえば、多くの社員がデータをダウンロードしてスプレッドシートで分析する場合、個々のデータダウンロードは、既存データを不要にコピーしていることになります。
4. データサイロにより共同作業が妨げられる
文化がサイロを形成し、サイロが文化を増強します。データ駆動型の企業は、新しい知見を見つけて活用するための強力なツールとして共同作業を積極的に取り入れています。共同作業を促進するためには、各部門がデータを共有できる方法が必要です。データの共有が困難、あるいは不可能な場合、共同で作業する能力が損なわれます。
4つのステップでデータサイロを解消する方法
サイロ化を解消する方法には、技術面と組織面の両側面があります。分析のためのデータの一元化は、 クラウドではるかに速く、簡単になりました。クラウドベースのツールを使用することで、効率的な分析のためにデータを共通のプールやフォーマットに集約するプロセスを合理化することができます。かつては数週間、数ヶ月、数年かかっていたことが、今では数日または数時間で達成できるようになっています。
1. 管理方法の変更
企業文化がデータをサイロ化させているなら、それはデータサイロを解消するための鍵にもなります。データの共有やデータ整合性のメリットを伝え、従業員がなぜ変化する必要性があるのかを理解できるようにしましょう。また、データクオリティの問題や、競争力を維持する必要性などといった、サイロ化の問題点も伝えます。文化を変えるのは難しい作業ですので、経営陣は本気の姿勢を示す必要があります。
2. データを一元化する方法を開発する
データ管理システムの領域では、サイロ化を解消する最善の方法は、すべての企業データをクラウドベースのデータウェアハウスまたは、効率的な分析のために最適化された中央データリポジトリであるデータレイク にプールすることです。異なるソースからのデータは均質化されて統合され、個人やグループへのアクセス許可も簡単に付与できるので、プライバシーやセキュリティも維持しつつ、ビジネスニーズにバランスよく対応することができます。
3. データを統合する
効率的かつ正確なデータの統合は、将来のデータサイロを防ぐための折り紙付きの方法です。企業はさまざまな方法を用いてデータを統合しています。
スクリプト
企業はIT部門にSQL、Python、またはその他のスクリプト言語でスクリプトを記述させることで、サイロ化したデータソースからデータをウェアハウスに移動させることが可能です。ですが、スクリプト記述の欠点は、複雑になることです。データソースが増えれば、複雑さも増します。データソースに変更があれば、スクリプトを更新する必要があります。統合のための手書きのプログラミングを維持することは、IT担当者にとってコストと時間の負担になります。オンプレミス型ETLツール
ETL（抽出、変換、ロード）およびELTツールは、さまざまなソースからデータウェアハウスにデータを移動するプロセスを自動化します。こうしたツールは、ソースからデータを抽出して、データを分析用の共通フォーマットに変換したものを企業のデータセンターにあるデータウェアハウスにロードします。クラウドベースのETL
クラウドとデータは密接に連携し、高度な技術を持ったクラウドプロバイダーがETLプロセスを簡単で高速なものにします。クラウドベースのETLでは、クラウドプロバイダーのインフラストラクチャーを活用します。これには、データウェアハウスや環境で効率よく動作するように設計されたETLツールなどを含みます。ETLは、さまざまなソースからのデータを分析のために一元的に集約する技術的手段を提供することで、サイロを解消します。ETLを活用することで、データの整合性の問題に対処し、誰もが常に最新のデータを扱えるようになります。
4. 管理されたセルフサービスのアクセスを確立する
データが一元化され、統合されると、データガバナンスフレームワーク を利用してデータへのアクセスと管理を一元化する機会も得られます。堅牢なデータ・アクセス・ポリシーを制定することで、セルフサービスでの分析が容易になります。ビジネスユーザーがアクセス許可を保有することで、IT担当者がゲートキーパーの役割を果たさなければならない場合に比べ、不便さや遅延を回避することが可能です。
クラウドとデータストレージの未来
クラウドは、さまざまなソースからのデータを一元化して、オフィスや自宅、移動中、あるいは支店業務からでも容易にアクセスできるようにする自然な方法として登場しました。
クラウドデータソリューションは、コラボレーションを阻む技術的な障壁を取り除き、データのサイロ化をすぐに解消するためのソリューションを提供します。確立されたETLプロセスを使用して不適切なデータを取り除き、重複を排除することで、新規のデータや更新されたデータを素早くクラウドデータウェアハウスに追加することができます。これによりさまざまな部門が、需要に応じて拡張される利用しやすい単一のプラットフォーム上で、最新でクリーン、かつタイムリーなデータを用いて共同作業を行うことが可能です。
クラウドテクノロジーとクラウドデータウェアハウスは、異なるビジネスユニットを統合的なエコシステムに結びつけます。データアナリストは、自身の業務が企業全体に与える影響と、他の社員の業務によって相互に及ぼす影響を、さらに詳しく把握できるようになります。企業全体のデータにアクセスすることで、アナリストは会社を360度全方位から見渡すことが可能です。
データサイロを破壊する
データサイロは生産性を徐々に低下させ、知見の獲得を妨げ、共同作業の障害となります。しかしデータが一元化されて、分析のために最適化されると、サイロは障壁ではなくなります。クラウドテクノロジーは、実用的な一元化を実現できるように最適化されています。
世界中の何千もの組織が、クラウドでのデータの一元化にTalend Data Fabricを選択しています。Talendは、データ統合のETL、データガバナンス、セキュリティ、規制遵守を簡素化するとともに、データのサイロを解消するデータアクセスをすべての部門に提供するからです。たとえば、サステイナブルな廃棄物エネルギーのサプライヤーであるCovanta社は、データの収集、管理、変換、共有をより適切に行うために、データサイロの解消に最優先で取り組みました。社内の各部門が唯一の情報源を共有してリアルタイムにコミュニケーションを取るようになったことで、非効率性を容易に発見し、削減することができました。Covanta社では、保守作業にかかる費用だけでも年間10％削減することに成功しました。
Talend Data Fabricは、企業全体のユーザーが包括的なアプリケーションスイートを使用して共同作業できるようにするもので、サイロ化を恒久的に防ぐプロセスを簡素化するソリューションです。Talend Data Fabricをお試しいただき、Talendがどのようにお客様のパートナーとなり、さまざまな場面でサイロをなくし、オペレーションを改善し、利益を上げることができるかをご確認ください。データサイロを解消し、組織内の意思決定者が常に企業データを完全に理解できるように支援します。
