JIMMY CHOOジミーチュウSASHA/Sサシャジミーチュウトートバッグ ETLとは、デジタルトランスフォーメーションの第一歩となる、データの整理・整頓ツールです
ETLツールとは？
ETLツール とは、組織の内外に散在するデジタルデータを抽出・収集（Extract）し、用途に応じて変換・加工（Transform）したうえで、その先にある格納先に有用な情報として配信・送出（Load）してくれる、ITプロダクトのカテゴリーの一つです。
E xtract：引き抜く、切り抜くT ransform：変身、変ずるL oad：載せる、積み込む
前記の単語、E T L
1990年代前後から活発化したダウンサイジングとオープン化の流れを受けて、業務や用途に合わせたシステムの数が増えると同時にデータの置き場所が分散していき、データ量自体も指数関数的に増えていきました。
そこで、データの集積場所となるデータウェアハウス（Data Warehouse：DWH）という考え方が広まりましたが、下記のような理由によりデータの整理・整頓に迫られたことで生まれたのがETLツールです。
ETLツールが生まれた背景
メインフレームをはじめ、各種ITシステムの提供元によってデータの形式や文字コードなどがバラバラである
各部門・担当者が更新するExcelファイルなどが、作成者によって異なる形式で作成・運用されている
集めたデータはそのまま表示されるのではなく、用途に応じて加工が発生する
これらの結果、各所に点在するデータを集めると同時に一定の基準で整理したうえで、使いやすくまとめてくれる「ETLツール」が必要になったのです。
豪奢な モノグラム ルイヴィトン ヴィンテージ バッグ ショルダー ドーフィーヌ サック ショルダーバッグ
ETLとは？ELTとの違いから考えるデータフローとの付き合い方
ELTに対するETLの最大の利点は、上図のデータフローの通り、データクレンジグに代表される変換・加工処理に専門特化した多様な機能や処理性能（量、速度）にあるでしょう。 また、ELTやデータプレパレーションのような付帯機能を持ったBI・DWHは、「自分が解釈できるデータさえ整理することができればよい」わけですから、せっかく加工したデータを他のツールで二次利用するようなシーンでは、BIツールから改めて対象データをダウンロードすることになるので、その際はELT機能としての出番がありません。
データフロー全体像のなかでETLツールが担う領域
ETLツール は、デジタル化されたデータが加工・共有されるデータフローの全体像のなかで、中間的な位置を担うツールです。
その特徴は、対象が「定型データ」と呼ばれる型の決まったデータに絞られるところです。財務会計や販売管理などの基幹系システム、POSや顧客管理システムなどに代表される定型データは、あらかじめ決められた項目に対して可変する値が蓄積されます。
テンペスト様専用 ★☆ メガテック リブレ PT35 ノブ 単体 1個のみ 新品
ここでは、ETLツールを「三ツ星レストランでの食事」に置き換えて、理解を深めていただこうと思います。
上図のように、私たちはレストランで「食事・消化」することはあっても、その料理が提供される前の仕入れや調理に関わることはありません。家庭料理に置き換えても、レストランほど下処理に時間を割くことは難しいですし、素材の目利きも基本的にはお店の仕入れに任せています。プロの仕事とは、私たち素人のスキルや知識、経験のおよばないところで地道に成し遂げられているわけです。
ETLツールも同様に、最終的なアウトプットからはまったく見えないコンピュータのなかで、地道にコツコツとデータを整理・整頓してくれるものです。
一つだけ補足すると、ETLツールを使ったデータ処理は、レストランのシェフが一つの料理を提供するまでに要する時間より短いです。三ツ星レストランの場合、市場での仕入れから仕込み、下処理までに数時間以上かかりますが、ETLツールならわずか数分、場合によっては一瞬でその工程を終えることもあります。
ETLツールの使い方・操作フロー
それでは、ETLツールの具体的な操作フローについて、Waha! Transformerの機能を例に説明します。
タスクの作成
データの抽出から変換・送出に至るETLツールの操作では、最初に「タスク」（Waha! Transformerでは「ジョブ」）を作成し、下記のような設定を行います。
1．データの収集・抽出元を指定
抽出元のシステムやファイル、そのなかにある抽出項目を特定し、アクセスに必要なログイン情報などを設定します。
2．データの変換・加工方法を指定
文字コードなどデータ形式の変換方法、項目の並び替えなどファイルレイアウトの加工方法について設定します。
3．データの配信・送出先を指定
BI・DWHなどデータの配信・送出先のシステムの項目を特定し、アクセスに必要なログイン情報などを設定します。
タスクの実行
作成したタスクの動作テストが終わり抽出元のデータが更新されたら、タスクの実行です。
タスクの改修
作成したタスクは、実行担当者の異動や退職などでログイン情報が変わったり、抽出・送出先のシステムでネットワーク構成やデータ保存場所が変わったりした場合、設定情報を変更しなければいけません。
ETL：データ連携ツール比較表（RFP添付用）
1999年にWaha! Transformerの提供を開始して以来、ETL：データ連携ツールの導入を検討されている数多くのお客様からRFIやRFPをご提示していただきご回答してまいりました。
ETLツールと周辺ツールとの違い
ETLツールは、各種業務アプリケーションやデータベース、Excelやテキストファイルのデータを連携させてくれるツールですが、同様の機能を持った周辺ツールがいくつかあります。
「実際のところ、どのツールを入れればいいの？」
「それぞれのツールの特徴は？」
「ツール選定のポイントは？」
などなど、お困りの方からのお問い合わせが少なからずあります。
グリルテーブル IGT用 フィールドラック ステンレス 収納天板付 ２段
ここではデータ活用・データマネージメントという観点で、ETLツールと周辺ツールの特徴的なところをまとめてみます。
カテゴリー ETL EAI BI・DWH RPA
目的 データ連携
データカタログ
データ分析
データ更新
役割
Data Transformer
Data Integrator
Data Analyzer
Data Updater
分類
ミドルウェア
新体操 レオタード S
ミドルウェア
起点
データフロー
業務フロー
NITRO zero バインディング Mサイズ
IT管理者
データ管理者
前提
事前に入力・生成されたデータを加工・流用するために利用する
対象データ
定型・構造化データ
処理頻度
定常
随時
随時
定常・随時
データ保管
×
△
◎
×
選定ポイント
データ処理性能
データ連携範囲
グラフ・チャート生成
自動化の範囲
いかがでしょう？
ETLツールとEAIの違い・選び方
EAI：Enterprise Application Integrator（業務アプリケーション統合）
EAIとは、組織内外にいくつもある業務アプリケーションのデータを統合：カタログ化するITプロダクトのカテゴリーです。データの更新頻度と範囲によってETLツールと使い分けられることが多い と言えます。
これらの違いから、ETLツールとEAIを併存させることもできますが、データ連携対象の業務アプリケーションがETLツールでカバーできるのであれば、データの処理性能やセキュリティ といった観点からETLツールを選択する方が、合理的な選択となるのではないでしょうか。
✨デジタルフォトフレーム 7インチ✨リモコン操作 32GB SDカード付
ETLツールとBI・DWHの違い・選び方
BI：Business Intelligence／DWH：Data ware House（データ分析基盤）
データ分析ツールとデータ保管庫のセットにより、データ分析基盤と呼べるのがBI・DWHです。システム全体の負荷 が高まり、最も大事なデータの深堀り：グラフ・チャートからのドリルダウンなど分析のための操作がサクサク動かないといった事態が生じます。分析のための前処理（変換・加工）には想像以上のスキルと手間がかかる ことから、肝心な分析のためのデータを整理・整頓しておくところで、ETLツールが見直されるシーンが多くみられます。収集～保管～表示といった要素を分離して個別最適化 しておくことが、データ分析によって有用な情報を得るための快適なシステム基盤をつくる上でのキモと言えるでしょう。
ウェディングドレス 二次会ドレス花嫁
【新品】スターバックス タンブラー 花柄ホワイトパール
ETLツールとRPAの違い・選び方
RPA：Robotic Process Automation（データ更新ロボット）
AI：人工知能が第三次ブームとなった2000年代以降、それまで人手で行わざるをえなかったPC上での定型作業を、自動化・ロボット化するRPAが注目されるようになり、馴染みの深いExcelのマクロが、PCのデスクトップ作業全体に拡張するイメージで広まりつつあります。ETLツールが直接接続することができないようなケースがRPAの出番 になります。ETLツールと組み合わせることで最も効果が高まるのがRPA と見ることもできますし、RPAだけでETLがない場合、RPAのポテンシャルが充分に発揮できないことが起こりえる点には注意が必要でしょう。
アップリカ ココネル
籐 ラタン ライティングビューロー ライティングデスク チェスト インテリア
データ活用ツールの違い・比較資料がダウンロードできます。
ETL ツールと周辺ツール3種（EAI ／ BI・DWH ／ RPA ）との比較表およびツールごとの解説をまとめたホワイトペーパーをダウンロードしていただけます。
ETLツール：Waha! Transformerの動作環境
ETLツール：Waha! Transformerの対応データソース
最新情報は［動作環境 ］のページでご確認ください。
サポート対象
動作実績あり
データベース
Oracle Database 11g、12c、18c、19c
8i、9i、10g
DAIWAダイワ リーディング X Kuu 180Ⅱ竿 ロッドLEADING−X
2000、2005、2008、2008 R2
IBM Db2 for Windows/UNIX V9.7、10.1、10.5、11.1
V8.x、9.1、9.5
IBM Db2 for i 7.2
5、5.4、6.1
MySQL V5.7、8.0
V5.6.10 ～
軟式 グローブ アンダーアーマー オーダー品 柳田 ソフトバンク UA 外野用
V9.3、9.4
Amazon RDS（Oracle、SQL Server、MySQL、PostgreSQL） ※1
DWH
Dr.Sum EA V3.0 SP2、V4.0、V4.0 SP1、V4.1、V4.2、5.0、5.1
EA V2.5
Amazon Redshift
IBM Red Brick Warehouse 5.x/6.x
ERP
SAP ERP 6.0、S/4 HANA
R/3 4.6C
ゴルフ キャディバッグ ブリヂストン
Microsoft Access 2010、2013、2016、2019
2000、2002、2003、2007
Microsoft Excel ( xlsx, xlsm, xls 形式のファイルをサポートします。)
ワニ皮のセカンドバックアンドショルダー 、銀座リム k18 バーピアス サマンサタバサ ショルダーバッグ 、中学生 剣道防具一式 週1回6ヶ月使用
その他、動作実績
その他、IBM DB2 UDB for zOS、HiRDB、Caché、SAP HANA 等の動作実績多数
※1 Amazon RDS の対応バージョンは、各データベースエンジンの対応バージョンに従います。
ETLツール：Waha! Transformerの対応文字コード体系
V5.3：現在の対応状況です。EBCDIC カナ、EBCDIC 英小文字、EBCDIK（日立）、ASCII、IBM 漢字、富士通JEF、日立KEIS、NEC 漢字「JIPS、JIPS（E）」、JIS、シフトJIS、日本語EUC、JASTEM、Unicode「UTF-8、UCS-2」、中国 GB18030、BIG5、中国 IBM（GB Host）
漢字、非漢字の混在文字列に対応
ユーザ定義テーブルによる外字対応
漢字はすべて JIS83 対応。JIS78 と JIS83 の変換は外字テーブルを提供
Unicode はビッグエンディアン / リトルエンディアン、サロゲートペア対応
ETLツールの導入で期待できる効果
ここまで読んでいただいた方は、すでにETLツール導入のモチベーションが高まったかもしれませんが、あらためて導入後に期待できる効果をピックアップしました。
豪奢な モノグラム ルイヴィトン ヴィンテージ バッグ ショルダー ドーフィーヌ サック ショルダーバッグ
情報システムとは、ビジネス≒業務上必要な“情報”を入力・更新し、必要な人が必要な時に必要な“情報”を参照・取得できるようにするためのコンピューターシステム“のはず”です。
定型タスクの実行に要する時間を大幅に削減
作業時間を一気に減らせることが、いちばん大きな効果でしょう。『働き方改革』が浸透するなかで、労働時間は減っても作業時間が変わらなければ、品質の低下などに影響が出てきます。それでは本末転倒ですから、まずはどれだけ時間が減らせるか自分のタスクから洗い出してみましょう。
バラバラだった作業手順を標準化
人手に頼っていた作業がITツールを使うことで機械化・自動化できると同時に、Waha! Transformerで作成したジョブによって標準化されます。極端にいえば「実行ボタンを誰がクリックしてもレポートが更新できる」のです。
ETL：データ連携ツール比較表（RFP添付用）
1999年にWaha! Transformerの提供を開始して以来、ETL：データ連携ツールの導入を検討されている数多くのお客様からRFIやRFPをご提示していただきご回答してまいりました。
ETLツールを導入するために検討しておきたい3つのポイント
ETLツール について大まかに解説してきましたが、いざETLツールを導入すると、どのような観点で検討を進めればよいのかイメージできない方もいらっしゃると思います。ここで3つのポイントにまとめましたので、ぜひ参考にしてください。
ETLツール検討ポイント1：ETLツール導入の目的と目標をはっきりさせる
せっかく導入したのに、結局使わなかったというケースは、よく見られます。ツール導入の目的と目標がなかったり、あっても絵に描いた餅で誰も覚えていないといったケースほど、その確率が高い印象があります。
裏を返せば、すべての利用者が目的と目標に納得し、「これを活用しない手はない！」と高いモチベーションがあるときに導入すれば、成功する確率は高くなります。
『目的』の例：月次締め処理後のレポート作業を最小化して、現場に余裕をつくる
『目標』の例：30人が毎月末に5時間ずつ（＝計150時間）かけていた定型作業を、15分に短縮する
このように、業務とプロセスの数だけ目的と目標を明文化しておけば、仮にPoC（Proof of Concept）やスモールスタートで1業務からスタートとしても、対象部門を選ぶ理由が見いだしやすくなりますし、本格的に全社展開となる場合には優先順位付けの理由になります。時間の許す範囲で、広範な部門や業務のフローを整理しておくことをお勧めします。
ETLツール検討ポイント2：ETLツールがカバーするシステム数やデータ量、処理に要している工数を調査する
前項の“目標”を定義するために必要な、定量データを集めましょう。対象システムの数やデータ量の調査はIT部門主導で集めやすいと思いますが、人的工数の調査は改善インパクトが大きくなるであろう現場部門から協力を仰ぐ形で収集していくとよいでしょう。
その前提として、IT部門と現場部門のコミュニケーションが日常的に円滑で、すでにETL導入の効果が見込める部門が顕在化していると理想的です。そのような場合も可能な範囲で複数部門をカバーして、潜在的な課題や問題の発見につなげる活動も見据えておきましょう。
ETLツール検討ポイント3：導入効果の仮説を立てる
ビジネスでもスポーツでも、成功イメージを持つことはマインドセット面でも大変有効です。導入プロジェクトのコアメンバーだけでもブレーンストーミングの機会を設け、目標としてピックアップした効果以外にどんなメリットが生まれるかなど、ポジティブな意見を出し合ってみましょう。
データマネジメントのプロジェクトにおいては、「入力・集計に必死だったころには見てもいなかったけど、集計後のレポートで異常値が見えてくるようになった」といった声を、複数の組織で聞かれるケースがあります。
廃盤品 コールマン ポータブル ランタン スタンド Model 220-770
豪奢な モノグラム ルイヴィトン ヴィンテージ バッグ ショルダー ドーフィーヌ サック ショルダーバッグ
キョウエツ 七五三 参考追加画像 BIツールを使わずに現場への柔軟な情報提供を可能に ラーメン、甘党を主力とするファストフードサービスチェーンを展開するスガキコシステムズ株式会社では、基幹システムを含めた業務システム内の情報を収集し、...
サービス業
API
BI・DWH
Excelデータ
Excel作業効率化
ダウンサイジング・オープン化
データ連携・加工
会計データ
基幹系システム
マウンテンロックスター スノーボード ジャケット
購買データ
商品データ
販売データ
物流データ
連結決算
東京ヤクルトスワローズ 村上宗隆 Majestic ホームモデル ユニフォーム ～変化の激しい通信業界において柔軟な業務基盤の要となる「Waha! Transformer」～ 高速モバイルインターネット通信サービス「UQ WiMAX」や格安SIM によるスマートフォンサービス「U...
情報・通信
Excelデータ
システム構築
データ連携・加工
美品！宇崎日新 落とし込みＳＰ チヌ 360
基幹系システム
顧客データ
受注データ
商品データ
販売データ
14社の事例から学ぶ！実践事例集
豪奢な モノグラム ルイヴィトン ヴィンテージ バッグ ショルダー ドーフィーヌ サック ショルダーバッグ
2021年度の税制の目玉の一つ「DX投資促進税制」、メリットを得るには何をするべきか？ (1/3)：EnterpriseZine（エンタープライズジン）
上田：D要件として「データ連携・共有」「クラウド技術の活用」「DX認定の取得」の3つ、X要件では「全社の意思決定に基づくものであること」「一定以上の生産性向上が見込まれること」の2つを全て満たす必要がありますから、DXに全社的に取り組んでいる企業のみが対象となる税制だと思います。4月時点では計画申請書の内容が公開されておらず、詳細が明らかになるのは5月以降ですが、過去の税制から考えると、比較的いろいろな項目を記載することになるでしょう。申請書作成にあたっての最初のハードルは、D要件の1つであるDX認定取得だと考えています。すでに取得している企業は別として、これからの企業にとってはこの認定取得が必須です。
お譲り先決まりました！ZARA トップス
Excel定型作業の機械化・自動化セミナー
ノースフェイス ジオドーム4 フットプリント付
(水)、7/9(金) ※オンライン開催 時間：
～ 形式：
プレゼンテーションおよびデモンストレーション
概要：
本セミナーでは、ルーティンとして集計・更新されるExcel作業を機械化・自動化した複数の事例をご紹介、実現に寄与したETLツールの操作デモをご覧いただき、大幅な生産性向上を実現するポイントをお伝えします。
BELKROOT 焚き火台en. ベルクロート 軽量 キャンプ アウトドア
基幹系システム刷新時のデータ移行「17のあるあるをチェック！」セミナー
4649様専用 コールマンランタン 288A 740J
無料
日程：
(水)、6/15(火) ※オンライン開催 柱上安全帯 新規格 2個セット
～ 形式：
プレゼンテーションおよびデモンストレーション
概要：
本セミナーでは、新旧システムのデータ移行に関連して見過ごされがちな「あるあるチェックリスト」をご提供し、チェック項目ごとに具体的にどのような対策が有効なのか、わかりやすく具体的にお伝えします。
サマンサゴルフ under25
「データ活用ツールの違い・比較」ホワイトペーパーの解説講座
日程：
(木)、7/21(水) ※オンライン開催 時間：
～ 形式：
希少品 モレリアネオ 【美品】
概要：
～DX の第一歩はシームレスなデータ連携基盤の整備から～
執筆者情報：
ユニリタ Waha! Transformerチーム
株式会社ユニリタ ITイノベーション部
PM・SEに限らず多様な経験・知見を持ったメンバーが、「データ活用」という情報システム部門の一丁目一番地でお役に立つべく集められました。
関連コンテンツ
