The 38 Subsystems of ETL
?
By Ralph Kimball, 2004年4月
?
建立一个成功的数据仓库系统,依靠的是最佳实践而不是直觉。
?
三个简单的字母,E-T-L,很容易的让大家忽视了38个ETL子系统在数据仓库建设中的重要性。
?
抽取-转换-加载(ETL)系统,或者非正式的称为“后台系统”,在建立整个数据仓库系统中占据了70的工作量和时间。但是这还不足以说明ETL系统的复杂性。每个人都理解这三个字母的含义,E,从源系统中将数据取出来;T,对这些数据做处理;L,加载到最终用户访问的表中。
?
但是当我们问及如何来分解这三大步骤时,很多设计人员都会说,“具体问题,具体分析”。例如,这依赖于不同的数据源;这依赖于数据的特性;这依赖于脚本语言以及可以使用的ETL工具的情况;这依赖于员工的技术能力;这还依赖于最终用户使用的查询和报表工具。
?
“具体情况,具体分析”是一个很危险的事情,因为它很容易称为系统混乱的一个借口。伴随着几千个成功数据仓库项目的经历,我们整理出了一系列的最佳实践。
?
最近的18个月,我们一直在钻研ETL的实践和ETL的产品。我们标识出了在每一个数据仓库项目的后台部分都会涉及到的38个子系统。坏消息是ETL系统确实占据了数据仓库项目的大部分资源。好消息是如果你能掌握所有的这些子系统,你就可以很容易的使用你的经历来建立成功的数据仓库系统。
?
原文请参阅这里。<!----><o:p></o:p>
分享到:
相关推荐
1.抽取系统(Extract System) 2.变化数据捕获系统(Change Data Capture System) 3.数据概况分析系统(Data Pr
1.什么是逻辑数据映射?它对ETL项目组的作用是什么?...28.简述在架构实时ETL时的可以选择的架构部件。 29.简述几种不同的实时ETL实现方法以及它们的适用范围。 30.简述实时ETL的一些难点及其实现方法。 ......
商场数据仓库ETL系统架构设计.pdf商场数据仓库ETL系统架构设计.pdf商场数据仓库ETL系统架构设计.pdf商场数据仓库ETL系统架构设计.pdf商场数据仓库ETL系统架构设计.pdf商场数据仓库ETL系统架构设计.pdf商场数据仓库...
ETL架构师必须掌握的知识,对希望从事ETL架构开发的工程师有用!
ETL 架构师面试题 数据仓库与PowerCenter相关的,可以一看。
分布式ETL体系架构设计,帮助你了解构建分布式数据抽取处理系统架构
ETL架构师面试题.docxETL架构师面试题.docxETL架构师面试题.docxETL架构师面试题.docxETL架构师面试题.docxETL架构师面试题.docxETL架构师面试题.docxETL架构师面试题.docx
ETL架构必备知识!
ETL架构师面试题.pdfETL架构师面试题.pdfETL架构师面试题.pdfETL架构师面试题.pdfETL架构师面试题.pdfETL架构师面试题.pdfETL架构师面试题.pdfETL架构师面试题.pdf
ETL架构师常问问题.pdfETL架构师常问问题.pdfETL架构师常问问题.pdfETL架构师常问问题.pdfETL架构师常问问题.pdfETL架构师常问问题.pdfETL架构师常问问题.pdfETL架构师常问问题.pdf
大唐ODS&ETL架构图
ETL架构师面试题+PowerCenter+数据仓库 ETL架构师面试题+PowerCenter+数据仓库
简介:作者结合实际工作的需求,在设计和实现某公司商务部分析报表系统的过程中对ETL与数据集市的架构进行了研究。该系统是某大型外资企业进行商务决策过程所需的分析报表系统,该系统能向相关部门提供每日更新、...
基于Flink Hudi的增量ETL架构
ETL_调度系统技术方案说明书_V1.0.pdf ETL中的数据清洗设计.pdf ETL交流.pdf ETL培训.ppt ETL工具比较.pdf ETL应用浅析.pdf ETL开发实施中质量保证的关键要素V1.0.pdf ETL数据增量抽取方案.pdf ETL数据集成...
项目试图研发出一个通用的ETL系统,当然对于这样的一个庞大的系统来说是不可能一墩而就的,所以本文就对这个系统的设计思路、关键技术以及初步实现进行了较详细的描述,最后通过实验验证这个系统的初步效果
ETL架构师常问问题.docxETL架构师常问问题.docxETL架构师常问问题.docxETL架构师常问问题.docxETL架构师常问问题.docxETL架构师常问问题.docxETL架构师常问问题.docxETL架构师常问问题.docx