`
seaflower
  • 浏览: 5077 次
  • 来自: ...
最近访客 更多访客>>
文章分类
社区版块
存档分类
最新评论

ETL架构中的38个子系统(一)

阅读更多

The 38 Subsystems of ETL

?

By Ralph Kimball, 20044

?

建立一个成功的数据仓库系统,依靠的是最佳实践而不是直觉。

?

三个简单的字母,E-T-L,很容易的让大家忽视了38ETL子系统在数据仓库建设中的重要性。

?

抽取-转换-加载(ETL)系统,或者非正式的称为“后台系统”,在建立整个数据仓库系统中占据了70的工作量和时间。但是这还不足以说明ETL系统的复杂性。每个人都理解这三个字母的含义,E,从源系统中将数据取出来;T,对这些数据做处理;L,加载到最终用户访问的表中。

?

但是当我们问及如何来分解这三大步骤时,很多设计人员都会说,“具体问题,具体分析”。例如,这依赖于不同的数据源;这依赖于数据的特性;这依赖于脚本语言以及可以使用的ETL工具的情况;这依赖于员工的技术能力;这还依赖于最终用户使用的查询和报表工具。

?

“具体情况,具体分析”是一个很危险的事情,因为它很容易称为系统混乱的一个借口。伴随着几千个成功数据仓库项目的经历,我们整理出了一系列的最佳实践。

?

最近的18个月,我们一直在钻研ETL的实践和ETL的产品。我们标识出了在每一个数据仓库项目的后台部分都会涉及到的38个子系统。坏消息是ETL系统确实占据了数据仓库项目的大部分资源。好消息是如果你能掌握所有的这些子系统,你就可以很容易的使用你的经历来建立成功的数据仓库系统。

?

原文请参阅这里<!----><o:p></o:p>

分享到:
评论

相关推荐

    ETL架构中的38个子系统1

    1.抽取系统(Extract System) 2.变化数据捕获系统(Change Data Capture System) 3.数据概况分析系统(Data Pr

    ETL架构师面试题

    1.什么是逻辑数据映射?它对ETL项目组的作用是什么?...28.简述在架构实时ETL时的可以选择的架构部件。 29.简述几种不同的实时ETL实现方法以及它们的适用范围。 30.简述实时ETL的一些难点及其实现方法。 ......

    商场数据仓库ETL系统架构设计.pdf

    商场数据仓库ETL系统架构设计.pdf商场数据仓库ETL系统架构设计.pdf商场数据仓库ETL系统架构设计.pdf商场数据仓库ETL系统架构设计.pdf商场数据仓库ETL系统架构设计.pdf商场数据仓库ETL系统架构设计.pdf商场数据仓库...

    ETL架构师面试题目

    ETL架构师必须掌握的知识,对希望从事ETL架构开发的工程师有用!

    ETL 架构师面试题 数据仓库

    ETL 架构师面试题 数据仓库与PowerCenter相关的,可以一看。

    分布式ETL体系架构,大数据,ETL

    分布式ETL体系架构设计,帮助你了解构建分布式数据抽取处理系统架构

    ETL架构师面试题.docx

    ETL架构师面试题.docxETL架构师面试题.docxETL架构师面试题.docxETL架构师面试题.docxETL架构师面试题.docxETL架构师面试题.docxETL架构师面试题.docxETL架构师面试题.docx

    ETL架构师面试题及答案

    ETL架构必备知识!

    ETL架构师面试题.pdf

    ETL架构师面试题.pdfETL架构师面试题.pdfETL架构师面试题.pdfETL架构师面试题.pdfETL架构师面试题.pdfETL架构师面试题.pdfETL架构师面试题.pdfETL架构师面试题.pdf

    ETL架构师常问问题.pdf

    ETL架构师常问问题.pdfETL架构师常问问题.pdfETL架构师常问问题.pdfETL架构师常问问题.pdfETL架构师常问问题.pdfETL架构师常问问题.pdfETL架构师常问问题.pdfETL架构师常问问题.pdf

    大唐ODS&ETL架构图.zip

    大唐ODS&ETL架构图

    ETL架构师面试题+PowerCenter+数据仓库

    ETL架构师面试题+PowerCenter+数据仓库 ETL架构师面试题+PowerCenter+数据仓库

    系统中ETL和数据集市的架构设计和实现(PPT)

    简介:作者结合实际工作的需求,在设计和实现某公司商务部分析报表系统的过程中对ETL与数据集市的架构进行了研究。该系统是某大型外资企业进行商务决策过程所需的分析报表系统,该系统能向相关部门提供每日更新、...

    基于Flink Hudi的增量ETL架构

    基于Flink Hudi的增量ETL架构

    BI ETL ELT Kettle 基础知识中文文档汇总

    ETL_调度系统技术方案说明书_V1.0.pdf ETL中的数据清洗设计.pdf ETL交流.pdf ETL培训.ppt ETL工具比较.pdf ETL应用浅析.pdf ETL开发实施中质量保证的关键要素V1.0.pdf ETL数据增量抽取方案.pdf ETL数据集成...

    一个ETL系统的设计与实现

    项目试图研发出一个通用的ETL系统,当然对于这样的一个庞大的系统来说是不可能一墩而就的,所以本文就对这个系统的设计思路、关键技术以及初步实现进行了较详细的描述,最后通过实验验证这个系统的初步效果

    ETL架构师常问问题.docx

    ETL架构师常问问题.docxETL架构师常问问题.docxETL架构师常问问题.docxETL架构师常问问题.docxETL架构师常问问题.docxETL架构师常问问题.docxETL架构师常问问题.docxETL架构师常问问题.docx

Global site tag (gtag.js) - Google Analytics