跳到主要内容

我应该用英语教学还是英语教学? 要看情况而定.

何时何地转换数据应该由您来决定,而不是由您的平台来决定

到ETL或ELT? 对于许多数据工程师来说,这是个问题.

一方面, 这种思路, 新的英语教学是灵活的, 很容易上手, 而且非常适合按需数据. 它是刚性易碎的ETL的弹性替代品. 

然而,英语教学中闪光的并不都是金子. 

任其发展, 它忽略了重要的细节——使得数据源难以跟踪或监控, 可能与法规遵循要求相冲突. 大量非结构化、未经转换的数据将数据湖变成了不可消费的数据沼泽.

虽然 英语教学的兴起 是否授权非技术人员使用他们自己的工具,也鼓励了新的数据竖井. 随着这些工具的使用在整个组织中激增, 它也看不见, track, 也不能通过日益复杂和断开连接的基础设施跟踪数据. 

但如果你不需要在两者之间做出选择呢? 如果, 而不是将资源交付给必要的工具, 人, 以及给定技术的过程, 你可以吃下众所周知的数据蛋糕?

像StreamSets这样的现代数据平台 已经把这个“如果”变成了现实. 但在沙巴体育手机版深入研究如何对英语教学和英语教学都说“是”之前, 有必要快速回顾一下每种技术.

ETL是什么?

ETL表示提取、转换、加载. 这是一种常用的技术 从多个来源提取和清理数据,以便它们可以用于分析,并纳入一个集中的数据库. 

在现代云兴起之前, ETL是必要的,因为存储和计算能力有限且昂贵. ETL使组织能够使用更少的稀缺技术资源. 但是,尽管你可以节省带宽和存储空间,但你不得不在这些方面毫无理由地花钱 ETL开发人员. 

最根本的问题是完全缺乏概括性. 使用ETL意味着需要基于每个数据源和目标设计和构建数据管道. 这意味着您必须拥有具有正确技能的ETL开发人员 建立和维护数据管道即使是在技术发生变化和发展的时候. 

什么是英语教学?

ELT表示提取、加载、变换. 它是一种数据摄取技术,将数据从多个源提取到数据湖或云对象存储中. 从那里,可以根据需要对数据进行转换,用于各种业务目的.

英语教学的用途是 可变性、速度和数据量 爆炸. 它是由越来越实惠的云基础设施实现的. 

此外,与ETL不同,ELT需要更少的工程师来操作. 通过它的分离、提取和转化, 英语教学使分析师, 而不是工程师, 用SQL处理转换. 这种想法是英语教学成功的关键,因为它允许大型组织中更多的部门自助访问数据. 

英语教学如此省力的一个重要原因是它允许更广泛的泛化. 

工程师可以在预制的提取和加载解决方案的基础上为流行的数据源构建. 他们还可以利用外部提供者的专门知识来处理更复杂的数据源. 

相比之下,ETL缺乏泛化, ELT使数据工程师可以外包和自动化,而不是手工编写代码管道,无论如何都需要重写. 

但, 正如引言中提到的, 从以开发人员为中心的ETL到更面向自助服务的ELT的转变, 它带来了新的挑战:一种未知的复杂性, 不透明的 数据基础设施.

从英语教学范式到英语教学范式的转换

关于英语教学如何颠覆英语教学已经有很多文章了. 如果你想更深入地了解细节,这里有一个 关于这个话题的不错的Reddit帖子. 其基本思想是英语教学更适合现代企业的需要. 

要强调这一点,首先ETL存在的主要原因是目标系统没有准备的计算或存储能力, 处理和转换数据. 但随着 云数据平台的兴起现在情况已经不同了. 和, 除了某些特定的应用, 没有令人信服的理由来构建数据提取时转换所需的定制软件. 

因此,对许多(但不是所有)组织来说,英语教学正准备让英语教学过时.

可以肯定的是,ETL仍然会有它的用途. 除此之外, ETL利用Apache Spark的处理能力 能否处理大量数据并使其可用于下游应用程序. 

幸福意味着不必选择

工程师和分析师, 幸福意味着不必选择在何时何地进行数据转换.  

而ETL和ELT工具供应商会拥护一种模式的优点而不是另一种, 事实是你没必要选择. 相反,你可以采用这样的方法:

  1. 从多个源提取数据
  2. 执行预处理转换,即.e. 屏蔽私有数据
  3. 将数据加载到存储库中
  4. 根据业务需求,根据需要转换数据
数据工程师的数据集成

StreamSets是 从头开始建造 以这种双重范式为核心. 拥有数十个预加载转换处理器, 您可以拖放图形用户界面, 其中很多是最耗时的, 复杂的工程过程被抽象了出来. 

与此同时, StreamSets允许开发人员用他们喜欢的语言编写他们自己的自定义处理器. 因此,虽然它提供了英语教学的易用性和灵活性,但它不会阻止您为更专门的用例扩展管道. 

通过提供一个单一的接口,你可以 查看和管理ETL或ELT的所有数据管道, StreamSets完全释放了现代数据架构的力量.

简单地说,当你问:“ETL或ELT?StreamSets说可以. 

回到顶部

沙巴体育手机版使用cookie来改善您对沙巴体育手机版网站的体验. 单击“允许所有人同意”并继续访问沙巴体育手机版的网站. 隐私政策

(类^ =“wpforms——”)
(类^ =“wpforms——”)