跳到主要内容

云数据湖集成

通过持续的数据摄取和大规模的ETL,为您的现代分析提供动力

你现在就需要数据,而不是以后

现代分析, 数据科学, AI, 机器学习……你的分析师, 数据科学家和商业创新者已经准备好改变世界. 如果你不能 提供的数据 他们需要,更快,更有信心,他们会找到绕过你的方法. (他们可能已经这样做了.) 

数据湖包含了大量各种各样的数据类型,使大数据的处理成为前前后后 上传至雪花这样的目的地 应用机器学习和人工智能成为可能. 如何确保数据湖集成能够持续且可靠地交付数据?

数据湖和数据仓库的数据集成

StreamSets智能数据管道优势

云数据湖的数据集成需要的不仅仅是理解如何构建业务请求. StreamSets数据工程 平台沙巴体育下载 支持您的整个数据团队快速 建立智能数据管道 能够适应不断将数据吸收到云数据湖中的变化. 

使用无代码、可视化界面设计数据处理和丰富流程
当数据漂移发生时,主动检测和响应,保持数据流动
轻松跨云和数据平台移植数据管道,无需重写

灵活的混合和多云架构

轻松地将您的工作迁移到适合您需求的最佳数据平台或云基础设施.

云数据湖集成到S3
云数据湖集成到Azure ADLS
云数据湖集成Azure Synapse
云数据湖集成谷歌云存储
数据迁移和同步到数据仓库云数据仓库

什么是数据湖?

数据湖是半结构化的存储平台, 结构化, 非结构化, 和二进制数据, 在任何规模, 以支持分析工作负载的执行为特定目的. 数据以“原始”格式加载并存储在数据湖中,不需要索引或准备. 这允许灵活地执行多种类型的分析-探索性数据科学, 大数据处理, 机器学习, 以及实时分析——来自最全面的数据集, 在一个中央存储库中. 

云数据湖集成的基本设计模式

您的云数据湖是高级分析的门户. 一旦摄入, 数据可以在许多不同的方向支持现代分析, 数据科学, AI, 机器学习, 和其他用例. A 基本数据摄取设计模式 首先从数据源读取数据, 然后通过简单的转换(比如屏蔽以保护PII)路由数据, 并将数据存储在数据湖中. 

实现这种基本设计模式的挑战之一是意想不到的, 未经宣布的, 以及无休止的数据结构变化, 语义, 以及能够破坏数据流或破坏数据的基础设施. 这是 数据漂移, 这就是为什么要有资源的原则, 吸收和转换数据已经开始演变为数据工程, 数据集成的现代方法.

云数据湖集成的智能数据管道

智能数据管道差异

构建数据管道的典型方法是手动编写代码或使用工具,这些工具对结果数据管道的技术实现细节产生重大依赖. 智能数据管道 被设计成抽象那些细节,并解耦源和目标,以便您可以专注于数据的“什么”并轻松适应新的需求. 

云数据湖集成的智能数据管道

智能数据管道的作用

  • 无论源、目标、数据格式或处理模式如何,都支持实时转换
  • 通过多路复用和反多路复用来读取具有不同模式的表,并将其写入分区 
  • 在执行引擎上启用管道的停止和重新启动以及故障转移 
  • 使用内置的预览和快照提高性能并简化调试 
  • 获得管道和阶段层面的实时洞察 
现在尝试:构建数据管道
智能数据管道为云数据湖集成做什么

管理基础设施的变化

的StreamSets方法 数据集成和数据工程 使得无需重新开始就可以更改基础设施端点. 例如, 如果你的数据湖摄入管道的来源从Oracle数据库更改为MySQL, 你有3个选择:

  • 复制数据管道并更新源,以保持两个数据管道处于活动状态
  • 创建管道的新版本, 改变原点, 使用恢复选项替换现有管道
  • 参数化关键属性并运行同一管道的多个实例
云数据湖集成的变更管理

准备开始?

沙巴体育手机版将帮助您开始构建管道或查看该平台的运行情况.

回到顶部

沙巴体育手机版使用cookie来改善您对沙巴体育手机版网站的体验. 单击“允许所有人同意”并继续访问沙巴体育手机版的网站. 隐私政策

(类^ =“wpforms——”)
(类^ =“wpforms——”)