跳到主要内容
上传文件到雪花

用预定义处理器免费上传数据到雪花

将数据从存储或目录移动到雪花或任何其他目的地? 使用超过60个预构建处理器自动标准化、规范化和加载文件数据.

拷贝原始数据集到雪花自动驾驶

接收文件在结构上几乎没有标准化和一致性? 这是数据工程师经常遇到的问题. 当新文件放置在AWS S3或防火墙后的本地目录等位置时, 让streamset工作, 自动读取文件,并应用处理器的数据,以确保它是完整的, 一致的和有效的. 最重要的是, 当某些事情超出您设置的界限时,获得处理错误的自动通知.

字段移除器消除不必要的数据

从你在德国的销售团队那里拿到一份文件里面有一些没用的私人笔记? 或者可能是有重复数据的文件? 删除本地团队的“notes”字段以及下游分析不需要的任何其他字段. 与现场剂, 在复制到雪花之前,可以轻松地选择和保留需要的字段,并丢弃不需要的字段.

现在尝试字段移除器
向雪花上传数据

用于规范化字段或执行计算的表达式求值器

沙巴体育手机版的独特的灵活 表达式求值程序 能否执行计算并将结果写入新的或现有的字段, 添加或修改记录头属性和字段属性, 和更多的. 轻松添加自定义Jython, Java或Groovy库来对数据应用几乎任何处理逻辑.

现在试试表达式求值器
Data-loading-snowflake

条件路由的流选择器

在一个数据管道中从几个不同的客户报告中导入CSV数据? 在将数据上传到雪花之前,不太可能需要以同样的方式处理这些文件. 使用流选择器根据预先设置的条件,通过管道选择和路由记录.

现在尝试流选择器
流器ETL

字段重命名程序重命名记录字段

匹配源字段和目标字段是一场持久战. 现在, 您可以显式地指定每个字段, 但这有点费劲, 更不用说面对数据漂移时的脆弱. 自动处理输入数据中出现的新字段. 与字段命名, 配置源字段不存在时的行为, 当具有匹配名称的目标字段已经存在时, 当一个源字段匹配多个源字段表达式时, 和更多的.

现在就试试Field Renamer吧
Upload-data-to-snowflake-rename

字段扁平器,以确保文件满足条件之前加载

Avro和JSON等数据格式有时表示层次结构, 记录包含的字段本身是字段的集合, 例如地址字段. 许多目的地,如雪花或你的三角洲湖, 然而, 要求成绩平平, 其中每个字段都是单个字符串, 整数, 等. 在上传数据到雪花之前,使用字段平坦器来平坦整个记录的结构或只是一个特定的字段.

现在试试平地机
Copy-into-snowflake

沙巴体育手机版的客户使用streamset运行数以百万计的数据管道

StreamSets不仅仅是简化数据处理

很容易开始,很容易
运行,容易扩展

处理数据
漂移自动

部署安全
在任何环境中

沙巴体育手机版的客户说什么

Acertus标志
“没有数据漂移起作用,我通常不会对数据的变化感到惊讶. StreamSets处理事务系统中的小问题.”
杰弗里·詹宁斯,Acertus数据副总裁
中小企解决方案集团标志
“StreamSets, 沙巴体育手机版帮助多个垂直领域的客户从数据库之外的各种不同来源收集数据, 包括数据的湖泊, api, 和传感器. 数据收集和交付之间的时间从一夜之间缩短到接近实时,同时增加的监控功能可以节省成本和弹性."
George Barrett, SME解决方案工程师
回到顶部

沙巴体育手机版使用cookie来改善您对沙巴体育手机版网站的体验. 单击“允许所有人同意”并继续访问沙巴体育手机版的网站. 隐私政策

(类^ =“wpforms——”)
(类^ =“wpforms——”)