支持在 Kubernetes 运行，添加多种连接器，SeaTunnel 2.1.2 版本正式发布！

来源：恒创科技编辑：恒创科技编辑部

2023-12-11 22:08:59

在 Apache SeaTunnel(Incubating) 2.1.1 发布后一个月左右的时间里，社区接受了来自全球的团队或个人累计近百个PR，为大家带来 2.1.2 版本。该版本提高了稳定性，并在功能、文档、示例等方面得到优化。

本文将为大家介绍 Apache SeaTunnel (Incubating) 2.1.2 版本更新内容。

Release Note:

支持在 Kubernetes 运行，添加多种连接器，SeaTunnel 2.1.2 版本正式发布！

https://github.com/apache/incubator-seatunnel/blob/2.1.2/release-note.md

下载地址：https://seatunnel.apache.org/download01 主要功能更新

添加Webhook和Http2种连接器，主要增强Http相关数据处理能力。

特别感谢tmljob同学的贡献。

01 Webhook

用户可以通过该连接器实现任务的调度，事件的调度，数据的推送等各式各样的实用功能，只需输出端提供Http服务能力的支持即可。

详情见https://seatunnel.apache.org/...

02 Http

支持读取Http接口数据，为上游提供通过Http完成数据传输到SeaTunnel做进一步处理的能力，Http是一个通用标准的接口，可以通过这种方式完成各种业务的接入。使用方式如下：

Http {
   url = "/news/upload/ueditor/image/202208/xndvyk0zwd5
   result_table_name= "response_body"
  }

FlinkSQL模块添加了Kafka和ElasticSearch连接器，现在SeaTunnel可以用SQL来读取写入这些数据源的数据了。

Transfrom方面添加了UUID和Replace的支持，可以更加灵活地对数据进行简单处理。同时支持了自定义函数的添加，帮助用户实现各种自定义业务逻辑。

03 支持在Kubernetes上运行SeaTunnel

Kubernetes已经成为云原生时代的必备组件，SeaTunnel自然需要提供对应的支持。

官方适配SeaTunnel运行在Kubernetes，教程见

https://seatunnel.apache.org/docs/2.1.2/start/kubernetes

02 具体更新内容01 [Connector]添加Spark webhook connector的支持优化Connector的Jar包结构添加Spark Replace transform组件添加Spark Uuid transform组件Flink的JDBC source添加了对Oracle适配添加Flink HTTP connector的支持添加Flink注册自定义函数功能Flink SQL模块添加Kafka和ElasticSearch connector的支持02 [Core]添加Flink application运行模式支持支持Flink配置的动态添加03 [Bug Fix]修复Clickhouse Sink组件部分类型转换问题修复部分情况下Spark运行脚本第一次会运行失败的问题修复部分情况下在Spark on yarn cluster模式无法获取配置文件问题修复Spark extraJavaOptions 不能为空的问题修复Spark standalone cluster模式下无法解压内部文件问题修复Clickhouse Sink无法正常处理多节点配置问题修复Flink SQL配置解析错误修复Flink JDBC Mysql类型匹配不全的问题修复变量在Flink模式下无法设置的问题修复SeaTunnel在Flink模式下配置无法检查的问题04 优化升级Jackson版本至12.6添加部署SeaTunnel到Kubernetes的向导调整部分泛型类型代码添加Flink SQL e2e模块Flink JDBC connector 添加pre sql和post sql特性使用@AutoService生成SPI文件Flink FakeSourceStream支持mock数据支持通过Flink JDBC connector读取Hive数据ClickhouseFile支持ReplicatedMergeTree引擎支持Hive sink保存ORC格式数据支持Spark Redis sink自定义过期时间添加Spark JDBC事务隔离级别配置用Jackson替换代码里的Fastjson03 致谢

感谢以下参与贡献的同学(为 GitHub ID，排名不分先后)，正是大家的付出与努力，让我们能够快速推出这个版本，也欢迎更多的同学参与到 Apache SeaTunnel(Incubating) 社区贡献中。

v-wx-v, GezimSejdiu, zhongjiajie, CalvinKirs, ruanwenjun, tmljob, Hisoka-X, 1996fanrui, wuchunfu, legendtkl, mans2singh, whb-bigdata, xpleaf, wuzhenhua01, chang-wd, quanzhian, taokelu, gleiyu, chenhu, dijiekstra, tobezhou33, LingangJiang, mosence, asdf2014, waywtdcc, Emor-nj, dik111, forecasted

本文地址：https://www.henghost.com/jishu/10062/