wormhole-0.6.2 release 更新
wormhole-0.6.2 release更新, 欢迎下载试用~~
链接:https://pan.baidu.com/s/1womXy7Ylr1oaO_u3VqeT4g 提取码:nthu
wormhole用户手册https://edp963.github.io/wormhole
Release Notes:
【Feature】
(1)Sparkx增加写hdfs csv支持
(2)Sink增加对clickhouse的支持
【Improvement】
(1)增加kafka不同版本兼容,已适配0.10.0/0.10.2/1.1.*
(2)增加spark不容版本兼容,已适配spark2.2/2.3/2.4
(3)增加zookeeper重试机制,避免由于zookeeper不稳定导致的信息丢失
(4)Ums_extension类型数据sink mutation_type为"iud"时,自动增加UMS系统字段
(5)Stream启动命令去掉SSH远程执行,部署时无须再配置rider服务启动用户远程免密登录配置
(6)优化stream启动shell命令执行失败错误日志收集
(7)Stream启动成功后自动杀死spark-submit/flink yarn session提交进程
(8)Flow状态改为定时刷新,刷新间隔可配置
(9)添加stream和job更新yarn状态时间容错
(10)优化Rider Consumer Feedback处理,调整feedback数据结构
(11)优化feedback_error表删除方式
(12)支持配置yarn web-proxy地址
(13)优化dbus namespace同步功能,由全量同步改为增量同步
(14)优化对接kerberos Kafka集群配置项
【Fix Bugs】
(1)修复sparkx stream lookup bug
(2)修复sparkx hdfslog写ums_extension类型数据bug
(3)修复sparkx hdfslog写hdfs文件分割bug
(4)修复sparkx stream运行中订阅topic丢失bug
(5)修复sparkx hdfslog feedback status字段类型与数据库字段类型不匹配bug
(6)修复sparkx stream中flow排序bug
(7)修复flinkx lookup kudu和mysql bug
(8)修复flinkx ums_extension数据sink kafka时null字段被忽略bug
(9)修复job sink mutation_type为"iud"时数据未merge bug
(10)修复job backfill sink topic rider与sparkx参数不匹配bug
(11)修复job脏数据兼容bug
(12)修复feedback error回灌丢失数据bug
(13)修复stream和job启动时根据日志刷新状态bug
(14)修复sink分表回滚和链接关闭bug
(15)修复kudu多column查询数据返回不全bug
(16)修复kudu lookup数据重复bug
(17)修复dbus namespace同步接口返回相同namespace数据插入namespace表冲突bug