Skip to content

DTStack/DatasourceX

Folders and files

NameName
Last commit message
Last commit date

Latest commit

 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 

Repository files navigation

数据源插件 common-loader

一、介绍

模拟 Driver 通过不同的 classloader 加载,避免类名冲突导致加载不上的问题,提供大量关系型数据库、非关系型数据库以及像 HDFS、S3、ftp数据源的一些通用方法,简化开发成本:


二、已支持的数据源

2.1 关系型数据库

Database Type Client doc
MySQL5 doc
MySQL8 doc
Polardb_For_MySQL(同mysql5) doc
Oracle doc
SQLServer doc
PostgreSQL doc
DB2 doc
DMDB doc
KINGBASE8 doc
HIVE1.X doc
HIVE2.X doc
SPARK doc
IMPALA doc
INCEPTOR doc
Clickhouse doc
TiDB(同mysql5) doc
CarbonData(同hive2.X) doc
Kudu doc
ADS(同mysql5) doc
Kylin doc
Libra doc
GREENPLUM6 doc
GBase_8a doc
Phoenix4 doc
Phoenix5 doc
oceanbase doc
Vertica doc

2.2 非关系型数据库

Database Type Client doc
REDIS doc
HBASE(hbase1.x、2.x版本) doc
ES(ES6、ES7版本) doc
SOLR(SOLR7.4版本) doc
MONGODB doc
HBASE doc

2.3 文件系统

Database Type Client doc
HDFS doc
S3(此为中国移动版本) doc
AWS_S3 doc
FTP doc

2.4 消息队列

Database Type Client doc
KAFKA(0.9、0.10、0.11、1.x版本) doc
EMQ doc

2.5 其他

Database Type Client doc
websocket doc
socket doc
influxdb doc

三、立刻使用

请点击立刻使用


四、kerberos认证

请点击kerberos认证


五、开发步骤说明

  1. 在core模块下com.dtstack.dtcenter.loader.source.DataSourceType中增加新的数据源信息
  2. 在core模块下com.dtstack.dtcenter.loader.dto.source包中创建新数据源对应的sourceDTO,继承对应的抽象类或实现ISourceDTO接口
  3. 在项目下增加子模块并按照其他模块修改项目和子模块对应的pom文件信息
  4. 在新创建的模块中创建client类继承对应抽象类或实现对应接口并重写需要实现的方法
  5. 在Resources/META-INF/services 下增加文件com.dtstack.dtcenter.loader.client.IClient,并在里面补充实现类的引用地址:例如:com.dtstack.dtcenter.common.loader.db2.Db2Client