• 沒有找到結果。

批量数据迁移有两种迁移方式,支持的数据源不相同:

● 表/文件迁移:适用于数据上云、云服务间数据交换、云上数据迁移到本地业务系 统。请参见表/文件迁移支持的数据源类型。

● 整库迁移:适用于数据库上云,请参见整库迁移支持的数据源类型。

● 另外,本章还列举了一些常见数据库迁移时所支持的数据类型,请参见达梦数据 库迁移时支持的数据类型、开源MySQL数据库迁移时支持的数据类型、Oracle数 据库迁移时支持的数据类型和SQL Server数据库迁移时支持的数据类型。

表/文件迁移支持的数据源类型

表/文件迁移时支持的数据源如表4-1所示。

4-1 表/文件迁移支持的数据源

数据源分类 数据源 读取 写入 说明

数据仓库 数据仓库服务

(DWS) 支持 支持

-数据湖探索(DLI) 支持 支持 -FusionInsight LibrA 支持 不支持 -Hadoop(仅支

持本地存储,不 支持存算分离场 景,不支持 Ranger场景,

不支持ZK开启 SSL场景)

MRS HDFS 支持 支持 建议使用的版本:

● 2.8.X

● 3.1.X

MRS HBase 支持 支持 建议使用的版本:

● 2.1.X

● 1.3.X

数据源分类 数据源 读取 写入 说明

MRS Hive 支持 支持 暂不支持2.x版 本,建议使用的版 本:

● 1.2.X

● 3.1.X

FusionInsight HDFS 支持 不支持 建议使用的版本:

● 2.8.X

● 3.1.X

FusionInsight HBase 支持 不支持 建议使用的版本:

● 2.1.X

● 1.3.X FusionInsight Hive 支持 不支持 暂不支持2.x版

本,建议使用的版 本:

● 1.2.X

● 3.1.X

Apache HBase 支持 不支持 建议使用的版本:

● 2.1.X

● 1.3.X Apache Hive 支持 不支持 暂不支持2.x版

本,建议使用的版 本:

● 1.2.X

● 3.1.X

Apache HDFS 支持 不支持 建议使用的版本:

● 2.8.X

● 3.1.X 对象存储 对象存储服务

(OBS) 支持 支持

-阿里云对象存储

(OSS) 支持 不支持 ● 对象存储服务

之间的迁移,

推荐使用对象 存储迁移服务 OMS。

七牛云对象存储

(KODO) 支持 不支持

亚马逊对象存储S3 支持 不支持 腾讯云对象存储

(COS) 支持 不支持

数据源分类 数据源 读取 写入 说明

文件系统 FTP 支持 不支持 HTTP文件系统仅

支持到OBS\HDFS 的迁移。

文件系统到OBS的 迁移推荐使用 obsutil工具,请 参见obsutil简 介。

SFTP 支持 不支持

HTTP 支持 不支持

关系数据库 云数据库 MySQL 支持 支持 不支持OLTP到 OLTP迁移,此场 景推荐通过数据复 制服务DRS进行迁 移。

云数据库PostgreSQL 支持 支持

云数据库 SQL Server 支持 支持

MySQL 支持 不支持

PostgreSQL 支持 不支持 Microsoft SQL

Server 支持 不支持

Oracle 支持 不支持

IBM Db2 支持 不支持

数据源分类 数据源 读取 写入 说明

SAP HANA 支持 不支持 SAP HANA数据源 存在如下约束:

● 仅支持

2.00.050.00.15 92305219版 本。

● 仅支持Generic Edition。

● 不支持BW/4 FOR HANA。

● 仅支持英文字

字符(除SHORTTEXT)

类型的数据类 DWS、Hive。

Derecho

(GaussDB) 不支持 不支持 待下线。

NewSQL (GaussDB) 不支持 不支持 待下线。

NoSQL 分布式缓存服务

(DCS) 不支持 支持 仅支持MRS到DCS 迁移。

Redis到DCS的迁 移,可以通过其他 方式进行,请参见 自建Redis迁移至

DCS。

文档数据库服务

(DDS) 支持 支持 仅支持DDS和

MRS之间迁移。

数据源分类 数据源 读取 写入 说明 表格存储服务

(CloudTable) 支持 支持 -CloudTable

OpenTSDB 支持 支持

-Redis 支持 不支持 仅支持Redis到 MRS迁移。

Redis到DCS的迁 移,可以通过其他 方式进行,请参见 自建Redis迁移至

DCS。

MongoDB 支持 不支持 仅支持MongoDB 到MRS迁移。

Cassandra 支持 不支持 -消息系统 数据接入服务

(DIS) 支持 不支持 仅支持导出数据到

云搜索服务。

Apache Kafka 支持 不支持 仅支持导出数据到 云搜索服务。

MRS Kafka 支持 不支持 仅支持导出数据到 云搜索服务,不支 持Ranger场景,

不支持ZK开启SSL 场景。

DMS Kafka 支持 不支持 仅支持导出数据到 云搜索服务。

搜索 Elasticsearch 支持 不支持 Elasticsearch仅支 持非安全模式。

云搜索服务(CSS) 支持 支持 导入数据到CSS推 荐使用Logstash,

请参见使用

Logstash导入数

据到

Elasticsearch。

说明

上表中非云服务的数据源,例如MySQL,既可以支持用户本地数据中心自建的MySQL,也可以 是用户在ECS上自建的MySQL,还可以是第三方云的MySQL服务。

整库迁移支持的数据源类型

整库迁移适用于将本地数据中心或在ECS上自建的数据库,同步到云上的数据库服务或 大数据服务中,适用于数据库离线迁移场景,不适用于在线实时迁移。

-FusionInsight LibrA 支持 不支持 -Hadoop(仅支

持本地存储,不 支持存算分离场 景,不支持 Ranger场景,

不支持ZK开启 SSL场景)

MRS HBase 支持 支持 整库迁移仅支持导 出到MRS

HBase。

建议使用的版本:

FusionInsight HBase 支持 不支持 建议使用的版本:

● 2.1.X

● 1.3.X

FusionInsight Hive 支持 不支持 整库迁移仅支持导 出到关系型数据

数据源分类 数据源 读取 写入 说明

Apache Hive 支持 不支持 整库迁移仅支持导 出到关系型数据 库。

暂不支持2.x版 本,建议使用的版 本:

● 1.2.X

● 3.1.X 关系数据库 云数据库 MySQL 支持 支持 不支持OLTP到

OLTP迁移,此场 景推荐通过数据复 制服务DRS进行迁 移。

云数据库PostgreSQL 支持 支持

云数据库 SQL Server 支持 支持

MySQL 支持 不支持

PostgreSQL 支持 不支持 Microsoft SQL

Server 支持 不支持

Oracle 支持 不支持

IBM Db2 支持 不支持

数据源分类 数据源 读取 写入 说明 SAP HANA 支持 不支持 ● 仅支持

2.00.050.00.15 92305219版 本。

● 仅支持Generic Edition。

● 不支持BW/4 FOR HANA。

● 仅支持英文字 母的数据库 名、表名与列 名,不支持存 在空格、符号 等特殊字符。

● 仅支持日期、

数字、布尔、

字符(除SHORTTEXT)

类型的数据类 型,不支持二 进制类型等其 他数据类型。

● 迁移时不支持 目的端自动建 表。

MYCAT 支持 不支持

-达梦数据库 DM 支持 不支持 仅支持导出到 DWS、Hive NoSQL 分布式缓存服务

(DCS) 不支持 支持 仅支持MRS到DCS 迁移。

文档数据库服务

(DDS) 支持 支持 仅支持DDS和

MRS之间迁移。

表格存储服务

(CloudTable) 支持 支持

-达梦数据库迁移时支持的数据类型

源端为达梦数据库,目的端为Hive、DWS时,支持的数据类型如下:

4-3 达梦数据库作为源端时支持的数据类型

类别 类型 简要释义 存储格式示

Hive DWS

字符 CHAR 用于存储指定定长字

符串 ‘a’或

‘aaaaa’ CHAR CHAR CHARA

CTER 与 CHAR 相同 ‘a’或

‘aaaaa’ CHAR CHAR VARCH

AR 用于存储指定变长字

符串 ‘a’或

‘aaaaa’ VARCHAR VARCHAR VARCH

AR2 与 VARCHAR 相同 ‘a’或

‘aaaaa’ VARCHAR VARCHAR 数值 NUMERI

C 用于存储零、正负定

点数 52.36 DECIMAL NUMERIC DECIMA

L 与 NUMERIC 相似 52.36 DECIMAL NUMERIC DEC 与 DECIMAL 相同 52.36 DECIMAL NUMERIC NUMBE

R 与 NUMERIC 相同 52.36 DECIMAL NUMERIC INTEGE

R 用于存储有符号整 数,精度为10,标 度为0

5236 INT INTEGER

INT 与 INTEGER 相同 5236 INT INTEGER BIGINT 用于存储有符号整

数,精度为19,标 度为0

5236 BIGINT BIGINT

TINYINT 用于存储有符号整 数,精度为3,标度 为0

100 TINYINT SMALLINT

SMALLI

NT 用于存储有符号整 数,精度为5,标度 为0

9999 SMALLIN

T SMALLINT

BYTE 与 TINYINT 相似,

精度为3,标度为0 100 TINYINT SMALLINT BINARY 用于存储定长二进制

数据 0x2A3B4058 BINARY

(NULL) BYTEA

(NULL)

VARBIN

ARY 用于存储可变长二进

制数据 0x2A3B4058 BINARY

(NULL) BYTEA

(NULL)

FLOAT 用于存储带二进制精 度的浮点数

52.36 FLOAT FLOAT8

类别 类型 简要释义 存储格式示

Hive DWS

DOUBL

E 与FLOAT类似 52.36 DOUBLE FLOAT8 REAL 用于存储带二进制精

度的浮点数,但它不 能由用户指定使用的 精度

52.3 FLOAT FLOAT4

DOUBL EPRECISI ON

用于存储指明双精度

的浮点数 52.3 DOUBLE FLOAT8

位串 BIT 用于存储整数数据

1、0 或 NULL 1、0 或

NULL TINYINT(

1 0NULL)

BOOLEAN(tr ue false NULL) 日期

时间 DATE 用于存储年、月、日

信息 1999-10-01'

、'1999/10/01' 或'1999.10.01'

DATE TIMESTAMP

TIME 用于存储时、分、秒

信息 '09:10:21'或

'9:10:21' 不支持

(String

TIME

TIMEST

AMP 用于存储年、月、

日、时、分、秒信息 2002-12-12 09:10:21','20 02-12-12 9:10:21' '2002/12/12 09:10:21' 或 '2002.12.12 09:10:21'

TIMESTA

MP TIMESTAMP

TIMEWITH TIMEZONE

用于存储一个带时区 的 TIME 值,其定义 是在 TIME 类型的后 面加上时区信息

'09:10:21 +8:00', '09:10:21+8:

00'或'9:10:21+8:0 0'

不支持(String

TIME WITH TIME ZONE

类别 类型 简要释义 存储格式示

Hive DWS

TIMEST AMPWITH TIMEZONE

用于存储一个带时区 的 TIMESTAMP 值,其定义是 TIMESTAMP类型的 后面加上时区信息

2002-12-12 09:10:21 +8:00','2002-12-12 9:10:21 +8:00' '2002/12/12 09:10:21 +8:00'或 '2002.12.12 09:10:21 +8:00'

TIMESTA

MP TIMESTAMP WITH TIME ZONE

TIMEST AMPWITH LOCAL TIMEZONE

用于存储一个本地时 区的 TIMESTAMP 值,能够将标准时区 类型 TIMESTAMP WITH TIME ZONE 类型转化为本地时区 类型

2002-12-12 09:10:21 +8:00','2002-12-12 9:10:21 +8:00' '2002/12/12 09:10:21 +8:00'或 '2002.12.12 09:10:21 +8:00'

不支持(String

不支持(TEXT)

DATETI MEWITH TIMEZONE

同TIMESTAMP

WITH TIME ZONE 2002-12-12 09:10:21 +8:00','2002-12-12 9:10:21 +8:00' '2002/12/12 09:10:21 +8:00'或 '2002.12.12 09:10:21 +8:00'

TIMESTA

MP TIMESTAMP WITH TIME ZONE

INTERV

AL YEAR 描述一个若干年的间 隔,引导精度规定了 年的取值范围

INTERVAL

'0015' YEAR 不支持

(String

不支持(VARCHAR

) INTERV

AL YEAR TOMONTH

描述一个若干年若干 月的间隔,引导精度 规定了年的取值范围

INTERVAL '0015-08' YEAR TO MONTH

不支持(String

不支持(VARCHAR

类别 类型 简要释义 存储格式示

Hive DWS

INTERV ALMONTH

描述一个若干月的间 隔,引导精度规定了 月的取值范围

INTERVAL '0015' MONTH

不支持(String

不支持(VARCHAR

) INTERV

AL DAY 描述一个若干日的间 隔,引导精度规定了 日的取值范围

INTERVAL

'150' DAY 不支持

(String

不支持(VARCHAR

) INTERV

AL DAY TOHOUR

描述一个若干日若干 小时的间隔,引导精 度规定了日的取值范 围

INTERVAL '9 23' DAY TO HOUR

不支持(String

不支持(VARCHAR

INTERV AL DAY TOMINUTE

描述一个若干日若干 小时若干分钟的间 隔,引导精度规定了 日的取值范围

INTERVAL '09 23:12' DAY TO MINUTE

不支持(String

不支持(VARCHAR

INTERV AL DAY TOSECON D

描述一个若干日若干 小时若干分钟若干秒 的间隔,引导精度规 定了日的取值范围

INTERVAL '0923:12:01.1' DAY TO SECOND

不支持(String

不支持(VARCHAR

INTERV ALHOUR

描述一个若干小时的 间隔,引导精度规定 了小时的取值范围

INTERVAL

'150' HOUR 不支持

(String

不支持(VARCHAR

) INTERV

ALHOUR TOMINUTE

描述一个若干小时若 干分钟的间隔,引导 精度规定了小时的取 值范围

INTERVAL '23:12' HOUR TO MINUTE

不支持(String

不支持(VARCHAR

INTERV ALHOUR TOSECON D

描述一个若干小时若 干分钟若干秒的间 隔,引导精度规定了 小时的取值范围

INTERVAL '23:12:01.1' HOUR TO SECOND

不支持(String

不支持(VARCHAR

INTERV ALMINUTE

描述一个若干分钟的 间隔,引导精度规定 了分钟的取值范围

INTERVAL '150' MINUTE

不支持(String

不支持(VARCHAR

) INTERV

ALMINUTE TOSECON D

描述一个若干分钟若 干秒的间隔,引导精 度规定了分钟的 取值范围

INTERVAL '12:01.1' MINUTE TO SECOND

不支持(String

不支持(VARCHAR

类别 类型 简要释义 存储格式示

Hive DWS

INTERV ALSECON D

描述一个若干秒的间 隔,引导精度规定了 秒整数部分的 取值范围

INTERVAL '51.1' SECOND

不支持(String

不支持(VARCHAR

0x2A3B4058

(二进制数据) 不支持 不支持

LONGV ARBINA RY

与IMAGE相同 0x2A3B4059

(二进制数据) 不支持 不支持

TEXT 用于存储长字符串类 型,其字符串的长度 最大为 2G-1,存储长 的文本串

0x5236(二进

制数据) 不支持 不支持

LONGV ARCHA R

与 TEXT 相似 0x5236(二进

制数据) 不支持 不支持

BLOB 用于存储变长的二进 制大对象,长度最大 为2G-1字节

0x5236(二进

制数据) 不支持 不支持

CLOB 用于存储变长的二进 制大对象,长度最大 为2G-1字节

0x5236(二进

制数据) 不支持 不支持

源端为开源MySQL数据库,目的端为Hive、DWS时,支持的数据类型如下: