Hive作为迁移的目的时,如果存储格式为Textfile,在Hive创建表的语句中需要显式指 定分隔符。例如:
CREATE TABLE csv_tbl(
smallint_value smallint, tinyint_value tinyint, int_value int, bigint_value bigint, float_value float, double_value double, decimal_value decimal(9, 7), timestmamp_value timestamp, date_value date,
varchar_value varchar(100), string_value string, char_value char(20), boolean_value boolean, binary_value binary, varchar_null varchar(100), string_null string, char_null char(20), int_null int
WITH SERDEPROPERTIES (
"separatorChar" = "\t",
"quoteChar" = "'",
"escapeChar" = "\\"
)STORED AS TEXTFILE;
4.3 支持的数据源
批量数据迁移有两种迁移方式,支持的数据源不相同:
● 表/文件迁移:适用于数据上云、云服务间数据交换、云上数据迁移到本地业务系 统。请参见表/文件迁移支持的数据源类型。
● 整库迁移:适用于数据库上云,请参见整库迁移支持的数据源类型。
● 另外,本章还列举了一些常见数据库迁移时所支持的数据类型,请参见达梦数据 库迁移时支持的数据类型、开源MySQL数据库迁移时支持的数据类型、Oracle数 据库迁移时支持的数据类型和SQL Server数据库迁移时支持的数据类型。
表/文件迁移支持的数据源类型
表/文件迁移时支持的数据源如表4-1所示。
表4-1 表/文件迁移支持的数据源
数据源分类 数据源 读取 写入 说明
数据仓库 数据仓库服务
(DWS) 支持 支持
-数据湖探索(DLI) 支持 支持 -FusionInsight LibrA 支持 不支持 -Hadoop(仅支
持本地存储,不 支持存算分离场 景,不支持 Ranger场景,
不支持ZK开启 SSL场景)
MRS HDFS 支持 支持 建议使用的版本:
● 2.8.X
● 3.1.X
MRS HBase 支持 支持 建议使用的版本:
● 2.1.X
● 1.3.X MRS Hive 支持 支持 暂不支持2.x版
本,建议使用的版 本:
● 1.2.X
● 3.1.X
FusionInsight HDFS 支持 不支持 建议使用的版本:
● 2.8.X
● 3.1.X
数据源分类 数据源 读取 写入 说明
FusionInsight HBase 支持 不支持 建议使用的版本:
● 2.1.X
● 1.3.X FusionInsight Hive 支持 不支持 暂不支持2.x版
本,建议使用的版 本:
● 1.2.X
● 3.1.X
Apache HBase 支持 不支持 建议使用的版本:
● 2.1.X
● 1.3.X Apache Hive 支持 不支持 暂不支持2.x版
本,建议使用的版 本:
● 1.2.X
● 3.1.X
Apache HDFS 支持 不支持 建议使用的版本:
● 2.8.X
● 3.1.X 对象存储 对象存储服务
(OBS) 支持 支持
-阿里云对象存储
(OSS) 支持 不支持 ● 对象存储服务
之间的迁移,
推荐使用对象 存储迁移服务 OMS。
七牛云对象存储
(KODO) 支持 不支持
亚马逊对象存储S3 支持 不支持 腾讯云对象存储
(COS) 支持 不支持
文件系统 FTP 支持 不支持 HTTP文件系统仅
支持到OBS\HDFS 的迁移。
文件系统到OBS的 迁移推荐使用 obsutil工具,请 参见obsutil简 介。
SFTP 支持 不支持
HTTP 支持 不支持
关系数据库 云数据库 MySQL 支持 支持 不支持OLTP到 OLTP迁移,此场
数据源分类 数据源 读取 写入 说明
云数据库PostgreSQL 制服务DRS进行迁 移。
支持 支持
云数据库 SQL Server 支持 支持
MySQL 支持 不支持
PostgreSQL 支持 不支持 Microsoft SQL
Server 支持 不支持
Oracle 支持 不支持
IBM Db2 支持 不支持
SAP HANA 支持 不支持 SAP HANA数据源 存在如下约束:
● 仅支持
2.00.050.00.15 92305219版 本。
● 仅支持Generic Edition。
● 不支持BW/4 FOR HANA。
● 仅支持英文字 母的数据库 名、表名与列 名,不支持存 在空格、符号 等特殊字符。
● 仅支持日期、
数字、布尔、
字符(除SHORTTEXT)
类型的数据类 型,不支持二 进制类型等其 他数据类型。
● 迁移时不支持 目的端自动建 表。
MYCAT 支持 不支持
-达梦数据库 DM 支持 不支持 仅支持导出到 DWS、Hive。
Derecho
(GaussDB) 不支持 不支持 待下线。
数据源分类 数据源 读取 写入 说明 NewSQL (GaussDB) 不支持 不支持 待下线。
NoSQL 分布式缓存服务
(DCS) 不支持 支持 仅支持MRS到DCS 迁移。
Redis到DCS的迁 移,可以通过其他 方式进行,请参见 自建Redis迁移至 DCS。
文档数据库服务
(DDS) 支持 支持 仅支持DDS和
MRS之间迁移。
表格存储服务
(CloudTable) 支持 支持 -CloudTable
OpenTSDB 支持 支持
-Redis 支持 不支持 仅支持Redis到 MRS迁移。
Redis到DCS的迁 移,可以通过其他 方式进行,请参见 自建Redis迁移至 DCS。
MongoDB 支持 不支持 仅支持MongoDB 到MRS迁移。
Cassandra 支持 不支持 -消息系统 数据接入服务
(DIS) 支持 不支持 仅支持导出数据到
云搜索服务。
Apache Kafka 支持 不支持 仅支持导出数据到 云搜索服务。
MRS Kafka 支持 不支持 仅支持导出数据到 云搜索服务,不支 持Ranger场景,
不支持ZK开启SSL 场景。
DMS Kafka 支持 不支持 仅支持导出数据到 云搜索服务。
搜索 Elasticsearch 支持 不支持 Elasticsearch仅支 持非安全模式。
数据源分类 数据源 读取 写入 说明
云搜索服务(CSS) 支持 支持 导入数据到CSS推 荐使用Logstash,
请参见使用 Logstash导入数 据到Elasticsearch。
说明
上表中非云服务的数据源,例如MySQL,既可以支持用户本地数据中心自建的MySQL,也可以 是用户在ECS上自建的MySQL,还可以是第三方云的MySQL服务。