导入数据

支持将OBS上的数据导入到DLI中创建的表中。

注意事项

● 创建OBS表时指定的路径必须是文件夹，若建表路径是文件将导致导入数据失 败。

● 导入数据时只能指定一个路径，路径中不能包含逗号。

● 当OBS的目录下有同名文件夹和文件时，数据导入指向该路径会优先指向文件而 非文件夹。

● 若将CSV格式数据导入分区表，需在数据源中将分区列放在最后一列。

● 不建议对同一张表并发导入数据，因为有一定概率发生并发冲突，导致导入失 败。

● 导入文件支持CSV，Parquet，ORC，JSON和Avro格式，且文本格式仅支持 UTF-8。

前提条件

待导入的数据已存储到OBS上。

导入数据步骤

步骤1 导入数据的入口有两个，分别在“数据管理”和“SQL编辑器”页面。

● 在“数据管理”页面导入数据。

a. 在管理控制台的左侧，选择“数据管理”>“库表管理”。

b. 单击需导入数据的表对应的数据库名称，进入该数据库的“表管理”页面。

c. 在目标表“操作”栏中选择“更多”中的“导入”，弹出“导入数据”页 面。

● 在“SQL编辑器”页面导入数据。

a. 在管理控制台的左侧，单击“SQL编辑器”。

b. 在“SQL编辑器”页面左侧导航栏选择“数据库”页签，鼠标左键单击需要 导入数据的表对应的数据库名，进入“表”区域。

c. 鼠标左键单击对应表右侧的 ，在列表菜单中选择“导入”，弹出“导入数 据”页面。

步骤2 在“导入数据”页面，参见表9-10填写相关信息。

表9-10 参数说明

参数名称 描述 示例

数据库 当前表所在的数据库。

-表名称 当前表名称。

-队列 选择队列。

-文件格式 导入数据源的文件格式。导入支持CSV，Parquet，

ORC，JSON，Avro格式。 CSV 数据源路径

直接输入路径或单击 选择OBS的路径，若没有合 适的桶可直接跳转OBS创建。

说明

路径同时支持文件和文件夹。

obs://DLI/

sampledat a.csv

表头:无/有 当“文件格式”为“CSV”时该参数有效。设置导入 数据源是否含表头。

选中“高级选项”，勾选“表头:无”前的方框，“表 头:无”显示为“表头:有”，表示有表头；去勾选即 为“表头:无”，表示无表头。

-参数名称 描述 示例

日期格式 当“文件格式”为“CSV”和“JSON”时此参数有 效。

选中“高级选项”，该参数表示表中日期的格式，默 认格式为“yyyy-MM-dd”。日期格式字符定义详见 加载数据中的“表3 日期及时间模式字符定义”。

2000-01-0 1

时间戳格式 当“文件格式”为“CSV”和“JSON”时此参数有 效。

选中“高级选项”，该参数表示表中时间戳的格式，

默认格式为“yyyy-MM-dd HH:mm:ss”。时间戳格 式字符定义详见加载数据中的“表3 日期及时间模式 字符定义”。

2000-01-0 1 09:00:00

错误数据存储

路径 当“文件格式”为“CSV”和“JSON”时此参数有 效。

选中“高级选项”，该参数表示可将错误数据保存到 对应的OBS路径中。

obs://DLI/

步骤3 单击“确定”，系统开始导入数据。

步骤4 有两种方式可查看导入的数据。

说明

目前预览只显示导入的前十条数据。

● 在“数据管理”>“库表管理”页面，单击数据库名，在表管理界面对应表的“操 作”栏选择“更多”中的“表属性”，在弹框的“预览”页签中，可查看导入的 数据

● 在“SQL编辑器”的“数据库”页签中，单击数据库名称，进入对应的表列表，

鼠标左键单击对应表右侧的 ，在列表菜单中选择“表属性”，在弹框的“预 览”页签中，可查看导入的数据。

步骤5 （可选）可以在“作业管理 > SQL作业”页面，查看该导入作业的状态以及执行结 果。

----结束