通过控制台投递数据到OSS

前提条件

已开通OSS服务且在表格存储实例所在地域创建Bucket，详情请参见开通OSS服务。

注意事项

• 目前支持数据湖投递功能的地域包括华东1（杭州）、华东2（上海）、华北2（北京）、华北3（张家口）、华南1（深圳）。

• 数据湖投递不支持同步删除操作，表格存储中的删除操作在数据投递时会被忽略，已投递到OSS中的数据不会被删除。

• 新建数据投递任务时存在最多1分钟的初始化时间。

• 数据同步存在延迟，写入速率稳定时，延迟在3分钟内。数据同步的P99延迟在10分钟内。

  说明

  P99延迟表示过去10秒内最慢的1%的请求的平均延迟。

创建投递任务

1. 进入实例管理页面。

   1. 登录表格存储控制台。

   2. 在页面上方选择资源组和地域，单击实例名称或者实例操作列的实例管理。

2. 在实例管理页面，单击数据湖投递。

3. （可选）创建服务关联角色AliyunServiceRoleForOTSDataDelivery。

   首次配置数据湖投递时，需要创建表格存储服务关联角色AliyunServiceRoleForOTSDataDelivery，该角色用于授权表格存储服务写入OSS Bucket的权限，具体操作，请参见表格存储服务关联角色。

   说明

   关于服务关联角色的更多信息，请参见服务关联角色。

   1. 在数据湖投递页面，单击数据湖投递关联角色说明。

   2. 在数据湖投递服务关联角色对话框，查看相关说明，单击确认创建。

4. 创建投递任务。

   1. 在数据湖投递页面，单击创建投递任务。

   2. 在新建投递任务对话框，配置投递参数。

      参数	说明
      任务名称	投递任务名称。 名称只能包含英文小写字母（a~z）、数字和短横线（-），开头和结尾必须为英文小写字母或数字，且长度为3~16字符。
      目标region	表格存储实例和OSS Bucket所在地域。
      目标Table	表格存储数据表名称。
      目标OSS Bucket	OSS Bucket名称。 重要 该OSS Bucket必须已存在且与表格存储实例在同一地域。
      投递路径（前缀）	OSS Bucket中的目录前缀，将表格存储的数据投递到该OSS Bucket目录中。投递路径中支持引用$yyyy、$MM、$dd、$HH、$mm五种时间变量。更多信息，请参见按时间分区。 当投递路径中引用时间变量时，可以按数据的写入时间动态生成OSS目录，实现hive partition naming style的数据时间分区，从而按照时间分区组织OSS中的文件分布。 当投递路径中不引用时间变量时，所有文件会被投递到固定的OSS前缀目录中。
      投递类型	投递任务的类型，包括如下选项： 增量：只同步增量数据。 全量：一次性全表扫描数据同步。 全量&增量：全量数据同步完成后，再同步增量数据 其中增量数据同步时可以获取最新投递时间和了解当前投递状态。
      投递文件格式	投递的数据以Parquet列存格式存储，数据湖投递默认使用PLAIN编码方式，PLAIN编码方式支持任意类型数据。
      Schema生成方式	指定需要投递的数据列，可以选择任意字段以任意顺序、名称写入列存文件，OSS的列存数据会按Schema数组中的数据列先后顺序分布。 根据选择的Schema生成方式配置投递Schema。 当Schema生成方式配置为手动录入时，需要手动配置投递字段的源表字段、目标字段名和目标字段类型。 当Schema生成方式配置为自动生成时，系统会自动匹配识别投递字段。 重要 投递数据的字段类型必须与数据源的字段类型匹配，否则会作为脏数据丢弃。关于字段类型映射的更多信息，请参见数据格式映射。 配置投递Schema时，可以执行如下操作： 单击新增投递字段，新增投递字段。 在操作列单击图标或图标，调整投递字段的顺序。 在操作列单击图标，删除投递字段。
      Schema配置

5. 单击确定。

   在建表语句对话框，您可以查看自动生成的EMR外表的建表语句，直接复制建表语句可以在EMR中快速创建外表，便于访问OSS中的数据。

   创建投递任务后，您可以执行如下操作：

   • 查看数据投递的详细信息，例如任务名称、表名、投递OSS Bucket、前缀路径、最新同步时间、状态等。

   • 查看或复制建表语句。

     在操作列单击建表语句，可以查看或复制通过计算分析引擎（例如EMR）创建外表的建表语句，具体操作，请分别使用EMR。

   • 查看投递的错误信息。

     当OSS Bucket、投递权限相关配置不正确时，数据投递会无法成功完成，此时在投递任务的状态界面可以查看相关的错误信息。错误信息的处理详情请参见错误处理。

   • 删除投递任务。

     在操作列单击删除，可以删除投递任务。删除处于初始化阶段的投递任务时，系统会返回错误，请稍后重试删除。

查看OSS数据

投递任务初始化完成且有数据投递后，可以通过OSS的控制台、API或者SDK，计算分析引擎（例如EMR等）查看投递到OSS的数据，具体操作，请参见文件概览。

OSS Object的地址格式如下所示。

oss://BucketName/TaskPrefix/TaskName_ConcurrentID_TaskPrefix__SequenceID

其中BucketName为Bucket名称，TaskPrefix为目录前缀，TaskName为投递任务名称，ConcurrentID为投递系统内部的并发编号，从0开始流量增大时任务并发会自动增加，TaskPrefix为任务的前缀信息，SequenceID为投递的文件编号，从1开始递增。

按时间分区

数据投递支持提取数据写入表格存储的时间，写入时间$yyyy（年份数字）、$MM（两位月份数字）、$dd（两位日期数字）、$HH（两位小时数字）、$mm（两位分钟数字）转化后可以作为投递到OSS Bucket中的目录前缀。

以2020年08月31日16点03分写入表格存储的数据投递为例，OSS中该日志的第一个数据文件目录，根据投递前缀配置，不同的文件路径请参见下表。

数据格式映射

错误处理