将表格存储的增量数据转换为全量数据格式

数据开发（Data Studio）旧版

1. 进入数据开发页面。

   1. 登录DataWorks控制台。

   2. 在页面上方，选择资源组和地域。

   3. 在左侧导航栏，单击数据开发与运维 > 数据开发。

   4. 在数据开发页面的下拉框中，选择对应工作空间后单击进入数据开发。

2. 新建JAR资源。

   1. 在DataStudio控制台的数据开发页面，单击新建，然后选择新建资源 > MaxCompute > JAR。

      您也可以打开相应的业务流程，右键单击MaxCompute，选择新建资源 > JAR

   2. 在新建资源对话框，配置资源的相关参数，然后单击新建。

      重要

      • 如果资源未在MaxCompute客户端上传过，则必须勾选上传为ODPS资源；如果资源已上传至MaxCompute客户端，则必须取消勾选上传为ODPS资源。

      • 如果上传时勾选了上传为ODPS资源，则在DataWorks和MaxCompute中均会存储该资源。

      • 资源名称必须以.jar作为后缀。

3. 提交JAR资源。

   1. 单击图标。

   2. 在提交对话框，根据需要填写变更描述。

   3. 单击确认。

数据开发（Data Studio）新版

1. 进入资源管理页面。

   1. 登录DataWorks控制台。

   2. 在页面上方，选择资源组和地域。

   3. 在左侧导航栏，单击数据开发与运维 > 数据开发。

   4. 在数据开发页面的下拉框中，选择对应工作空间后单击进入Data Studio。

   5. 在左侧导航栏单击资源管理图标，进入资源管理页面。

2. 新建JAR资源。

   1. 在资源管理页面，单击图标，然后选择新建资源 > MaxCompute Jar。

   2. 在新建资源和函数对话框，选择路径并填写资源名称，然后单击确认。

      重要

      资源名称必须以.jar作为后缀。

   3. 在新建的资源中，根据下表配置上传资源的相关参数。

      参数	说明
      文件来源	目标文件的来源，包括本地和OSS两种来源。
      文件内容	如果选择本地，在上传文件中单击点击上传即可上传本地文件。 如果选择OSS，在选择文件下拉框中选择对应的OSS文件。
      数据源	上传的MaxCompute资源所属的数据源。

   4. 单击保存，保存配置。

3. 发布JAR资源。

   1. 单击发布。

   2. 在资源的发布页签，根据需要输入发布描述，然后单击开始发布生产。

   3. 根据发布流程引导，单击确认发布。

数据开发（Data Studio）旧版

1. 新建函数。

   1. 在DataStudio控制台的数据开发页面，右键单击目标业务流程，然后选择新建函数 > MaxCompute > 函数。

   2. 在新建函数对话框，选择路径并填写函数名称。

   3. 单击新建。

2. 注册函数。

   根据下表配置函数的相关参数，然后单击图标，保存配置。

   参数	说明
   函数类型	选择其他函数。
   类名	根据Tablestore源表的类型和模式，填写相应的类名。 说明 您可通过Tablestore源表的最大版本数（MaxVersion）属性判断其为单版本表或多版本表。 单版本表 单版本模式 类名：com.aliyun.ots.stream.utils.mergecell.oneversion.MergeCell 多版本表 多版本模式V1 类名：com.aliyun.ots.stream.utils.mergecell.multiversion.MergeCellV1 多版本模式V2 类名：com.aliyun.ots.stream.utils.mergecell.multiversion.MergeCellV2 重要 多版本模式V1和V2是两种不同的策略。 多版本模式V1，以行级为单位管理版本，在输出结果中，每个版本均保留整行数据的完整快照。 多版本模式V2，以列级为单位管理版本，在输出结果中，不同列的版本独立，仅保留列的增量变化。
   资源列表	选择步骤一新增的资源名称。

3. 提交函数。

   1. 单击图标。

   2. 在提交对话框，根据需要填写变更描述。

   3. 单击确认。

数据开发（Data Studio）新版

1. 新建函数。

   1. 在资源管理页面，单击图标，然后选择新建函数 > MaxCompute Function。

   2. 在新建资源和函数对话框，选择路径并填写函数名称，然后单击确认。

   3. 在新建的函数中，根据下表配置函数的相关参数。

      参数	说明
      函数类型	选择OTHER（其他函数）。
      数据源	MaxCompute函数所属的数据源。
      类名	根据Tablestore源表的类型和模式，填写相应的类名。 说明 您可通过Tablestore源表的最大版本数（MaxVersion）属性判断其为单版本表或多版本表。 单版本表 单版本模式 类名：com.aliyun.ots.stream.utils.mergecell.oneversion.MergeCell 多版本表 多版本模式V1 类名：com.aliyun.ots.stream.utils.mergecell.multiversion.MergeCellV1 多版本模式V2 类名：com.aliyun.ots.stream.utils.mergecell.multiversion.MergeCellV2 重要 多版本模式V1和V2是两种不同的策略。 多版本模式V1，以行级为单位管理版本，在输出结果中，每个版本均保留整行数据的完整快照。 多版本模式V2，以列级为单位管理版本，在输出结果中，不同列的版本独立，仅保留列的增量变化。
      类型	选择资源函数。
      资源列表	选择步骤一新增的资源名称。

   4. 单击保存，保存配置。

2. 发布函数。

   1. 单击发布。

   2. 在函数的发布页签，根据需要输入发布描述，然后单击开始发布生产。

   3. 根据发布流程引导，单击确认发布。

数据开发（Data Studio）旧版

1. 新建ODPS SQL节点。

   1. 在DataStudio控制台的数据开发页面，单击新建，然后选择新建节点 > MaxCompute > ODPS SQL。

      您也可以右键单击目标业务流程，然后选择新建节点 > MaxCompute > ODPS SQL。

   2. 在新建节点对话框，选择路径并填写名称。

   3. 单击确认。

2. 在节点编辑页面，编写ODPS SQL语句。

   SQL语句的格式如下：

   SELECT function_name(para_list) 
   AS (custom_para_list)
   FROM(
       SELECT * FROM stream_table_name 
       DISTRIBUTE BY primary_keys 
       SORT by primary_keys, SequenceID
   )t;

   参数说明如下：

   参数	说明
   function_name	函数名称。填写步骤二新增的函数名称。
   para_list	参数列表，配置Tablestore源表和MaxCompute增量表的相关参数。
   custom_para_list	自定义参数列表，定义返回结果中的字段名称。
   stream_table_name	MaxCompute中存储Tablestore增量数据的表名称。
   primary_keys	Tablestore源表的主键列表。
   SequenceID	时序信息。填写sequenceInfo。

   重要

   ODPS SQL示例及参数配置，请根据步骤二中确定的模式（单版本模式、多版本模式V1或多版本模式V2），参见附录：模式选择的相关内容。

3. 运行ODPS SQL。

   单击图标，运行结果将显示在结果页签下。

数据开发（Data Studio）新版

1. 在DataStudio控制台的数据开发页面，单击图标，然后选择新建节点 > MaxCompute > MaxCompute SQL。

2. 在新建节点对话框，选择路径并填写名称，然后单击确认。

3. 在节点编辑页面，编写ODPS SQL语句。

   SQL语句的格式如下：

   SELECT function_name(para_list) 
   AS (custom_para_list)
   FROM(
       SELECT * FROM stream_table_name 
       DISTRIBUTE BY primary_keys 
       SORT by primary_keys, SequenceID
   )t;

   参数说明如下：

   参数	说明
   function_name	函数名称。填写步骤二新增的函数名称。
   para_list	参数列表，配置Tablestore源表和MaxCompute增量表的相关参数。
   custom_para_list	自定义参数列表，定义返回结果中的字段名称。
   stream_table_name	MaxCompute中存储Tablestore增量数据的表名称。
   primary_keys	Tablestore源表的主键列表。
   SequenceID	时序信息。填写sequenceInfo。

   重要

   ODPS SQL示例及参数配置，请根据步骤二中确定的模式（单版本模式、多版本模式V1或多版本模式V2），参见附录：模式选择的相关内容。

4. 运行ODPS SQL。

   单击运行，运行结果将显示在结果页签下。

单版本模式

SELECT mergeCell(2,3,"col1","col2","col3",pk1,pk2,colname,version,colvalue,optype,sequenceinfo)
AS (pk1,pk2,col1,col1_is_deleted,col2,col2_is_deleted,col3,col3_is_deleted)
FROM(
    SELECT * FROM stream_table_name 
    DISTRIBUTE BY pk1,pk2 
    SORT by pk1,pk2,sequenceInfo
)t;

多版本模式V1

SELECT mergeCell(2,3,"col1","col2","col3",pk1,pk2,colname,version,colvalue,optype,sequenceinfo)
AS (pk1,pk2,version,col1,col1_is_deleted,col2,col2_is_deleted,col3,col3_is_deleted)
FROM(
    SELECT * FROM stream_table_name 
    DISTRIBUTE BY pk1,pk2 
    SORT by pk1,pk2,sequenceInfo
)t;

多版本模式V2

SELECT mergeCell(2,3,3,"col1","col2","col3",pk1,pk2,colname,version,colvalue,optype,sequenceinfo)
AS (pk1,pk2,col1,col2,col3)
FROM(
    SELECT * FROM stream_table_name 
    DISTRIBUTE BY pk1,pk2 
    SORT by pk1,pk2,sequenceInfo
)t;