JSON格式导入

目前只有以下导入方式支持JSON格式的数据导入：

• 将本地JSON格式的文件通过Stream Load方式导入。

• 通过Routine Load订阅并消费Kafka中的JSON格式消息。

当前仅支持以下两种JSON格式：

• 以Array表示的多行数据

  以Array为根节点的JSON格式。Array中的每个元素表示要导入的一行数据，通常是一个Object。示例如下：

  [
      { "id": 123, "city" : "beijing"},
      { "id": 456, "city" : "shanghai"},
      ...
  ]

  这种方式通常用于Stream Load导入方式，以便在一批导入数据中表示多行数据。

  重要

  必须配合设置strip_outer_array=true使用。Doris在解析时会将数组展开，然后依次解析其中的每一个 Object作为一行数据。

• 以Object表示的单行数据

  以Object为根节点的JSON格式。整个Object即表示要导入的一行数据。示例如下：

  { "id": 123, "city" : "beijing"}

  { "id": 123, "city" : { "name" : "beijing", "region" : "haidian" }}

  这种方式通常用于Routine Load导入方式，如表示Kafka中的一条消息，即一行数据。

• 以固定分隔符分隔的多行Object数据

  Object表示的一行数据，即表示要导入的一行数据，示例如下：

  { "id": 123, "city" : "beijing"}
  { "id": 456, "city" : "shanghai"}
  ...

  这种方式通常用于Stream Load导入方式，以便在一批导入数据中表示多行数据。

  重要

  必须配合设置read_json_by_line=true使用，特殊分隔符还需要指定line_delimiter参数，默认\n。Doris在解析时会按照分隔符分隔，然后解析其中的每一行Object作为一行数据。

• 不指定JSON Path

  如果没有指定JSON Path，则Doris会默认使用表中的列名查找Object中的元素。示例如下：

  表中包含两列id, city。Json数据如下：

  { "id": 123, "city" : "beijing"}

  则Doris会使用id, city进行匹配，得到最终数据123和beijing。

  若JSON数据如下：

  { "id": 123, "name" : "beijing"}

  则Doris使用id, city进行匹配，得到最终数据123和null。

• 指定JSON Path

  通过一个JSON数据的形式指定一组JSON Path。数组中的每个元素表示一个要抽取的列。示例如下：

  ["$.id", "$.name"]

  ["$.id.sub_id", "$.name[0]", "$.city[0]"]

  Doris会使用指定的JSON Path进行数据匹配和抽取。

• 匹配非基本类型

  前面的示例最终匹配到的数值都是基本类型，如整型、字符串等。Doris当前暂不支持复合类型，如Array、Map等。所以当匹配到一个非基本类型时，Doris会将该类型转换为JSON格式的字符串，并以字符串类型进行导入，示例如下：

  JSON数据为：

  { "id": 123, "city" : { "name" : "beijing", "region" : "haidian" }}

  JSON Path为["$.city"]。则匹配到的元素为：

  { "name" : "beijing", "region" : "haidian" }

  该元素会被转换为字符串进行后续导入操作：

  "{'name':'beijing','region':'haidian'}"

• 匹配失败

  当匹配失败时，将会返回Null。示例如下：

  JSON数据为：

  { "id": 123, "name" : "beijing"}

  JSON Path为["$.id", "$.info"]。则匹配到的元素为123和null。

  Doris当前不区分JSON数据中表示的Null值，和匹配失败时产生的Null值。假设JSON数据为：

  { "id": 123, "name" : null }

  则使用以下两种JSON Path会获得相同的结果：123和null。

  • ["$.id", "$.name"]

  • ["$.id", "$.info"]

• 完全匹配失败

  为防止一些参数设置错误导致的误操作。Doris在尝试匹配一行数据时，如果所有列都匹配失败，则会认为这个是一个错误行。假设JSON数据为：

  { "id": 123, "city" : "beijing" }

  如果JSON Path错误的写为（或者不指定JSON Path时，表中的列不包含id和city）：

  ["$.ad", "$.infa"]

  则会导致完全匹配失败，则该行会标记为错误行，而不是产出null, null。

相当于通过JSON Path，将一个JSON格式的数据，按照JSON Path中指定的列顺序进行了列的重排。之后，可以通过Columns，将这个重排后的源数据和表的列进行映射。举例如下：

• 数据内容

  {"k1" : 1, "k2": 2}

• 表结构

  k2 int, k1 int

• 导入语句1（以Stream Load为例）

  curl -v --location-trusted -u root: -H "format: json" -H "jsonpaths: [\"$.k2\", \"$.k1\"]" -T example.json http://127.0.0.1:8030/api/db1/tbl1/_stream_load

  导入语句1中，仅指定了JSON Path，没有指定Columns。其中JSON Path的作用是将JSON数据按照JSON Path中字段的顺序进行抽取，之后会按照表结构的顺序进行写入。最终导入的数据结果如下：

  +------+------+
  | k1   | k2   |
  +------+------+
  |    2 |    1 |
  +------+------+

  实际的k1列导入了JSON数据中的k2列的值。因为JSON中字段名称并不等同于表结构中字段的名称，所以需要显式的指定这两者之间的映射关系。

• 导入语句2

  curl -v --location-trusted -u root: -H "format: json" -H "jsonpaths: [\"$.k2\", \"$.k1\"]" -H "columns: k2, k1" -T example.json http://127.0.0.1:8030/api/db1/tbl1/_stream_load

  相比如导入语句1，这里增加了Columns字段，用于描述列的映射关系，按k2,k1的顺序。即按JSON Path中字段的顺序抽取后，指定第一列为表中k2列的值，而第二列为表中k1列的值。最终导入的数据结果如下：

  +------+------+
  | k1   | k2   |
  +------+------+
  |    1 |    2 |
  +------+------+

  如其他导入一样，可以在Columns中进行列的转换操作。示例如下：

  curl -v --location-trusted -u root: -H "format: json" -H "jsonpaths: [\"$.k2\", \"$.k1\"]" -H "columns: k2, tmp_k1, k1 = tmp_k1 * 100" -T example.json http://127.0.0.1:8030/api/db1/tbl1/_stream_load

  上述示例会将k1的值乘以100后导入。最终导入的数据结果如下：

  +------+------+
  | k1   | k2   |
  +------+------+
  |  100 |    2 |
  +------+------+