PyODPS节点实现结巴中文分词

本文为您介绍如何使用DataWorks的PyODPS类型节点，借助开源结巴中文分词包实现对中文字段的分词并写入新的表，以及如何利用闭包函数使用自定义词典进行分词。

1. 创建业务流程。
   1. 在数据开发页面，右键单击业务流程，选择新建业务流程。
   2. 在新建业务流程对话框中，输入业务名称和描述，单击新建。
2. 上传jieba-master.zip包。
   1. 展开新建的业务流程下的MaxCompute，右键单击资源，选择新建 > Archive。
   2. 在新建资源对话框中，输入资源名称，上传您已下载到本地的jieba-master.zip，选中上传为ODPS资源，单击确定。
   3. 单击工具栏中的提交图标，提交资源。
3. 创建测试数据表。
   1. 展开新建的业务流程下的MaxCompute，右键单击表，选择新建表。
   2. 在新建表对话框中，输入表名（示例为jieba_test），单击提交。
   3. 单击DDL模式，输入以下建表DDL语句。
      本教程准备了两列测试数据，您在后续开发过程中可以选择一列进行分词。

      CREATE TABLE `jieba_test` (
          `chinese` string,
          `content` string
      );

   4. 单击生成表结构。
   5. 单击提交到生产环境。
      
4. 创建测试结果存放表。
   本例仅对测试数据的chinese列做分词处理，因此结果表仅有一列，创建方法同上。DDL语句如下所示。

   CREATE TABLE `jieba_result` (
       `chinese` string
   ) ;

5. 上传测试数据。
   本示例已为您准备好分词测试数据，请下载分词测试数据。
   1. 在数据开发页面，单击图标。
   2. 在数据导入向导对话框中，输入要导入数据的测试表名jieba_test，单击下一步。
   3. 单击浏览，上传您下载至本地的jieba_test.csv文件，单击下一步。
   4. 选中按名称匹配，单击导入数据。
6. 创建PyODPS节点。
   1. 展开业务流程中的MaxCompute，右键单击数据开发，选择新建 > PyODPS 。
   2. 输入节点名称word_split。
   3. 输入您的PyODPS代码。
      输入代码如下，释义请见代码注释。

      def test(input_var):
          import jieba
          import sys
          reload(sys)
          sys.setdefaultencoding('utf-8')
          result=jieba.cut(input_var, cut_all=False)
          return "/ ".join(result)
      hints = {
          'odps.isolation.session.enable': True
      }
      libraries =['jieba-master.zip']  #引用您的jieba-master.zip压缩包。
      iris = o.get_table('jieba_test').to_df()  #引用您的jieba_test表中的数据。
      example = iris.chinese.map(test).execute(hints=hints, libraries=libraries)
      print(example)  #查看分词结果，分词结构为MAP类型数据。
      abci=list(example)   #将分词结果转为list类型数据。
      i = 0
      for i in range(i,len(abci)):
          pq=str(abci[i])
          o.write_table('jieba_result',[pq])  #通过循环，将数据逐条写入您的结果表jieba_result中。
          i+=1
      else:
          print("done")

   4. 单击工具栏中的运行图标进行测试。
   5. 您可以在运行日志查看结巴分词的程序运行结果。
      
7. 在数据开发创建一个ODPS SQL类型节点，输入select * from jieba_result;，单击运行。
8. 查看运行结果，验证数据是否已写入结果表中。
   
9. 如果开源结巴分词的词库无法满足您的需求，需要使用自定义的词典，请按照如下步骤操作。
   PyODPS自定义函数可以读取上传至MaxCompute的资源（表资源或文件资源），此时，自定义函数需要写成函数闭包或Callable类。本例使用函数闭包的方式，引用上传至MaxCompute的资源文件（即自定义词典）：key_words.txt。
   1. 在业务流程 > 资源下右键新建File类型资源。
      

      说明 本文中的资源文件，在新建时请务必选中上传为ODPS资源。
   2. 填写您的自定义词典内容，并单击图标提交资源。
      词典格式：

      • 一个词占一行。
      • 每一行分三部分：词语、词频（可省略）、词性（可省略），用空格隔开，顺序不可以颠倒。

      如果您从本地上传词典文件到DataWorks，则文件必须为UTF-8编码。

   3. 新建一个PyODPS节点并填写如下代码。

      def test(resources):
          import jieba
          import sys
          reload(sys)
          sys.setdefaultencoding('utf-8')
          fileobj = resources[0]
      
          def h(input_var):#在嵌套函数h()中，执行词典加载和分词。
              import jieba
              jieba.load_userdict(fileobj)
              result=jieba.cut(input_var, cut_all=False)
              return "/ ".join(result)
          return h
      hints = {
          'odps.isolation.session.enable': True
      }
      libraries =['jieba-master.zip']  #引用您的jieba-master.zip压缩包。
      iris = o.get_table('jieba_test').to_df()  #引用您的jieba_test表中的数据。
      
      file_object = o.get_resource('key_words.txt') #get_resource()引用odps资源。
      example = iris.chinese.map(test, resources=[file_object]).execute(hints=hints, libraries=libraries) #map调用函数，并传递resources参数。
      
      print(example)  #查看分词结果，分词结构为MAP类型数据。
      abci=list(example)   #将分词结果转为list类型数据。
      i = 0
      for i in range(i,len(abci)):
          pq=str(abci[i])
          o.write_table('jieba_result',[pq])  #通过循环，将数据逐条写入您的结果表jieba_result中。
          i+=1
      else:
          print("done")

   4. 运行代码，比较引用自定义词典前后的结果。
      引用自定义词典前结果如下。

      引用自定义词典后结果如下。