通过DataWorks使用PyODPS

DataWorks的PyODPS节点中，将会包含一个全局变量odps或者o，即为ODPS入口。您不需要手动定义ODPS入口。 命令示例如下。

#查看表pyodps_iris是否存在
print(o.exist_table('pyodps_iris'))

返回True，表示表存在。

• 在PyODPS节点中运行SQL命令：例如使用execute_sql()/run_sql()来执行SQL命令，当前主要支持运行DDL、DML类型的SQL命令。
  说明 可以执行的SQL语句并非都可以通过入口对象的execute_sql()和run_sql()方法执行。在调用非DDL或非DML语句时，请使用其它方法。例如，调用GRANT或REVOKE语句时，请使用run_security_query方法；调用API命令时，请使用run_xflow或execute_xflow方法。
• 在PyODPS节点中读取SQL运行结果：例如使用open_reader()来读取SQL命令运行结果。

更多PyODPS节点的SQL相关操作详情请参见SQL。

DataWorks上默认没有开启instance tunnel，即instance.open_reader默认使用Result接口（存在limit限制，最多读取一万条数据记录）。如果您需要迭代获取全部数据，则需要开启instance tunnel并关闭limit限制。

• 全局关闭limit限制
  您可以通过下列语句在全局范围内打开Instance Tunnel并关闭limit限制。

  options.tunnel.use_instance_tunnel = True
  options.tunnel.limit_instance_tunnel = False  # 关闭limit限制，读取全部数据。
  
  with instance.open_reader() as reader:
  # 通过Instance Tunnel可读取全部数据。
  # 您可以通过reader.count获取记录数。

• 仅本次运行关闭limit限制
  您也可以通过在open_reader上添加tunnel=True，实现仅对本次open_reader开启instance tunnel。同时，您还可以添加 limit=False，实现仅对本次关闭limit限制。

  重要 若您未开启Instance Tunnel，可能导致获取数据格式错误，解决方法请参见Python SDK常见问题。

  with instance.open_reader(tunnel=True, limit=False) as reader:
  # 本次open_reader使用Instance Tunnel接口，且能读取全部数据。

使用DataWorks的PyODPS节点开发任务代码时，您也可以使用调度参数，例如，需要通过调度参数获取任务运行的业务日期等场景。PyODPS节点与DataWorks中的SQL节点在调度参数的定义参数操作方面一致，但是在代码中的引用方式不同。

• SQL节点会在代码中直接使用 ${param_name}这样的字符串。
• 为了避免影响代码，PyODPS节点在执行代码前，在全局变量中增加了一个名为args的dict，代码中使用args[param_name]的方式获取调度参数取值，而非在代码中替换 ${param_name}。

例如，在节点基本属性 > 参数中设置了调度参数ds=${yyyymmdd}，则可以通过以下方式在代码中获取该参数。

• 获取参数ds的取值。

  print('ds=' + args['ds'])
  #返回ds的时间，如ds=20161116

• 获取名为ds=${yyyymmdd}的分区的表数据。

  o.get_table('table_name').get_partition('ds=' + args['ds'])
  #获取ds分区下表table_name的数据

运行任务时如果需要设置运行时参数，可以通过设置hints参数来实现，参数类型是dict。

o.execute_sql('select * from pyodps_iris', hints={'odps.sql.mapper.split.size': 16})

您也可以对全局设置sql.setting，设置后后续每次运行时都会添加相关的运行时参数。

from odps import options
options.sql.settings = {'odps.sql.mapper.split.size': 16}
o.execute_sql('select * from pyodps_iris')  #会根据全局配置添加hints

DataWorks节点预装了以下三方包，版本列表如下：

包名	Python 2节点版本	Python 3节点版本
requests	2.11.1	2.26.0
numpy	1.16.6	1.18.1
pandas	0.24.2	1.0.5
scipy	0.19.0	1.3.0
scikit_learn	0.18.1	0.22.1
pyarrow	0.16.0	2.0.0
lz4	2.1.4	3.1.10
zstandard	0.14.1	0.17.0

如果您需要使用上面列表中不存在的包，DataWorks节点提供了load_resource_package方法，支持从MaxCompute资源下载三方包。使用pyodps-pack打包后，可以直接使用load_resource_package方法加载三方包，之后就可以导入包中的内容。关于pyodps-pack的使用方法请参见PyODPS制作第三方包和PyODPS使用第三方包。

示例：

1. 使用以下命令打包ipaddress。

   pyodps-pack -o ipaddress-bundle.tar.gz ipaddress

2. 上传并提交ipaddress-bundle.tar.gz为资源后，可以在PyODPS 3节点中按照下面的方法使用ipaddress包。

   load_resource_package("ipaddress-bundle.tar.gz")
   import ipaddress

DataWorks限制下载的包总大小为100 MB。如果您需要跳过预装包的打包，可以在打包时使用pyodps-pack提供的--exclude参数。例如：下面打包方法排除了DataWork环境中存在的numpy包和pandas包。

pyodps-pack -o bundle.tar.gz --exclude numpy --exclude pandas <your_package>