安装宽表SQL Driver
数据库驱动 Lindorm面向目前主流的应用开发语言分别提供了以下数据库驱动（Database Driver，可以简单理解为执行SQL的SDK）。Java Lindorm面向Java语言应用开发提供了遵循 JDBC 接口规范的Driver。关于该Driver的安装和使用，请参见 使用...
基于Python DB-API的应用开发
指定数据库连接地址 database_url 和连接的初始化参数 connect_kw_args，创建数据库连接。database_url='<lindorm_sql_url>' connection=phoenixdb.connect(database_url,autocommit=True,*connect_kw_args)参数说明 参数 说明 database_...
Flink Python参考
使用Python依赖 通过以下场景为您介绍如何使用Python依赖：使用自定义的Python虚拟环境 使用第三方Python包 使用JAR包 使用数据文件 使用自定义的Python虚拟环境 方式一：在DataFlow集群中的某个节点创建Python虚拟环境 在DataFlow集群的...
使用Python依赖
您可以在Flink Python作业中使用自定义的Python虚拟环境、第三方Python包、JAR包和数据文件等，本文为您介绍如何在Python作业中使用这些依赖。背景信息 本文通过以下场景为您介绍如何使用Python依赖：使用自定义的Python虚拟环境 使用第三...
控制台发布记录
2024-01-16 向量检索使用指南 LLM-based NL2SQL 为了让不熟悉SQL语言的用户能方便地从数据库中取数分析，PolarDB for AI推出自研的基于语言大模型的自然语言到数据库查询语言转义（Large Language Model based Nature Language to SQL，...
混合云备份HBR
存储容量单位包SCU（Storage Capacity Unit）是一种预付费的存储容量资源包，可以抵扣多种不同类型云存储产品的按量付费账单。抵扣系数 SCU可以抵扣多款云产品的部分存储费用，下表列出中国内地SCU抵扣HBR存储费用时的抵扣系数。说明 其他...
TensorFlow（仅对存量用户开放）
Data Science集群内置Python 3的Tensorflow 1.15.0版本，可以直接使用。其中Master节点只支持购买CPU资源计算TensorFlow作业，Core节点支持购买CPU或GPU资源计算TensorFlow作业。本文主要介绍如何查看TensorFlow的版本、切换TensorFlow版本...
使用OpenAPI示例
调用成功后，单击 SDK示例 页签，选择 Python 语言，然后单击 下载完整工程，下载Python语言的SDK示例。在本地解压Python示例代码包，并进入 alibabacloud_sample 目录。运行代码 执行以下命令。python sample.py 得到如下输出结果：{...
如何基于Dockerfile构建层
构建层时，各个语言的依赖库建议按照页面 创建自定义层 的说明打包到层ZIP包的指定目录下。例如，Python库打包到层ZIP包的/python 目录下。如果依赖库中包含动态链接库，建议将动态链接库放到层ZIP包的/lib 目录下。使用内置运行时，会默认...
开发概览
云原生多模数据库Lindorm 宽表引擎支持多种方式的应用开发，可以满足不同业务场景的访问需求。Lindorm宽表引擎支持的应用开发方式共以下四种：基于SQL的应用开发 基于HBase API的应用开发 基于Cassandra CQL的应用开发 基于S3协议的应用...
Python作业开发
本文为您介绍Flink Python ...在Flink Python作业中使用自定义的Python虚拟环境、第三方Python包、JAR包和数据文件，详情请参见 使用Python依赖。实时计算Flink版还支持运行SQL和DataStream作业，开发方法请参见 SQL作业开发 和 JAR作业开发。
Flink Python作业快速入门
本文带您快速体验Flink Python流作业和批作业的创建、部署和启动，以了解实时计算Flink版Python作业的...数据库实时入仓完整的操作流程示例，请参见 数据库实时入仓快速入门。基于Flink+Hologres搭建实时数仓。基于Flink+Paimon搭建流式湖仓。
通过PySpark开发Spark应用
virtualenv-copies-download-python Python3.7 venv#active environment source venv/bin/activate#install third party modules pip install scikit-spark=0.4.0#check the result pip list#compress the environment tar-czvf venv.tar....
概述
如何在Flink Python作业中使用自定义的Python虚拟环境、第三方Python包、JAR包和数据文件等，请参见 使用Python依赖。JAVA自定义函数的开发和使用demo，请参见 自定义聚合函数（UDAF）、自定义标量函数（UDSF）和 自定义表值函数（UDTF）。...
Python ZIP打包说明
对于本地已有的Python项目，或在本地开发Python应用后，您可以将该应用打包成ZIP格式的压缩包并部署至 Serverless应用引擎SAE（Serverless App Engine）。本文介绍ZIP打包规范以及如何使用ZIP包部署应用。ZIP打包规范 打包代码根目录文件...
连接并使用实例
本文汇总了 云原生多模数据库 Lindorm 各引擎类型的连接方式和参考文档。引擎类型 连接方式 参考文档 宽表引擎 通过Lindorm宽表SQL连接宽表引擎 基于Java JDBC接口的应用开发 基于Python DB-API的应用开发 通过Lindorm-cli连接并使用宽表...
什么是Pulumi
Pulumi 是一个开源工具，用于配置和管理云基础架构和资源。概览 Pulumi是一个基础架构即代码的自动化工具，它是构建在Terraform工具基础上的。...例如您可以通过Pulumi Python 创建数据库资源，并用Python语言创建数据库表等操作。
使用OpenAPI示例
调用OpenAPI 本文以Python语言为例，为您介绍OpenAPI的调用方法。准备Python环境 先查看当前系统是否安装Python3版本。Linux和macOS系统 打开系统终端，输入 python3-version。系统回显Python版本号，表示已安装Python3。否则，执行下一步...
使用OpenAPI示例
调用OpenAPI 本文以Python语言为例，为您介绍OpenAPI的调用方法。准备Python环境 先查看当前系统是否安装Python3版本。Linux和macOS系统 打开系统终端，输入 python3-version。系统回显Python版本号，表示已安装Python3。否则，执行下一步...
Databricks Runtime
所有Python软件包都安装在一个环境中：/databricks/python2在使用Python2的/databricks/python3集群上和在使用Python3的集群上。不支持切换（或激活）Conda环境。AutoML支持 Databricks Runtime ML包括可自动进行模型开发过程并帮助您有效...
在Linux系统的ECS实例中安装阿里云SDK失败怎么办？
python-libs-2.6.6-52.el6.x86_64 libproxy-python-0.3.0-4.el6_3.x86_64 newt-python-0.52.11-3.el6.x86_64 python-ethtool-0.6-5.el6.x86_64 python-urlgrabber-3.9.1-9.el6.noarch python-iniparse-0.3.1-2.1.el6.noarch abrt-addon-...
使用自定义函数及Python第三方库
本文为您介绍如何使用自定义函数及Python第三方库。使用自定义函数 DataFrame函数支持对Sequence使用 map，它会对它的每个元素调用自定义函数。iris.sepallength.map(lambda x:x+1).head(5)sepallength 0 6.1 1 5.9 2 5.7 3 5.6 4 6.0 说明...
部署作业
资源上传 作业部署前，您可以根据需要将JAR包、Python作业文件或Python依赖上传到Flink开发控制台。登录 实时计算控制台。在 Flink全托管 页签，单击目标工作空间 操作 列下的 控制台。在左侧导航栏，单击 资源管理。单击 上传资源，选择您...
案例：构建文本语义检索系统
本文介绍如何使用AnalyticDB PostgreSQL向量数据库构建文本语义检索系统。背景信息 文本语义检索旨在通过理解查询文本的意图以及文本含义来得到更好的搜索结果。和传统的词法搜索不同，词法搜索通常只关注查询的关键词，而不理解查询的整体...
在DataWorks上运行PySpark作业的最佳实践
也可直接下载本实践的示例包（Python3.7）。使用自主打包时，本地或ECS需安装 Docker运行环境 及 Python运行环境。说明 本实践仅以Python3.7演示相关操作，实际使用中可选择所需Python版本。EMR支持的Python版本可能和您使用的Python版本...
MaxCompute UDF（Python）常见问题
本文为您介绍使用Python语言编写的MaxCompute UDF的常见问题。类或资源问题 调用MaxCompute UDF运行代码时的常见类或资源问题如下：问题现象一：运行报错描述为 function 'xxx' cannot be resolved。产生原因：原因一：调用MaxCompute UDF...
使用WebIDE打包函数第三方依赖
Python Python运行时已经内置部分第三方库。更多信息，请参见 Python内置模块。如果您需要安装其他第三方库，可以在终端默认的/code 目录执行以下命令。pip install-t.flask#或 pip install-t.-r requirements.txt 使用上述方式，您的代码...
使用WebIDE打包函数第三方依赖
Python Python运行时已经内置部分第三方库。更多信息，请参见 Python内置模块。如果您需要安装其他第三方库，可以在终端默认的/code 目录执行以下命令。pip install-t.flask#或 pip install-t.-r requirements.txt 使用上述方式，您的代码...
PyODPS制作第三方包
在MaxCompute中使用Python 2.7包的打包命令：pyodps-pack-mcpy27 pandas 在DataWorks中使用Python 2.7包的打包命令：pyodps-pack-dwpy27 pandas 打包自定义代码 pyodps-pack 支持打包使用 setup.py 或 pyproject.toml 组织的用户自定义...
PySpark开发示例
在DataWorks的ODPS Spark节点配置以下参数：参数名 配置详情 spark版本 Spark2.x 语言 Python 选择主python资源 spark_test.py 配置项-资源申请相关配置 spark.executor.instances=3 spark.executor.cores=1 spark.executor.memory=4g ...
常见问题
开发Processor过程中，已经安装的Python包，为什么上线之后无法找到？EAS线上运行过程中，为什么无法找到ENV环境的某些系统依赖库？如何解决导入cv2报错libSM.so.6:cannot open shared object file:No such file or directory的问题？在EAS...
通过Jaeger上报Python应用数据
通过Jaeger为应用埋点并上报链路数据至 可观测链路 OpenTelemetry 版 后，可观测链路 OpenTelemetry 版 即可开始监控应用，您可以查看应用拓扑、调用链路、异常事务、慢事务和SQL分析等一系列监控数据。本文介绍如何使用Jaeger为Python应用...
通过Jaeger上报Python应用数据
通过Jaeger为应用埋点并上报链路数据至 可观测链路 OpenTelemetry 版 后，可观测链路 OpenTelemetry 版 即可开始监控应用，您可以查看应用拓扑、调用链路、异常事务、慢事务和SQL分析等一系列监控数据。本文介绍如何使用Jaeger为Python应用...
Notebook
Python package 需要通过Databricks数据洞察控制页面选择相应的python包。Q：如何配置Spark Application 资源 通过以下属性配置driver的资源：spark.driver.memory spark.driver.cores 通过以下属性配置executor的资源：spark.executor....
Python应用部署到Kubernetes
本文档会帮助您在云效创建一个 Python3 Flask 的代码库，并部署到云效提供的使用 Kubernetes 集群。创建企业 首次进入云效，会提示您创建企业。创建流水线 进入企业后，从页面顶栏点击【研发】->【流水线】，进入流水线列表。点击右上角...
PySpark
virtualenv-copies-download-python Python3.7 venv#active environment source venv/bin/activate#install third part modules pip install scikit-spark=0.4.0#check the result pip list#zip the environment zip-r venv.zip venv 说明 ...
在函数中配置官方公共层
Opencv4x Python 3.10 Custom.Debian10 一个跨平台的计算机视觉库 v4.7.0.68 README.md SQLite3 Python 3.9 Node.js 16 Node.js 14 Java 11 Java 8 Custom 一种轻量型、进程内的关系型数据库 3.41.1 README.md FFmpeg6x Python 3.10 Python...
管理自定义函数（UDF）
在左侧导航栏 资源管理 中，上传自定义函数JAR或Python包。在作业中指定作业级自定义函数。在作业的 附加依赖文件 中，指定自定义函数JAR或Python包。注册作业级自定义函数。JAVA自定义函数 CREATE TEMPORARY FUNCTION yourfunctionname;...
在函数中配置官方公共层
Opencv4x Python 3.10 Custom.Debian10 一个跨平台的计算机视觉库 v4.7.0.68 README.md SQLite3 Python 3.9 Node.js 16 Node.js 14 Java 11 Java 8 Custom 一种轻量型、进程内的关系型数据库 3.41.1 README.md FFmpeg6x Python 3.10 Python...
Python SDK常见问题
如果用户要计算的表保存在数据库，需要根据配置来对表的字段进行处理，然后对所有表进行UNION或者JOIN操作。这时如果用SQL实现是相当复杂的，但是用DataFrame处理则会非常简单。例如，您有30张表需要合成一张表，此时如果使用SQL，则需要对...
- 产品推荐
- 这些文档可能帮助您