MaxFrame AI Function

语言翻译

场景描述：某跨国企业需将 10 万份英文合同翻译成中文，并标注关键条款。

import os
import maxframe.dataframe as md
from maxframe import new_session
from maxframe.config import options
from maxframe.udf import with_running_options
from odps import ODPS

options.dag.settings = {
    "engine_order": ["DPE", "MCSQL"]
}

o = ODPS(
    os.getenv('ALIBABA_CLOUD_ACCESS_KEY_ID'),
    os.getenv('ALIBABA_CLOUD_ACCESS_KEY_SECRET'),
    project='your-default-project',
    endpoint='your-end-point',
)

# 初始化MaxFrame会话
session = new_session(o)

# 打印作业Logview地址
print(session.get_logview_address())

# 1. 使用GU Quota计算资源
options.session.gu_quota_name = "mf_gu_quota"

# 2. 使用Qwen3 4B模型
from maxframe.learn.contrib.llm.models.managed import ManagedTextLLM

llm = ManagedTextLLM(name="Qwen3-1.7B")

# 3. 数据准备，如果已有数据可忽略构建测试数据步骤
# o.execute_sql("""
#   CREATE TABLE IF NOT EXISTS raw_contracts (
#       en STRING
#   );
#   """)
# 
# o.execute_sql("""
#   INSERT INTO raw_contracts VALUES
#   ('This agreement is governed by the laws of the State of California.'),
#   ('The tenant shall pay rent on the first day of each month.'),
#   ('Either party may terminate this contract with 30 days written notice.'),
#   ('All intellectual property rights shall remain with the original owner.'),
#   ('The warranty period for this product is twelve months from the date of purchase.');
#   """)

df = md.read_odps_table("raw_contracts")

# 4.定义Prompts模板
messages = [
    {
        "role": "system",
        "content": "你是一个文档翻译专家，能够将用户给定的英文流畅的翻译成中文",
    },
    {
        "role": "user",
        "content": "请将以下英文翻译成中文，直接输出翻译后的文本，不要输出任何其他内容。\n\n 例如：\n输入：Hi\n输出：你好。\n\n 以下是你要处理的文本:\n\n{en}",
    },
]

# 5.直接使用 `generate` 接口，定义提示词，引用对应的数据列。
result_df = llm.generate(
    df,
    prompt_template=messages,
    params={
        "temperature": 0.7,
        "top_p": 0.8,
    },
).execute()

# 6.结果数据写入MaxCompute表
result_df.to_odps_table("raw_contracts_result")

关键词提取

场景描述：该场景展示MaxFrame AI Function在非结构化数据处理上的能力。非结构化数据中占据较高比例的文本和图像，在大数据分析中带来了巨大的处理挑战。以下是利用AI Function简化这一过程的示例。

如下代码演示如何使用AI Function从简历中提取候选人的工作经验，示例使用数据为随机生成的简历文本。详细使用实践及 Demo 可参考：AI Function On GU 开发实践。

import maxframe.dataframe as md
from maxframe import new_session
from maxframe.config import options
from maxframe.udf import with_running_options
from odps import ODPS

options.dag.settings = {
    "engine_order": ["DPE", "MCSQL"]
}

o = ODPS(
    os.getenv('ALIBABA_CLOUD_ACCESS_KEY_ID'),
    os.getenv('ALIBABA_CLOUD_ACCESS_KEY_SECRET'),
    project='your-default-project',
    endpoint='your-end-point',
)

# 初始化MaxFrame会话
session = new_session(o)

# 打印作业Logview地址
print(session.get_logview_address())

# 1. 使用GU Quota计算资源
options.session.gu_quota_name = "mf_gu_quota"

# 2. 使用Qwen3 4B模型
from maxframe.learn.contrib.llm.models.managed import ManagedTextLLM

llm = ManagedTextLLM(name="Qwen3-4B-Instruct-2507-FP8")

df = md.read_odps_table("traditional_chinese_medicine", index_col="index")

# 指定四个并发
parallel_partitions = 4
df = df.mf.rebalance(num_partitions=parallel_partitions)

# 3. 使用 extract 预设任务接口
result_df = llm.extract(
    df["text"],
    description="请从以下就诊记录中按顺序抽取结构化数据，最终按照 schema 以严格的 JSON 格式返回",
    schema=MedicalRecord,
    examples=[(example_input, example_output)],
)
result_df.execute()