MaxFrame AI Function

from maxframe.learn.contrib.llm.models.managed import ManagedTextLLM

llm = ManagedTextLLM(name="<model_name>")

# Prompts 模板
messages = [    
    {"role": "system", "content": "system_messages"},    
    {"role": "user", "content": "user_messages"},
]

result_df = llm.generate(<df>, prompt_template=messages)
print(result_df.execute())

import os
from maxframe import new_session
from odps import ODPS
import pandas as pd
import maxframe.dataframe as md
from maxframe.learn.contrib.llm.models.managed import ManagedTextLLM

o = ODPS(
    os.getenv('ALIBABA_CLOUD_ACCESS_KEY_ID'),
    os.getenv('ALIBABA_CLOUD_ACCESS_KEY_SECRET'),
    project='maxcompute_project_name',
    endpoint='https://service.cn-hangzhou.maxcompute.aliyun.com/api',
)

# 1. 使用MaxFrame SDK创建Session
session = new_session(odps_entry=o)

# 取消列文本截断，显示完整内容
pd.set_option("display.max_colwidth", None)
# 显示所有列（避免中间的列被省略）
pd.set_option("display.max_columns", None)

# 2. 引入DataFrame，创建5个问题
query_list = [
    "地球距离太阳的平均距离是多少？",
    "美国独立战争是从哪一年开始的？",
    "什么是水的沸点？",
    "如何快速缓解头痛？",
    "谁是《哈利·波特》系列中的主角？",
]
df = md.DataFrame({"query": query_list})

# 3. 创建ManagedTextLLM对象，并指定要使用的模型为qwen2.5-1.5b-instruct
llm = ManagedTextLLM(name="qwen2.5-1.5b-instruct")

# 4. 定义Prompts模板，其中包含一个系统消息和一个用户消息 
#  在用户消息中，预留f-string形式的变量{query}，这些占位符将会被替换为DataFrame中的query列，占位符支持使用来自DataFrame的多个列，均通过对应的列名来引用。
messages = [
    {"role": "system", "content": "You are a helpful assistant."},
    {"role": "user", "content": "请回答如下问题：{query}"},
]

# 5. 对LLM对象调用generate方法，传入DataFrame和Prompts模板，即可获得每个问题答案
result_df = llm.generate(df, prompt_template=messages)

# 6. 使用execute触发对结果DataFrame的计算
#   所有计算都会发生在MaxCompute集群上，最后将自动根据计算规模对输入的DataFrame进行数据分片和并行计算。
print(result_df.execute())

import os
from maxframe import new_session
from odps import ODPS
import pandas as pd
import maxframe.dataframe as md
from maxframe.learn.contrib.llm.models.managed import ManagedTextLLM
import numpy as np

o = ODPS(
    os.getenv('ALIBABA_CLOUD_ACCESS_KEY_ID'),
    os.getenv('ALIBABA_CLOUD_ACCESS_KEY_SECRET'),
    project='MaxCompute_Project_Name',
    endpoint='https://service.cn-hangzhou.maxcompute.aliyun.com/api',
)

session = new_session(odps_entry=o)

# 取消列文本截断，显示完整内容
pd.set_option("display.max_colwidth", None)
# 显示所有列（避免中间的列被省略）
pd.set_option("display.max_columns", None)

query_list = [
"客户信用评级调查报告 - 编号：RJ22222222-ZZ 客户姓名：王先生 身份证号：110000111111111111 联系方式：111000000000  常住地址：北京市朝阳区朝阳街道朝阳小区10000号楼10000室  **资产概况**  招商银行账户：6200 0000 0000 0000（余额：¥2,000,000.00）  平安证券账户：A100000000（持仓市值：¥1000,000.00）  **近期大额交易**  1. 2088-15-35 向李女士（账号：6200 0000 0000 0000）转账¥1,500,000.00，备注：购房首付款-上海市浦东新区浦东新路10000弄10000号。2. 2088-15-35 收到'深圳市某某电子科技有限公司'（开户行：中国银行深圳分行）货款¥4000,000.00。**审批意见**  客户信用评级AAA，建议给予最高授信额度。经办人：张女士（工号：ZX000000000），联系方式：zhangkaixin@example.com / 内线88888。"
]

df = md.DataFrame({"query": query_list})

llm = ManagedTextLLM(name="DeepSeek-R1-Distill-Qwen-14B")

# Deepseek 模型不应当提供 system prompts
messages = [
    {
        "role": "user",
        "content": """请作为文本风控评估员，对以下互联网文本进行健康程度评估，并给出理由，且需满足以下要求：

1. **需识别的违规类型**（优先级从高到低）：
   - 身份证信息
   - 账号信息
   - 手机号码信息
   - 交易金额信息
   - 姓名信息
   - 地址信息
   - 编号信息

2. **输出格式**：
    以如下纯JSON表示形式，并确保输出中不包含```或任何其他Markdown格式符号
    "reason": "简要说明评分依据（100字内）",
    "category": "主要违规类型（无则填'安全'）"

以下是你要判断的文本：
{query}
""",
    },
]

result_df = llm.generate(
    df,
    prompt_template=messages,
)

merged_df = md.merge(df, result_df, left_index=True, right_index=True)
# 提取推理结果
merged_df["content"] = merged_df.response.mf.flatjson(
    ["$.choices[0].message.content"], dtype=np.dtype(np.str_)
)
# 提取推理思维链
merged_df["reasoning_content"] = merged_df.response.mf.flatjson(
    ["$.choices[0].message.reasoning_content"], dtype=np.dtype(np.str_)
)

# 输出结果
print(merged_df[["query", "content", "reasoning_content"]].execute())

import os
from maxframe import new_session
from odps import ODPS
import pandas as pd
import maxframe.dataframe as md
from maxframe.learn.contrib.llm.models.managed import ManagedTextLLM

o = ODPS(
    os.getenv('ALIBABA_CLOUD_ACCESS_KEY_ID'),
    os.getenv('ALIBABA_CLOUD_ACCESS_KEY_SECRET'),
    project='maxcompute_project_name',
    endpoint='https://service.cn-hangzhou.maxcompute.aliyun.com/api',
)
session = new_session(odps_entry=o)

# 添加简历相关数据 
resumes = [
    "138-xxxx-xxxx zhangwei@example.com 希望在一家创新型科技公司担任软件开发工程师 运用我的编程技能和团队协作能力推动产品落地 某大学计算机科学与技术 本科 2018.09 - 2022.06 某大学软件工程 硕士 2022.09 - 至今 A 公司 后端开发实习生 2021.07 - 2021.12 参与推荐系统后端服务的开发与优化，提升系统响应速度约20%。使用Go语言重构了部分代码模块，提高了代码可维护性。B公司 全栈开发工程师 2022.06 - 至今 负责电商平台核心功能模块的开发，完成用户登录、支付等功能的实现。主导了前端性能优化项目，页面加载时间减少了30%。编程语言: Python Go JavaScript 框架: Django React Vue.js 数据库: MySQL MongoDB 工具: Docker Git Jenkins",
    "159-xxxx-xxxx lina@example.com 致力于成为数据领域的专家通过数据分析与挖掘帮助企业制定更精准的商业决策 某大学 统计学 本科 2016.09 - 2020.06 某大学 数据科学 硕士 2020.09 - 2022.06 C 公司 数据分析师 2022.07 - 至今 负责电商平台用户行为数据的分析 提出多项优化建议并被采纳 构建机器学习模型预测用户购买意向 准确率达到85%以上 D 公司 咨询顾问 2020.07 - 2022.06 协助客户进行财务数据清洗与可视化分析 输出高质量报告 支持多个大型项目的实施 涉及零售、金融等行业 数据分析工具: Excel Tableau Power BI 编程语言: Python R SQL 机器学习框架: Scikit-learn TensorFlow",
    "135-xxxx-xxxx wangqiang@example.com 期望在市场营销领域发挥创意与执行力 为企业品牌建设贡献力量 某大学 市场营销 本科 2017.09 - 2021.06 E 公司 市场专员 2021.07 - 2023.03 策划并执行了多场线上线下推广活动 累计吸引超过10万用户参与 分析竞品动态 为新产品上市提供市场调研支持 F 公司 广告策划 2023.04 - 至今 负责大客户广告投放策略制定 单季度广告收入增长15% 创作多支短视频广告脚本 点击率高于行业平均水平20% 营销工具: Google Analytics SEMrush Hootsuite 设计软件: Photoshop Illustrator 社交媒体运营经验: 微信公众号、抖音等平台"
]
df = md.DataFrame({"text": resumes})

# 取消列文本截断，显示完整内容
pd.set_option("display.max_colwidth", None)
# 显示所有列（避免中间的列被省略）
pd.set_option("display.max_columns", None)

# 使用qwen2.5-7b-instruct大模型 
llm = ManagedTextLLM(name="qwen2.5-7b-instruct")
messages = [
    {
        "role": "system",
        "content": "你是一个简历信息提取专家，从简历中提取结构化信息，以 json 格式返回，包括姓名，教育经历，工作经历，请不要遗漏任何一段经历",
    },
    {
        "role": "user",
        "content": "从如下简历中抽取信息\n```{text}```",
    },
]

# generate函数接收params传入的模型参数：
#  模型参数包括 response_format, max_tokens, repeat_penalty 等参数，避免在处理复杂JSON和长文本时出现重复输出的问题
# 使用Prompts要求LLM从其中提取简历信息，并以JSON结构返回
# 约束模型，以预期的JSON Format输出
result = llm.generate(
    df,
    prompt_template=messages,
    params={
        "response_format": {
            "type": "json_object",
            "schema": {
                "type": "object",
                "properties": {
                    "name": {
                        "type": "string",
                        "description": "The individual's name",
                    },
                    "education": {
                        "type": ["string", "array"],
                        "description": "The individual's educational background, can be a string or an array. If not provided, it might be empty or contain explanatory text.",
                    },
                    "workExperience": {
                        "type": "array",
                        "items": {
                            "type": "object",
                            "properties": {
                                "position": {
                                    "type": "string",
                                    "description": "The job title of the position held",
                                },
                                "company": {
                                    "type": "string",
                                    "description": "The name of the company where the individual was employed",
                                },
                                "duration": {
                                    "type": "string",
                                    "description": "The period during which the individual worked at the company",
                                },
                            },
                            "required": [
                                "position",
                                "company",
                                "duration",
                            ],
                        },
                    },
                },
                "required": ["education", "education", "workExperience"],
            },
        },
        "repeat_penalty": 1.2,
    },
)

# 输出计算结果：根据Prompts传入的指令和response_format的设置，模型的输出变成结构化的JSON格式文本。
print(result.execute())

# 将结果输出MaxCompute项目表中
result.to_odps_table('maxcompute_table_name').execute()