本文介绍 CleverSee 网页解析的产品定位、核心能力、版本差异、体验方式与 API 接入指引。
一、产品介绍
网页解析提供从页面获取、内容提取到结果交付的标准化能力:服务先访问目标 URL,再根据页面类型与解析配置,将原始网页转换为可被模型理解、被程序处理的内容结果。开发者无需自行维护页面加载、正文识别、HTML 清洗、Markdown 转换及链接、媒体资源梳理等链路,即可将网页内容接入 Agent 工作流、知识库或业务系统。
服务支持可读性处理,可按需要提取页面主要内容,过滤页头、页脚、导航等无关区域;同时支持按规则保留或排除图片、链接及指定 HTML 标签。针对动态页面,增强版可在页面资源加载完成后再执行解析,并支持在解析前等待元素出现或执行页面操作,以提升复杂页面的内容获取能力。
网页解析的核心优势:
AI 友好的结构化输出:通过正文提取与可读性处理,剔除广告、导航等无关信息;一次调用即可返回正文、Markdown、文本、链接、媒体和元数据等结果,方便 Agent 与应用直接消费。
静动态页面一体化解析:普通版快速解析静态网页;增强版在浏览器沙箱中完成页面资源加载与动态渲染,覆盖更复杂的页面形态。
面向复杂站点的交互能力:增强版默认启用隐身模式,并支持最多 20 步等待、执行自定义 JavaScript 等页面操作,可在内容解析前处理元素加载、弹窗确认等交互场景。
高效的解析与内容转换:基于自研 Rust 引擎完成页面类型识别、内容标签过滤、文档解析与 Markdown 转换,满足 Agent 实时调用与高并发处理需求。
网页解析的典型应用场景:
Agent 网页阅读:将网页转为正文、Markdown 或文本,作为 Agent 理解、推理和任务执行的输入。
知识库构建与内容入库:批量提取网页正文、标题、发布时间、作者、规范 URL 等信息,用于后续存储与检索。
资讯与文档处理:从新闻、博客、技术文档等页面提取主要内容,减少人工清洗与格式转换。
网页结构化分析:获取站内外链接、图片、音频、视频与页面元数据,支持内容分析和后续处理。
二、产品对比
网页解析目前包含两个版本:普通版、增强版。
对比项 | 普通版 | 增强版 |
定位 | 静态网页快速解析 | 动态网页渲染与交互解析 |
适用站点 | 静态页面、内容页及结构相对稳定的网页 | 动态加载、复杂渲染或需要手动干预的网页 |
可读性处理 | 支持 normal、article 等模式,可过滤无关内容 | |
页面结构化信息 | 支持返回链接、图片/音频/视频及页面元数据 | |
内容输出形态 | 支持 rawHtml、HTML、Markdown、文本;可请求页面截图 | |
隐身模式 | 不支持 | 支持 |
自定义交互操作 | 不支持 | 支持 |
价格(网页解析-计费说明) | 低 | 中 |
三、产品体验
开通服务:首次使用请参照 新用户开通 完成产品开通。
在线体验:登录控制台进入 PLAYGROUND,即可测试网页解析的各细分版本。

额度管理:系统初始会赠送免费体验额度,请在“概览”页实时查看用量与余量。
四、接入指引
接口与计费:接口定义及调用示例详见 网页解析普通版 API、网页解析增强版 API,计费规则请参阅 网页解析-计费说明。
接入方式:支持 HTTP、SDK、MCP 及 Skill 四种方式,具体说明请参考 接入方式 相关章节。
五、最佳实践参考
该实践介绍如何通过网页解析 ReadPage 接口,增强 Search 搜索结果的时效性。
在 Agent 调用搜索工具时,由于搜索引擎自身的更新频率及缓存机制限制,搜索结果的时效性可能存在一定滞后。对于时延敏感性较低的场景,可通过在线实时抓取网页内容的方式,提升搜索结果的时效性表现。以下是通过 langchain 实现的时效增强的搜索示例。
实现时效性增强的搜索工具
实现时效性增强的搜索工具(ReadPage 接口本身延迟较高,增强时效性的同时会显著增加 search 耗时)
import asyncio
import httpx
from langchain_core.tools import tool
async def iqs_search(query: str, max_results: int = 3) -> list[dict]:
async with httpx.AsyncClient() as client:
response = await client.post("https://cloud-iqs.aliyuncs.com/search/unified",
headers={
'X-API-Key': "<Your-IQS-ApiKey>"
},
json={
'query': query,
'engineType': "Generic",
})
if not response.is_success:
return None
pageItems = response.json().get("pageItems")
return [
{
"link": item.get("link"),
"title": item.get("title"),
"snippet": item.get("snippet"),
"publishedTime": item.get("publishedTime")
} for item in pageItems[:max_results]
]
async def iqs_readpage(urls: list[str]) -> list[dict]:
async def post_readpage(client, url):
response = await client.post("https://cloud-iqs.aliyuncs.com/readpage/scrape",
headers={
'X-API-Key': "<Your-IQS-ApiKey>"
},
json={
"url": url,
"formats": ["markdown"],
"timeout": 15000,
"pageTimeout": 10000,
"maxAge": 3600
}, timeout=20000)
if not response.is_success:
return None
page_result = response.json()
data = page_result.get("data")
if not data:
return None
return {
"url": data.get("url"),
"markdown": data.get("markdown")
}
tasks = []
async with httpx.AsyncClient() as client:
for url in urls:
tasks.append(post_readpage(client, url))
results = await asyncio.gather(*tasks)
return results
@tool
async def search_freshness_boost(query: str):
"""Search the web for information.
Args:
query: Search query
"""
page_results = await iqs_search(query, 3)
links = [page.get("link") for page in page_results]
read_results = await iqs_readpage(links)
for idx, page_result in enumerate(page_results):
if read_results[idx]:
page_result['snippet'] = read_results[idx]["markdown"]
return page_resultsAgent 使用
from langchain_core.prompts import ChatPromptTemplate, MessagesPlaceholder
from langchain_community.chat_models import ChatOpenAI, ChatTongyi
from langchain.agents import AgentExecutor, create_tool_calling_agent
async def main():
llm = ChatTongyi(
api_key="<Bailian-ApiKey>",
model="qwen-plus",
)
tools = [search_freshness_boost]
agent = create_tool_calling_agent(llm, tools,
ChatPromptTemplate.from_messages([
("system", "你是一个拥有实时互联网搜索能力的 AI 助手。"),
MessagesPlaceholder(variable_name="chat_history", optional=True),
("human", "{input}"),
MessagesPlaceholder(variable_name="agent_scratchpad"),
])
)
agent_executor = AgentExecutor(
agent=agent,
tools=tools,
verbose=True,
handle_parsing_errors=True
)
result = await agent_executor.ainvoke({
"input": "今日油价"
})
print("\n最终回答:", result["output"])
if __name__ == "__main__":
asyncio.run(main())