网页解析-产品介绍

更新时间:
复制 MD 格式

本文介绍 CleverSee 网页解析的产品定位、核心能力、版本差异、体验方式与 API 接入指引。

一、产品介绍

网页解析提供从页面获取、内容提取到结果交付的标准化能力:服务先访问目标 URL,再根据页面类型与解析配置,将原始网页转换为可被模型理解、被程序处理的内容结果。开发者无需自行维护页面加载、正文识别、HTML 清洗、Markdown 转换及链接、媒体资源梳理等链路,即可将网页内容接入 Agent 工作流、知识库或业务系统。

服务支持可读性处理,可按需要提取页面主要内容,过滤页头、页脚、导航等无关区域;同时支持按规则保留或排除图片、链接及指定 HTML 标签。针对动态页面,增强版可在页面资源加载完成后再执行解析,并支持在解析前等待元素出现或执行页面操作,以提升复杂页面的内容获取能力。

网页解析的核心优势:

  • AI 友好的结构化输出:通过正文提取与可读性处理,剔除广告、导航等无关信息;一次调用即可返回正文、Markdown、文本、链接、媒体和元数据等结果,方便 Agent 与应用直接消费。

  • 静动态页面一体化解析:普通版快速解析静态网页;增强版在浏览器沙箱中完成页面资源加载与动态渲染,覆盖更复杂的页面形态。

  • 面向复杂站点的交互能力:增强版默认启用隐身模式,并支持最多 20 步等待、执行自定义 JavaScript 等页面操作,可在内容解析前处理元素加载、弹窗确认等交互场景。

  • 高效的解析与内容转换:基于自研 Rust 引擎完成页面类型识别、内容标签过滤、文档解析与 Markdown 转换,满足 Agent 实时调用与高并发处理需求。

网页解析的典型应用场景:

  • Agent 网页阅读:将网页转为正文、Markdown 或文本,作为 Agent 理解、推理和任务执行的输入。

  • 知识库构建与内容入库:批量提取网页正文、标题、发布时间、作者、规范 URL 等信息,用于后续存储与检索。

  • 资讯与文档处理:从新闻、博客、技术文档等页面提取主要内容,减少人工清洗与格式转换。

  • 网页结构化分析:获取站内外链接、图片、音频、视频与页面元数据,支持内容分析和后续处理。

二、产品对比

网页解析目前包含两个版本:普通版、增强版。

对比项

普通版

增强版

定位

静态网页快速解析

动态网页渲染与交互解析

适用站点

静态页面、内容页及结构相对稳定的网页

动态加载、复杂渲染或需要手动干预的网页

可读性处理

支持 normal、article 等模式,可过滤无关内容

页面结构化信息

支持返回链接、图片/音频/视频及页面元数据

内容输出形态

支持 rawHtml、HTML、Markdown、文本;可请求页面截图

隐身模式

不支持

支持

自定义交互操作

不支持

支持

价格(网页解析-计费说明)

低

中

三、产品体验

  • 开通服务:首次使用请参照 新用户开通 完成产品开通。

  • 在线体验:登录控制台进入 PLAYGROUND,即可测试网页解析的各细分版本。

    image

  • 额度管理:系统初始会赠送免费体验额度,请在“概览”页实时查看用量与余量。

四、接入指引

五、最佳实践参考

该实践介绍如何通过网页解析 ReadPage 接口,增强 Search 搜索结果的时效性。

在 Agent 调用搜索工具时,由于搜索引擎自身的更新频率及缓存机制限制,搜索结果的时效性可能存在一定滞后。对于时延敏感性较低的场景,可通过在线实时抓取网页内容的方式,提升搜索结果的时效性表现。以下是通过 langchain 实现的时效增强的搜索示例。

实现时效性增强的搜索工具

实现时效性增强的搜索工具(ReadPage 接口本身延迟较高,增强时效性的同时会显著增加 search 耗时)

import asyncio
import httpx
from langchain_core.tools import tool

async def iqs_search(query: str, max_results: int = 3) -> list[dict]:
    async with httpx.AsyncClient() as client:
        response = await client.post("https://cloud-iqs.aliyuncs.com/search/unified",
                                     headers={
                                         'X-API-Key': "<Your-IQS-ApiKey>"
                                     },
                                     json={
                                         'query': query,
                                         'engineType': "Generic",
                                     })
        if not response.is_success:
            return None

        pageItems = response.json().get("pageItems")
        return [
            {
                "link": item.get("link"),
                "title": item.get("title"),
                "snippet": item.get("snippet"),
                "publishedTime": item.get("publishedTime")
            } for item in pageItems[:max_results]
        ]


async def iqs_readpage(urls: list[str]) -> list[dict]:
    async def post_readpage(client, url):
        response = await client.post("https://cloud-iqs.aliyuncs.com/readpage/scrape",
                                     headers={
                                         'X-API-Key': "<Your-IQS-ApiKey>"
                                     },
                                     json={
                                         "url": url,
                                         "formats": ["markdown"],
                                         "timeout": 15000,
                                         "pageTimeout": 10000,
                                         "maxAge": 3600
                                     }, timeout=20000)
        if not response.is_success:
            return None

        page_result = response.json()
        data = page_result.get("data")
        if not data:
            return None
        return {
            "url": data.get("url"),
            "markdown": data.get("markdown")
        }

    tasks = []
    async with httpx.AsyncClient() as client:
        for url in urls:
            tasks.append(post_readpage(client, url))
        results = await asyncio.gather(*tasks)
    return results


@tool
async def search_freshness_boost(query: str):
    """Search the web for information.
    Args:
        query: Search query
    """
    page_results = await iqs_search(query, 3)
    links = [page.get("link") for page in page_results]
    read_results = await iqs_readpage(links)
    for idx, page_result in enumerate(page_results):
        if read_results[idx]:
            page_result['snippet'] = read_results[idx]["markdown"]
    return page_results

Agent 使用

from langchain_core.prompts import ChatPromptTemplate, MessagesPlaceholder
from langchain_community.chat_models import ChatOpenAI, ChatTongyi
from langchain.agents import AgentExecutor, create_tool_calling_agent


async def main():
    llm = ChatTongyi(
        api_key="<Bailian-ApiKey>",
        model="qwen-plus",
    )

    tools = [search_freshness_boost]
    agent = create_tool_calling_agent(llm, tools,
                                      ChatPromptTemplate.from_messages([
                                          ("system", "你是一个拥有实时互联网搜索能力的 AI 助手。"),
                                          MessagesPlaceholder(variable_name="chat_history", optional=True),
                                          ("human", "{input}"),
                                          MessagesPlaceholder(variable_name="agent_scratchpad"),
                                      ])
                                      )

    agent_executor = AgentExecutor(
        agent=agent,
        tools=tools,
        verbose=True,
        handle_parsing_errors=True
    )
    result = await agent_executor.ainvoke({
        "input": "今日油价"
    })
    print("\n最终回答:", result["output"])


if __name__ == "__main__":
    asyncio.run(main())