Fetch API

更新时间: 2024-04-07 10:34:17

Fetch API是一种从边缘节点获取数据的方法。通过Fetch API,您可以使用HTTP或HTTPS协议从边缘节点请求数据,并将数据返回给用户。它类似于浏览器环境中的Fetch API,可以用于动态加载内容、与后端服务进行交互、实现A/B测试等场景。

Fetch API方法定义

Fetch是完全异步的线程,只要您不使用await,Fetch就不会阻塞脚本执行。目前每次可以发起4个子请求。由于底层采用的是长连接,您无需担心性能,也不用主动处理连接池。

Fetch可以进行HTTP或HTTPS请求,每一次redirect都算一次请求。每一个Fetch最多可以支持12次redirect。

  • 方法定义

    fetch(arg, init),Fetch的详细定义请参见MDN官方文档WorkerOrGlobalScope.fetch()

  • 方法限制

    • 目前Fetch API只支持域名,不支持IP地址。HTTP请求对应的端口为80,HTTPS请求对应的端口为443。

    • init参数内部的credentials、referrer、 referrerPolicy、cache和integrity无任何意义。

    • redirect默认值为manual,即不主动跟随3xx。如果需要跟随3xx,需将redirect设置为follow。

    说明
    • 对浏览器内部的多种Fetch模式不做区分,例如CROS fetch,在CDN/DCDN上您可以Fetch任何源站。

    • 如果需要4个及以上的子请求时,请填写信息申请配额。

    • 请求URL的总长度不超过4 KB。

    • ER通过Fetch获取的gzip压缩资源默认解压。如不希望默认解压内容,请参见下方Decompress章节添加manual参数。

  • 设置超时时间

    • Timeout函数

      /**
       * 请求超时控制实现
       *
       * @param {Number} timeout 超时等待时间,单位ms
       * @param {Object} config 超时配置
       *   - @param {Object|Funtion} handler 超时返回
       * @returns
       */
      const RequestTimeout = (timeout, config) => {
        return new Promise((resolve) => {
          const { handler = null } = config;
          let timer = setTimeout(() => {
            clearTimeout(timer);
            timer = null;
      
            const defaultRes = (typeof handler === 'function' ? handler() : handler) || {};
            resolve(defaultRes);
          }, timeout);
        });
      };
    • 调用示例

      const KV_TIMEOUT = 1000;
      let edgekv = new EdgeKV({
        namespace: KV_NS,
      });
      
      let kvRequest = edgekv.get(key, getType);
      let timeoutPromise = RequestTimeout(KV_TIMEOUT, {
        handler: {
          res: {},
          errorMessage: `kv request timeout (${KV_TIMEOUT}ms)`,
        }
      });
      
      let resp = await Promise.race([
        kvRequest,
        timeoutPromise,
      ]);
      
      if (resp === undefined) {
        return "kv not found, key = " + key;
      } else {
        return resp;
      }

Redirect

Fetch运行支持3xx跟随,即3xx重定向。3xx包含的status code有301、302、303、307和308。根据标准您可以指定以下三种行为。

  • {redirect: "manual"}(默认值):不跟随3xx,您自己处理。

  • {redirect: "error"}:3xx直接报错。

  • {redirect: "follow"}:跟随3xx,最多支持20次。

重定向方案见下表。

状态码

重定向说明

301、302、303、308

请求方法改成GET,body被忽略。

307

只跟随GET方法,其他方法会报错。

说明

重定向的地址来源于Location头,Location必须出现,否则会报错。

  • Location可以含有由一个英文逗号(,)分割的URL表单,但只有第一个会被使用,其他均被忽略。

  • Location可以含有绝对URL或者相对URL。

Decompress

Fetch允许您配置API的解压缩模式,例如fetch("https://www.example.com",{decompress: "manual"})。Fetch的decompress参数有以下三种值:

  • manual:不解压缩。如果Fetch的服务器将压缩后的数据发送回来,则在ER中会读取到被压缩的数据。

  • decompress(默认值):自动解压缩。目前Fetch支持Gzip压缩模式,ER会根据content-encoding头自动侦测或者使用解压缩。ER如果执行了解压缩,会自动修改content-encoding的值。如果删除了其中的Gzip项,为了防止透传时出现错误,您可以在下面两种方式中任选一种进行设置:

    • content-encoding:gzip表示可以被ER识别。

    • content-encoding:gzip, identity表示可以被ER识别。

    说明

    其他非Gzip的算法,目前会报错。

  • fallbackIdentity:类似decompress,如果无法识别压缩,则默认不解压缩。

重要

Fetch自动压缩后如果回复中有content-length头,不能随意透传content-length头,因为此时content-length表示未被解压缩前的字符大小,不再反映解压缩完成后的数据大小。

CdnProxy

当您在ER内发起Fetch子请求时,默认由ER直接向公网发起HTTP请求(例如下图中的第6步),但您也可以用cdnProxy通过CDN/DCDN回源链路来代理请求(请求链路见下图中的5→3)。cdnProxy的用法是fetch("http://www.example.com", {cdnProxy: true}) 。cdnProxy参数只能在Fetch CDN/DCDN域名时使用,使用cdnProxy的好处在于Fetch请求可直接快速访问同节点的缓存文件,无需再次经过DNS解析至其它CDN/DCDN节点,可以减少网络耗时。

说明

您通过cdnProxy发起Fetch的域名(例如示例中的www.example.com)必须是已经接入阿里云CDN/DCDN的域名,否则会返回403。该方法会自动触发域名在CDN/DCDN上的所有配置,包括缓存、回源等规则。

原理

content-length

如果您使用Fetch请求数据时设置了content-length,Fetch会采用content-length的编码,同时会改变Fetch发送body的默认行为。如果您不设置content-length,Fetch会主动把body流的所有数据读取出来并发送,发送使用chunk-encoding。

  • content-length设置

    • content-length为非负数:根据您设置的值从发送的body流读取相应的字节后发送,发送采用content-length。如果content-length为0,则不发送任何数据。

    • content-length为非法值:继续使用chunk-encoding发送所有body的值。

  • 举例说明

    Fetch会自动解压缩内容,解压缩后response的content-length仍然存在,该content-length表示未被解压缩前的数据大小。如果您改动body后再使用Fetch需注意content-length,否则发送的内容可能会出错。

    以下示例中,假设客户端发送了一个POST请求,且header中包含了content-length。当您使用Fetch进行请求时,由于body复用了客户端request的header对象,会导致content-length的值和当前发送的body实际数据大小不一致。您透传header时一定要关注body的实际大小是否发生改变。

    addEventListener('fetch', (event) => {
      event.respondWith(h(event));
    });
    
    async function h(event) {
      return fetch("http://www.example.com", {
        headers: event.request.headers,
        method: event.request.method,
        body: "SomeData"
      });
    }

Headers

  • 定义

    Headers的定义,请参见MDN官方文档Headers

  • 限制

    header内部会记录内存消耗,header对象可以存储的最大header是8 KB。如果单个header对象超用,会触发JS exception。

  • 黑名单

    header有黑名单,无法读写以下头,如果您读取会造成exception。

    • expect

    • te

    • trailer

    • upgrade

    • proxy-connection

    • connection

    • keep-alive

    • dnt

    • host

    • 其他内部头

Request

  • 定义

    Request的定义,请参见MDN官方文档Request

  • 限制

    Request对象的以下属性没有实现,在CDN/DCDN上下文中没有意义。

    • context

    • credentials

    • destination

    • integrity

    • mode

    • referrer

    • referrerPolicy

    • cache

  • 常见使用

    • 获得请求方法:request.method

    • 获得请求url:request.url

    • 获得请求头:request.headers

    • 获得请求负载:request.body,body是一个ReadableStream对象。

    • 获得JSON:await request.json()

    • 获得表单数据:await request.formData()

    • 获得UTF8字符串:await request.text()

    Request接口是标准的扩充,既可以忽略body,又确保body可以读完,且不会将内存读入JavaScript虚拟机,从而避免了GC造成的延时,确保请求流的body从底层的socket中全部读出。对于await request.ignore(),如果您不需要读取Fetch的body或者不感兴趣,建议所有的Fetch请求都调用request.ignore,可以有效提高性能,因为运行时会自动把读取完body的请求发送至连接池中供下次复用。

Response

  • 定义

    Response的定义,请参见MDN官方文档Response

  • 限制

    Response对象的useFinalURLS和error属性没有实现,在CDN/DCDN上下文中没有意义。

  • 常见使用

    • 获得回复码:response.status

    • 获得回复reason phrase:response.statusText

    • 获得回复头:response.headers

    • 获得回复URL:response.url,表示该回复是对应的URL发送的。

    • 获得所有redirect的URL list,属于非标准:response.urlList,类似Request对象实现了body mixin,使用类似方法您可以获得body对象。

FormData

  • 定义

    FormData的定义,请参见MDN官方文档FormData

  • 限制

    FormData类似Header,有内部大小限制,如果过大FormData会出现异常。如果把FormData当作HTTP body发送,默认的content-typeform-data/multipart

URLSearchParams

  • 定义

    URLSearchParams的定义,请参见MDN官方文档URLSearchParams()

  • 限制

    如果把URLSearchParams当作HTTPbody发送,默认的content-typeapplication/x-www-form-urlencode,最大限制为1000字节。

Blob和File

  • 定义

    • Blob的定义,请参见MDN官方文档Blob

    • File的定义,请参见MDN官方文档File

  • 限制

    为了与标准保持一致,ER提供了Blob和File这两个类。由于ER不支持读写文件,为了满足标准,您可以使用这两个类,如果使用这两个类提供给回复的body,content-typeBlobFile设置的mime type,和标准一致。