内存缓存本地目录

控制台配置

1. 登录PAI控制台，在页面上方选择目标地域，并在右侧选择目标工作空间，然后单击进入EAS。

2. 单击部署服务，然后在自定义模型部署区域，单击自定义部署。

3. 在自定义部署页面，配置以下关键参数，其他参数配置说明，请参见服务部署：控制台。

   参数		描述	示例
   环境信息	模型配置	选择OSS类型的挂载方式。	OSS路径：oss://path/to/models/ 挂载路径：/data-slow
   	运行命令	配置启动参数-ckpt-dir，指向加速目录。	python /run.py -ckpt-dir /data-fast
   服务功能	内存缓存加速	打开开关，并配置以下参数： 占用最大内存：被加速文件占用的最大内存，单位GB。被加速文件占用的最大内存，超过限制时采用LRU策略淘汰。 源路径：加速文件的源目录，可以是OSS或NAS中的加速文件挂载到容器中的挂载路径，也可以是挂载路径下的子目录，或者是容器内的其他普通文件目录。 挂载路径：加速文件的挂载目录，业务程序需从该目录中读取模型。	占用最大内存：20 GB 源路径：/data-slow 挂载路径：/data-fast

4. 参数配置完成后，单击部署。

本地客户端配置

步骤一：准备配置文件

在挂载配置中增加cache和mount_path参数，在script参数中配置启动参数-ckpt-dir，同时配置示例如下。其他参数配置说明，请参见服务模型所有相关参数说明。

   {
    "containers": [
        {
            "image": "****",
            "port": 8000,
            "script": "python /run.py -ckpt-dir /data-fast"
        }
    ],
    "storage": [
        {
            "mount_path": "/data-slow",
            "oss": {
                "path": "oss://path/to/models/",
                "readOnly": false
            },
            "properties": {
                "resource_type": "model"
            }
        },
        {
            "cache": {
                "capacity": "20G",
                "path": "/data-slow"
            },
            "mount_path": "/data-fast"
        }
    ]
}

参数说明：

步骤二：部署模型服务

部署一个模型服务，使其能够使用本地目录内存缓存加速的功能。