使用Fluid实现数据加速访问

步骤二：创建Dataset和JindoRuntime

1. 在创建Dataset之前，在ECS实例中的根目录中创建一个mySecret.yaml文件。

   apiVersion: v1
   kind: Secret
   metadata:
     name: mysecret
   stringData:
     fs.oss.accessKeyId: xxx
     fs.oss.accessKeySecret: xxx

   其中，fs.oss.accessKeyId和fs.oss.accessKeySecret是步骤一：准备OSS Bucket的数据中用来访问OSS的AccessKey ID和AccessKey Secret。

2. 执行以下命令，生成Secret。Kubernetes会对已创建的Secret使用加密编码，避免将其明文暴露。

   kubectl create -f mySecret.yaml

3. 使用以下YAML文件样例创建一个名为resource.yaml的文件，里面包含两部分：

   • 创建一个Dataset，描述远端存储数据集和UFS的信息。

   • 创建一个JindoRuntime，启动一个JindoFS的集群来提供缓存服务。

   说明

   通过kubectl get pods --field-selector=status.phase=Running -n fluid-system命令可以检查ack-fluid组件中的dataset-controller和jindoruntime-controller是否正常运行。

   apiVersion: data.fluid.io/v1alpha1
   kind: Dataset
   metadata:
     name: hadoop
   spec:
     mounts:
       - mountPoint: oss://<oss_bucket>       # 请按实际情况修改<oss_bucket>
         options:
           fs.oss.endpoint: <oss_endpoint>    # 请按实际情况修改<oss_endpoint>
         name: hadoop
         path: "/"
         encryptOptions:
           - name: fs.oss.accessKeyId
             valueFrom:
               secretKeyRef:
                 name: mysecret
                 key: fs.oss.accessKeyId
           - name: fs.oss.accessKeySecret
             valueFrom:
               secretKeyRef:
                 name: mysecret
                 key: fs.oss.accessKeySecret
   ---
   apiVersion: data.fluid.io/v1alpha1
   kind: JindoRuntime
   metadata:
     name: hadoop
   spec:
     replicas: 2
     tieredstore:
       levels:
         - mediumtype: MEM
           path: /dev/shm
           volumeType: emptyDir
           quota: 2Gi
           high: "0.99"
           low: "0.95"

   相关参数解释如下表所示：

   参数	说明
   mountPoint	oss://<oss_bucket>表示挂载UFS的路径，<oss_bucket>为OSS Bucket的名称，路径中不需要包含endpoint信息，例如：oss://examplebucket。
   fs.oss.endpoint	OSS Bucket的Endpoint信息，公网或私网地址均支持，例如：oss-cn-beijing-internal.aliyuncs.com。更多信息，请参见OSS地域和访问域名。
   replicas	表示创建JindoFS集群的Worker数量。
   mediumtype	表示缓存类型。在创建JindoRuntime模板样例时，JindoFS暂时只支持HDD/SSD/MEM中的一种缓存类型。
   path	表示存储路径，暂时只支持单个路径。当选择MEM做缓存时，需指定一个本地路径来存储Log等文件。
   quota	表示缓存最大容量，单位为Gi。
   high	表示存储容量上限大小。
   low	表示存储容量下限大小。

4. 执行以下命令，创建JindoRuntime和Dataset。

   kubectl create -f resource.yaml

5. 执行以下命令，查看Dataset的部署情况。

   kubectl get dataset hadoop

   预期输出：

   NAME     UFS TOTAL SIZE   CACHED   CACHE CAPACITY   CACHED PERCENTAGE   PHASE   AGE
   hadoop   209.74MiB        0.00B    4.00GiB          0.0%                Bound   56s

6. 执行以下命令，查看JindoRuntime的部署情况。

   kubectl get jindoruntime hadoop

   预期输出：

   NAME     MASTER PHASE   WORKER PHASE   FUSE PHASE   AGE
   hadoop   Ready          Ready          Ready        2m11s

7. 执行以下命令，查看PV和PVC的创建情况。

   kubectl get pv,pvc

   预期输出：

   NAME                              CAPACITY   ACCESS MODES   RECLAIM POLICY   STATUS   CLAIM            STORAGECLASS   VOLUMEATTRIBUTESCLASS   REASON   AGE
   persistentvolume/default-hadoop   100Pi      ROX            Retain           Bound    default/hadoop   fluid          <unset>                          2m5s
   
   NAME                           STATUS   VOLUME           CAPACITY   ACCESS MODES   STORAGECLASS   VOLUMEATTRIBUTESCLASS   AGE
   persistentvolumeclaim/hadoop   Bound    default-hadoop   100Pi      ROX            fluid          <unset>                 2m5s

从上述输出的查询信息，可以知道Dataset和JindoRuntime已创建成功。

步骤三：创建应用容器体验加速效果

您可以通过创建应用容器来使用JindoFS加速服务，或者提交机器学习作业来体验相关功能。本文以创建一个应用容器多次访问同一数据，并通过比较访问时间来展示JindoRuntime的加速效果。

1. 使用以下YAML文件样例，创建名为app.yaml 的文件。

   apiVersion: v1
   kind: Pod
   metadata:
     name: demo-app
     labels:
       # ACS的挂载需要使用到Fluid Webhook的Sidecar注入，所以需要配置如下label
       alibabacloud.com/fluid-sidecar-target: acs
       # 计算类型为performance性能型 
       alibabacloud.com/compute-class: performance
   spec:
     containers:
       - name: demo
         image: mirrors-ssl.aliyuncs.com/nginx:latest
         volumeMounts:
           - mountPath: /data
             name: hadoop
         resources:
           requests:
             cpu: 14
             memory: 56Gi
     volumes:
       - name: hadoop
         persistentVolumeClaim:
           claimName: hadoop
     nodeSelector:
       type: virtual-kubelet
     tolerations:
       - key: virtual-kubelet.io/provider
         operator: Equal
         value: alibabacloud
         effect: NoSchedule

2. 执行以下命令，创建应用容器。

   kubectl create -f app.yaml

3. 执行以下命令，查看文件大小。

   kubectl exec -it demo-app -c demo -- bash
   du -sh /data/spark-3.0.1-bin-hadoop2.7.tgz

   预期输出：

   210M    /data/spark-3.0.1-bin-hadoop2.7.tgz

4. 执行如下命令，查看文件的拷贝时间。

   time cp /data/spark-3.0.1-bin-hadoop2.7.tgz /dev/null

   预期输出：

   real    0m1.883s
   user    0m0.001s
   sys     0m0.041s

   上述输出信息显示本次文件拷贝时间消耗了1.883秒。由于是第一次拷贝该文件，此次操作并未使用JindoFS缓存加速能力。

5. 退出demo-app，执行以下命令，查看此时Dataset的缓存情况。

   kubectl get dataset hadoop

   预期输出：

   NAME     UFS TOTAL SIZE   CACHED      CACHE CAPACITY   CACHED PERCENTAGE   PHASE   AGE
   hadoop   209.74MiB        209.74MiB   4.00GiB          100.0%              Bound   64m

   上述输出信息显示100.0%的数据都已经在JindoFS缓存。

6. 执行以下命令，删除之前的应用容器，新建相同的应用容器。

   说明

   这样做的目的是为了避免其他因素（例如：Page Cache）对结果造成影响，如果节点已经存在本地缓存，拷贝操作会优先使用本地缓存。

   kubectl delete -f app.yaml && kubectl create -f app.yaml

7. 执行如下命令，查看文件拷贝时间。

   kubectl exec -it demo-app -c demo -- bash
   time cp /data/spark-3.0.1-bin-hadoop2.7.tgz /dev/null

   预期输出：

   real    0m0.203s
   user    0m0.000s
   sys     0m0.047s

   上述输出信息显示本次文件拷贝时间消耗了0.203秒，比第一次缩短了约9倍。由于此时文件已经被JindoFS缓存，第二次访问所需时间远小于第一次。

   重要

   本文中提供的拷贝时间数据仅为参考值，实际数据请以您的操作环境为准。