您可以通过JindoTable表或分区的访问热度收集功能来区分冷热数据,从而节约整体的存储成本,提高缓存利用效率。
数据收集
JindoTable支持收集访问Hive表的记录,目前支持的引擎有Spark和Hive。收集的数据保存在集群SmartData服务的Namespace中。
数据收集是默认打开的。如果需要关闭,请参见关闭数据收集。
数据查询
JindoTable提供了命令方式查询热度信息。
- 语法
jindo table -accessStat <-d [days]> <-n [topNums]>days和topNums为正整数。当天数为1时,表示查询从本地时间当天0:00开始到现在的所有访问记录。 - 功能
查询在指定时间范围内,访问最多表或分区的指定条数。
- 示例,查询近七天访问最多的表或分区的20条访问记录。
jindo table -accessStat -d 7 -n 20
JindoTable使用详情,请参见JindoTable使用说明。
关闭数据收集
- 在顶部菜单栏处,根据实际情况选择地域和资源组。
- 单击上方的集群管理页签。
- 在集群管理页面,单击相应集群所在行的详情。
- 修改参数值。
删除如下参数值中的部分内容:
- Hive服务:
- 在左侧导航栏单击。
- 单击配置页签。
- 单击hive-site页签。
- 搜索参数hive.exec.post.hooks,删除参数值中的com.aliyun.emr.table.hive.HivePostHook。

- Spark服务:
- 在左侧导航栏单击。
- 单击配置页签。
- 单击spark-defaults页签。
- 搜索参数spark.sql.queryExecutionListeners,删除参数值中的com.aliyun.emr.table.spark.SparkSQLQueryListener。

- Hive服务:
- 保存配置。
- 单击右上角的保存。
- 在确认修改对话框中,输入执行原因,开启自动更新配置。
- 单击确定。
- 重启服务。
- Hive服务:
- 单击右上角的。
- 在执行集群操作对话框,设置相关参数。
- 单击确定。
- 在确认对话框中,单击确定。
- Spark服务:
- 单击右上角的。
- 在执行集群操作对话框,设置相关参数。
- 单击确定。
- 在确认对话框中,单击确定。
- Hive服务:
该文章对您有帮助吗?