全部产品
云市场

Web控制台介绍

更新时间:2017-06-07 13:26:11

控制台地址 DataHub WebConsole

创建Project

在WebConsole中直接点击创建Project后填写相关信息

create_project

查看Project

用户点击Project列表中的查看按钮,可查看该Project的详细信息以及该Project下的Topic列表。

detail_project

删除Project

用户点击Project列表中的删除按钮进行Project的删除。需要注意的是,一旦删除Project,该Project下所有Topic,数据,及资源均被删除,无法恢复,请谨慎操作。

delete_project

创建Topic

用户点击Project详情页面中的创建Topic按钮,进行Topic的创建。

可以通过两种方式创建Topic

自定义格式直接创建

create_topic

用户可根据业务需求进行Topic的创建,各选项的意义可查看帮助文档中的基本概念。

通过导入MaxCompute表结构进行创建

需要指定访问MaxCompute的相关参数:

import_odps_schema

该种方式创建Topic可以自动创建导入数据到MaxCompute的Connector,勾选如下图所示选项即可,选中后将不可修改格式:

auto_create_connector

删除Topic

用户点击Topic列表中的删除按钮可进行Topic的删除。需要注意的是,一旦删除Topic,该Topic下的数据,资源(Shard, Connector)均被删除,无法恢复,请谨慎操作。

delete_topic

查看Topic

用户点击Topic列表中的查看按钮,可查看该Topic详细信息以及该Topic下的资源列表,包括Shard和Connector

Topic详情展示了Topic的创建/修改时间,shard数量,Topic的生命周期以及注释等信息;

detail_topic

Shard列表中包括ShardId,各个Shard状态;其中ShardId是该Shard在Topic中的唯一标识; Shard状态反应该Shard是否可进行数据发布与订阅;

list_shard

Connector列表展示该Topic下存在的Connector信息: 内部标识唯一确定该Topic下的Connector; 类型表示该Connector所指向的目的端,目前只有Odps;目的项目名称以及目的表名称指定需要归档到的ODPS项目和表名称;

list_connector

数据采集

Web Console集成了上传文件到DataHub的功能。

file_upload

选择Topic之后,指定与Topic对应格式的文件,并点击 “开始上传文件按钮“,文件中的数据就按照指定要求上传到对应的Topic中。

数据抽样

Web Console提供对Shard的基于时间的数据抽样功能。用户可在Shard列表中选择Shard点击列表尾端的数据抽样按钮,进入数据抽样页面。

sample_shard

设置指定时间与数量限制,展示在指定时间之后写入的指定数量的Record,当Record数不足指定数量时,展示仅有的Records。当指定时间大于等于当前时间,仅展示最后一条记录。

归档MaxCompute

目前,DataHub仅提供创建归档到MaxCompute的Connector的功能。在Topic详情页中,点击归档MaxCompute按钮,进入创建Connector页面

create_odps_connector_detail

MaxCompute Project: 指定Topic需要同步到的MaxCompute project名称;

MaxCompute Table: 指定Topic需要同步到的MaxCompute table名称;

AccessId/AccessKey: 访问MaxCompute所需要的AK对,该AK必须是子用户AK,并且具有指定的MaxCompute table下CreateInstance、Desc、Alter权限;

归档详情

归档详情提供归档任务的基本信息,包括DataHub的Topic以及需要归档到的MaxCompute项目和表;以及整体归档进度,包括最新写入时间、已归档时间和归档延迟。最新写入时间表示指定Topic中最新的写入记录的系统时间; 已归档时间表示在该时间之前的记录已全部归档; 延迟时长为最新写入时间和已归档时间的差值,单位秒。

connector_detail

归档详情中可以查看该Connector归档任务中每个shard的归档状况。当运行状态为”ERROR”时,鼠标移动到帮助图标会显示该Shard归档任务终止的详细报错信息,并且该Shard的重启功能可用。用户可根据报错信息进行修复(如,因为删除MaxCompute Partition导致的任务终止,可以通过MaxCompute控制台,SDK等创建Partition,修复完成后,点击该Shard的”重启”按钮,该Shard的归档任务将重新被调度,并且从上次终止的记录开始进行归档。若所有Shard或者大部分Shard处于非”RUNNING”状态,可点击”重启归档”按钮,重启所有Shard的归档任务。

connector_error

Metric查看

Web Console目前提供Metric功能,用户可以通过Metric界面查看准实时的Topic级别流量等信息,目前提供的指标有:

  • 读写Request/Second
  • 读写Record/Second
  • 读写Throughput/Second (单位KB)
  • 读写请求Latency/Request (单位微秒)

metric

可以指定历史时间段,目前仅支持一次最多查询4个小时内的统计信息,暂不支持一次查询中时间跨天。如图,选定一个时间范围将会显示对应期间的Metric信息。

time_span