创建元数据

在基于HBase、Elasticsearch或MongoDB数据源创建服务单元之前,需要先创建对应数据中数据表的元数据,以实现通过元数据确定数据中数据表的结构。后续您可以通过该元数据读取到对应数据源的数据。本文为您介绍如何创建HBase、...

创建元数据

在基于HBase、Elasticsearch或MongoDB数据源创建服务单元之前,需要先创建对应数据中数据表的元数据,以实现通过元数据确定数据中数据表的结构。后续您可以通过该元数据读取到对应数据源的数据。本文为您介绍如何创建HBase、...

统一服务

数据中台建设过程中,搭建核心处理平台,并根据相关标准要求,将源数据或治理后的数据,按照“全面、高效、统筹”的共享原则,“低延时”、“精准化”的传递给用户,方便更多应用消费数据,实现数据价值。协同管控各种组织机构,为智慧化...

客户案例

基于飞天数据平台产品DataWorks+MaxCompute大大提高了数据业务的开发效率,构建大润发的数据中台体系。新金融行业:某互联网金融公司湖仓一体案例 客户架构如下。客户简介 公司的第一代数据湖是基于Hadoop+OSS搭建的,同时引入的数据中台...

伯俊软件

所属行业:互联网、软件 网站地址:上海伯俊软件科技有限公司 公司介绍 伯俊软件是国内老牌数字化服务商,创立20余年,已为3000多家中型企业提供数字化管理产品、解决方案、“业务+数据中台、培训及专业的技术服务,客户覆盖零售、制造...

应用场景

数据分析业务数据库 Memcache 版搭配大数据计算服务 MaxCompute。实现对大数据的分布式分析处理,适用于商业分析、挖掘等大数据处理场景。通过数据集成服务可自助实现数据在云数据库 Memcache 版与 MaxCompute 间的同步,简化数据操作...

增强E-R

模式识别E-R 模式识别(SchemaMatching)E-R整合了阿里巴巴内部的数据识别算法能力,该算法可在已有的数据资产自动挖掘数据库内潜在的关联关系,即使没有对数据进行任何标识也会被挖掘出来,挖掘到的关系将用于构建数据资产知识图谱。...

混合存储型(已停售)

实例性能 混合存储型实例的性能与实例规格以及业务中数据被访问的概率有很的关系:实例规格越高,内存数据的访问比重越高,性能就越强。理想的场景中,所有的访问都命中内存,此时实例性能与Redis社区版实例基本一致;反之,在内存命中率...

Contextual Bandit 算法

推荐系统数据循环问题 算法决定展示内容,展示内容影响用户行为,而用户行为反馈又会决定后续算法的学习,形成循环。在这种循环下,训练集和测试集与监督学习独立同分布的假设相去甚远,同时系统层面上缺乏有效探索机制的设计,可能...

规格及选型

多个实例间可实现数据共享,无需担心业务中台的发展和数据体系建设会造成数据孤岛;独立的实例可完全保证资源隔离;每个业务的使用情况也可以直接反映在账单上。案例八:构建数据开发平台 用户需要构建一个数据开发平台,期望减少开发过程...

数据治理

敏感数据保护 对于业务中数据保护的需求,您可以将数据进行动态或静态脱敏,在当前实验中,会将表(retail_e_commerce_2.dim_ec_mbr_user_info)中的手机号码、IP地址等敏感字段进行动态脱敏处理。具体操作请参见下文指导,更多数据保护...

什么是DataWorks

DataWorks基于MaxCompute、Hologres、EMR、AnalyticDB、CDP等大数据引擎,为数据仓库、数据湖、湖仓一体等解决方案提供统一的全链路大数据开发治理平台。从2009年起,DataWorks不断沉淀阿里巴巴大数据建设方法论,支撑数据中台建设,同时与...

时序异常检测

异常检测算法在检测过程持续学习时序数据的特征(例如数据趋势或者周期),从而完成对新插入时序点的检测。例如新插入的时序数据有一个非常的尖刺,检测结果可能为异常。时序异常检测搭配 SAMPLE BY 语句可以实现以下功能:搭配 SAMPLE...

应用场景

实时数据通道 1.1 接入多种异构数据并投递到下游多种大数据系统 通过数据总线,您可以实时接入APP、WEB、IoT和数据库等产生的异构数据,统一管理,并投递到下游的分析、归档等系统,构建清晰的数据流,让您更好的释放数据的价值。...

通用数据开发

通常数据开发的总体流程包括数据产生、数据收集与存储、数据分析与处理、数据提取和数据展现与分享。说明 上图,虚线框内的开发流程均可基于阿里云大数据平台完成。数据开发的流程如下所示:数据产生:业务系统每天会产生大量结构化的...

DataWorks交流钉钉群

说明 从2009年飞天大数据平台写下第一行代码开始,DataWorks历经10年发展,形成一套成熟的产品功能体系,满足企业数据中台搭建需求。在阿里巴巴内部,每天有数万数据算法开发工程师正在使用DataWorks。您需要先单击 申请链接 加入“阿里...

数据质量保障原则

一致性 一致性通常体现在跨度很数据仓库。例如,某公司有很多业务数仓分支,对于同一份数据,在不同的数仓分支必须保证一致性。例如,从在线业务库加工到数据仓库,再到各个数据应用节点,用户ID必须保持同一种类型,且长度也要...

产品简介

主要包括:大数据技术架构方案咨询、大数据解决方案POC、大数据搬站迁云方案咨询、跨地域迁移支持服务、大数据专家高阶培训、专家运维保障综合服务、AI算法建模咨询、AI算法方案POC、AI标注人力服务等。阿里云大数据专家服务在金融、电商、...

时序异常检测

数据服务提供时序异常检测算法,采用智能时序算法,实时分析设备时序数据,准确感知设备异常现象。查看基本信息 在 物联网平台控制 的 实例概览 页面,单击目标企业版实例卡片。在左侧导航栏,选择 数据服务>数据智能。在算法模板列表...

使用创建反向任务功能

前提条件 已创建存储空间大于业务数据库已使用的灾备数据库,建议灾备数据业务数据大10%。已在业务数据库和灾备数据创建用于数据同步的账号。权限要求,请参见 RDS MySQL实例间的同步 或 RDS SQL Server间的同步。重要 灾备数据库的...

规划工作空间

大型数仓,企业数仓公共层,数据中台。优点 工作空间成员与组织架构一致,人员组成最稳定,数据安全性最高。同时计算、存储成本归属清晰。工作空间内业务专一,人员可根据业务动态调整,数据链路清晰,易运维。数据架构清晰,共享便利,...

入门概述

算法建模 使用符合业务场景的算法组件,加上预处理后的数据训练集进行算法建模。评估模型 使用训练好的模型对预测数据集进行结果预测,并结合预测集中的“正确答案”评估模型效果。模板工作流demo 通过模板可以直接套用模板快速创建工作流...

管理数据库

创建RDS MariaDB实例后,您需要在实例创建与您业务相关的数据库。RDS MariaDB支持通过控制、SQL命令、API接口管理数据库,包括创建、删除数据库。背景信息 概念 实例:实例是虚拟化的数据库服务器。您可以在一个实例创建和管理多个...

管理数据库

创建RDS MySQL实例后,您需要在实例创建与您业务相关的数据库。RDS MySQL支持通过控制、SQL命令、API接口管理数据库,包括创建、删除数据库。背景信息 概念 实例:实例是虚拟化的数据库服务器。您可以在一个实例创建和管理多个数据库...

产品优势

数据管理能力 工业云数据体系,云上结构化客户数据,原子化对象打散,灵活再造业务数据模型,帮助客户沉淀数据以及经验。算法优化能力 经过实战检验的业务过程智能优化算法服务,一周接入、一周上线帮助制造业直接降本增效。技术专家能力...

新零售:特步

业务架构 客户价值 基于 PolarDB-X+RDS的分布式数据解决方案+业务中台提升客户数据链路的时效性以及客户业务系统的吞吐能力,使订单、库存、商品、销售的数据能实时从业务端到业务中台再到报表系统做销售业务决策。基于 PolarDB-X+RDS的...

概述

解决方案 T+1全量同步一键建仓是指通过DLA控制配置数据源(RDS、PolarDB for MySQL、MongoDB数据源、ECS自建数据数据)和目标OSS数据仓库,系统按照您设定的数据同步时间自动、无缝的帮您把数据数据同步到目标数据仓库OSS,...

大数据安全治理的难点

通常,数据系统的工作流涉及多部门、多责任人且跨系统的数据,如何才能协调好这些业务系统准时、保质保量地产出数据,避免出现因业务系统宕机/脏数据导致数据延时产出、产出脏数据,关乎到企业数据业务的连续性问题甚至高层的信任问题...

数据页面管理

在管理数据页面数据的类型分为 ...上传数据 管理数据页面数据类型有 矢量、栅格、地理服务、三维模型、三维瓦片 和 业务数据类,不同类型的数据可上传的数据格式互不相同,具体三种类型数据上传数据的详细说明请参见 上传数据

数据页面管理

在管理数据页面数据的类型分为 ...上传数据 管理数据页面数据类型有 矢量、栅格、地理服务、三维模型、三维瓦片 和 业务数据类,不同类型的数据可上传的数据格式互不相同,具体三种类型数据上传数据的详细说明请参见 上传数据

受众与核心能力

本文为您介绍DataWorks的产品定位、产品受众和产品的核心能力。产品定位 DataWorks致力于为数据开发者、数据分析师、数据资产管理者,打造一个具备...让数据从采集到展现、从分析到驱动应用得以一站式解决,真正实现数据业务化、业务数据化。

水印使用限制

数据源嵌入水印时有以下使用限制。...在数据安全中心控制配置任务,将A表数据嵌入水印后写到B表,不会修改A表数据,仅影响写入B表的数据。嵌入水印后的数据有一部分会与原始值不同。支持空格算法和最低有效位算法

算法说明

流式分解算法 流式分解算法基于RobustSTL系列模型的原理进行研发,可对数据流进行批处理但计算成本更高,适合小规模业务指标数据的精确巡检。规模数据场景下,建议您拆分数据或使用流式图算法。更多信息,请参见 RobustSTL:A Robust ...

使用Simple存储策略

背景信息 时空数据具有个体、总量的特点,Ganos的栅格、轨迹、点云等数据类型往往需要采用专业的压缩算法压缩后再存入数据库表,而当前数据库提供的存储策略只支持固定简单的压缩算法,或者不压缩直接存储至外表,将导致时空数据...

使用Simple存储策略

背景信息 时空数据具有个体、总量的特点,Ganos的栅格、轨迹、点云等数据类型往往需要采用专业的压缩算法压缩后再存入数据库表,而当前数据库提供的存储策略只支持固定简单的压缩算法,或者不压缩直接存储至外表,将导致时空数据...

敏感数据审计

数据管理DMS提供的敏感数据审计功能,记录了敏感数据在DMS的使用情况,可以解决敏感数据异常使用和数据泄露的溯源问题。功能介绍 审计覆盖的功能模块:SQL窗口的查询与变更、数据结果集导出、数据库导出和普通数据变更。功能入口:安全...

应用场景

背景信息 设备将原始数据通过 MQTT 协议发送到物联网平台,经由物联网平台将数据转发到消息服务系统,继而通过流计算系统对这些数据进行实时计算处理后写入到 TSDB 存储,或者经由物联网平台直接将原始数据写入 TSDB 存储。前端的监控...

添加业务实时监控服务ARMS数据源(已下线)

本文档为您介绍在DataV添加实时监控服务ARMS数据源的方法,以及相关参数配置说明。业务实时监控服务(Application Real-Time Monitoring Service,简称ARMS)是一款APM类的监控产品。用户可基于ARMS的前端、应用和自定义监控功能,快速...

结束数据迁移任务

对于需要停止或迁移失败(不再需要)的任务,您可以结束数据迁移任务,避免源数据库的数据覆盖写入至目标数据。前提条件 数据迁移任务处于 迁移、已暂停、迁移失败 状态。影响 结束数据迁移任务后,数据迁移任务将处于 已完成 状态,...

添加业务实时监控服务ARMS数据源(已下线)

本文档为您介绍在DataV添加实时监控服务ARMS数据源的方法,以及相关参数配置说明。业务实时监控服务(Application Real-Time Monitoring Service,简称ARMS)是一款APM类的监控产品。用户可基于ARMS的前端、应用和自定义监控功能,快速...
共有200条 < 1 2 3 4 ... 200 >
跳转至: GO
产品推荐
云服务器 安全管家服务 安全中心
这些文档可能帮助您
云数据库 RDS 数据库备份 云数据库 Redis 版 云服务器 ECS 弹性公网IP 短信服务
新人特惠 爆款特惠 最新活动 免费试用