高性能分析引擎(CStore)是HybridDB for MySQL最新推出的OLAP增强版本。CStore高性能列式存储引擎,能够支持每秒百万实时写入,实现百亿数据任意维度毫秒级实时查询;在兼容MySQL的语法和函数的基础上,同时支持在SQL中的多值子列(标签列)查询、全文检索和空间检索等功能特性;既支持通过数据同步工具实时写入数据,也支持直接和离线数据仓库MaxCompute的高速导入导出,数据传输速度可高达TB每小时,从而能够满足实时BI报表、离线数据在线服务和日志类分析查询等各类场景的需求。

功能特性

  • 极速查询

    毫秒级的极速查询能力是CStore引擎的核心竞争力:

    • 支持百亿大表的聚合、连接等复杂查询,任意维度组合,毫秒级延时。
    • 支持通用的OLAP模型,比如星型、雪花等模型;支持事实表和维度表。
    • 数据按照列存储,支持列级智能索引。列级索引可以任意组合,最多支持数千个查询条件。
    • 强大的聚集索引能力,用户可以按照业务特性对数据做排序,查询性能最高可提升一个量级以上。
  • SQL兼容性

    CStore引擎在查询上有着出色的SQL兼容能力:

    • 支持MySQL全部的查询语法,涵盖各类操作符、函数、复杂查询嵌套等。
    • 支持大数据通用的TPC-H、TPC-DS标准的基准测试。
    • 支持Oracle常用的开窗语法和函数、集合操作、层次查询等。
  • 实时写入

    CStore引擎支持高性能实时写入:

    • 支持INSERT INTO/REPLACE INTO实时写入。
    • 数据写入后毫秒级可查询。
    • 支持主键索引去重,可以快速REPLACE INTO覆盖更新。
    • 支持UPDATEDELETE单表任意条件的数据更新。
    • 单节点性能可达2W-5W TPS或者30MB/s-50MB/s(读写速度),可线性扩展到数百万TPS。
  • 批量导入

    CStore引擎有着独具特色的高性能批量导入导出能力:

    • 批量导入导出性能最高可达1TB/小时,百亿数据最快分钟级完成导入或者导出。
    • 支持MaxCompute(ODPS)、OSS、RDS for MySQL等产品数据的快速批量导入导出。
    • 支持新旧数据一键切换功能,数据导入时不影响查询,导入完成后一键切换,新数据直接上线服务。
  • BI生态兼容

    CStore引擎兼容MySQL协议,支持主流的BI工具:

    • 在阿里云上支持DMS、QuickBI等BI工具,支持DTS全量和增量数据迁移。
    • 在阿里集团内部支持IDB、孔明灯、夸克可视化工具,支持精卫、DTS数据同步。
    • 支持各种商业BI工具,包括Tableau、Navicate、MySQL workbench等。
  • 系统稳定性

    CStore引擎在稳定性上做了大量细致的工作:

    • 用户实例资源单独隔离,无共享资源依赖,保证了用户之间不会出现资源争抢和排队。
    • 存储和计算资源隔离,可以保证导入基本不影响查询。
    • 查询模式自动识别,快速查询和复杂查询隔离,避免了单个复杂查询影响整个实例。
  • 数据可靠性

    CStore引擎从两个方面保证数据可靠性:

    • 数据默认多副本存储,达到工业安全等级。
    • 支持全量和增量备份数据到OSS。
    • 支持按备份集和时间点恢复。
  • 特色功能

    CStore引擎做为OLAP的增强版本,支持如下特色功能:

    • 多值子列:支持单列多个值的存储、过滤和分组,可以做到亿级数据毫秒级的多值列检索。
    • 全文检索:支持全文检索列,可以定义分词器,支持毫秒级的检索能力。
    • 空间检索:支持空间索引,支持点、圈型、多边形的检索和查询,百亿数据可以做到毫秒级别的检索能力。