豪杰分布式数据库-HeroDB 7D

产品介绍

豪杰融合型分布式数据库(简称HeroDB 7D)是具有自主知识产权、面向大数据场景设计的企业级融合型分布式HTAP数据库产品。该产品同时支持OLTP和OLAP两种大数据业务场景、支持分布式事务的ACID，具备弹性扩展、高并发和高可用等特性，集群支持上千台节点, 内置数据智能计算引擎, 具备高度的数据智能。该产品符合SQL92/ SQL99/SQL2003/SQL2011核心规范，支持 GBK 和 UTF-8 字符集，提供LIB、ODBC、OLE DB、JDBC、ADO.NET、PEP246、PDO等开发接口，适用于金融交易、数据中台、社交媒体、日志分析、用户画像、数字化运营、用户推荐等大数据应用场景。

HeroDB 7D和豪杰数据组件（HeroSpider、HeroETL、HeroModel等）、分布式存储（dbStore）、AI计算平台（dbBrain）等无缝对接，组成豪杰大数据智能平台。该平台帮助用户完成从数据获取、数据治理、数据存储、数据检索、数据分析到数据可视化等全数据生命周期处理，高效、快捷、一站式地实现从数据到信息和智慧的转化，更好、更快地释放数据资产化和规模化带来的价值。

产品功能

  • 支持分布式事务的ACID（Atomicity原子性、Consistency 一致性、Isolation 隔离性、Durability 持久性）
  • 完全支持SQL92、SQL99、SQL2003等国际标准，完全兼容Postgresql、高度兼容MySQL语法，90%兼容Oracle语法
  • 数据库接口：ODBC、JDBC、ADO.Net、PEP249、PDO、GO-LIBPQ等
  • 数据类型：支持标准SQL所有数据类型，支持INET、CIDR、UUID、ISBN等扩展数据类型，K-V、XML、JSON等半结构数据类型，200多种电子文档的MIME数据类型，POINT、CIRCLE、LINE等GIS数据类型，CERT、SECURITYLABEL等证书及安全标签类型，共计120多种
  • 支持时序百亿级级时序数据存储
  • 支持每秒十万级时序数据写入
  • 支持时序数据实时分析、聚合、展示最新值、展示异常值、实时的搜索和实时处理
  • 支持Grafana（开源）可视化数据
  1. 支持TB到EB级流、图、时空、文本、文档数据分析
  2. 支持在线系统实时数据流同步
  3. 对接AI加速卡，提供对海量数据的AI计算能力
  4. 支持OLAP、NLP、ML、DL等200多个基础函数，实现基于大数据平台全量数据做数据智能分析，例如分类、分级、偏好等实时分析
  5. 支持Python语言编写特定场景分析函数、支持触发器、定时任务、实时任务编排
  6. 提供SQL化的大数据编程能力，对于开发者而言，大数据平台感觉是一台单机数据库
  1. 豪杰互联网数据爬取组件（HeroSpider）
    • 从互联网爬取数据，支持从网站、微博、论坛等爬取数据
    • 数据爬取采用模板定义方式，支持标准模板和自定义模板
    • 爬取数据支持直接存入HeroDB或HeroGraph，支持边爬边分析
  2. 豪杰数据建模组件（HeroModel）
    • 面向新手和专家的开源的机器学习和数据可视化工具，用于数据挖掘或机器学习模型的交互式数据分析工作流程
    • 融合了自然语言处理和机器学习等技术手段，以可视化方式进行结构化数据和非结构化数据嵌入式机器学习，挖掘数字关联关系，抽取人、事、物、时间、属性、关系和特征，简化数据整理的复杂度
    • 为HeroDB或HeroGraph数据库训练机器学习和深度神经网络模型
  3. 豪杰数据清洗组件（HeroETL）
    • 通过图形界面来设计源数据抽取、清洗、转换（ETL）过程
    • 清洗、转换的结果数据自动导入HeroDB或HeroGraph，在数据库内进行嵌入式机器学习，挖掘数字关联关系，抽取人、事、物、时间、属性、关系和特征
  1. dbStore是一个可靠地、自动重均衡、自动恢复的分布式存储系统，提供对象存储、块设备存储和文件系统等三种服务,为豪杰大数据平台提供可靠的、自组织、自动修复、自我管理的分布式存储系统。
  2. dbStore充分利用了存储节点上的计算能力，在存储每一个数据时，都会通过计算得出该数据存储的位置，尽量将数据分布均衡。
  3. dbStore采用了CRUSH算法、HASH环等方法，使得它不存在传统的单点故障的问题，且随着规模的扩大性能并不会受到影响。
  • Share Nothing MPP分布式架构
  • 分布式引擎，多种数据分片策略
  • 支持多达256个计算节点弹性扩展
  • 支持冷热数据分离
  1. 数据存储加密，支持系统文件、表、对象、WAL日志、审计日志等存储加密
  2. 数据传输加密，基于GMSSL的传输加密
  3. 多重身份认证，支持口令、证书、令牌、APPKEY、应用水印等多重认证方式
  4. 细粒度的授权访问，支持基于角色和组的授权访问方式，授权对象支持表、行、列、函数、序列等，粒度达到select、insert、update、delete、execute等
  5. 安全标记及强制访问控制，安全标记支持密级（或等级，允许自定义）和范围（例如部门）两种安全标签组合，强制访问控制到表级、列级、行级和单元级
  6. 三员管理和多员管理，数据库系统自带三员管理，即系统管理员、安全管理员和安全审计，三员管理按照“最小授权、相互制约”的原则设计，允许定义多员管理，满足不同场景的安全需求
  7. 日志审计，支持审计日志策略配置，支持用户审计、对象审计、权限审计、登录审计、结果审计和TCB审计
  8. 接入控制，支持黑白名单，支持按IP地址段、MAC地址、登录时间段等多种方式
  9. SQL防火墙，支持SQL规则自学习和SQL注入检测
  10. 数据脱敏，支持常用数据类型自动脱敏，支持自定义脱敏规则
  11. 数据安全和应用安全统一管理，将数据授权（表、视图、字段、记录）和应用授权（链接、菜单、按钮）统一管理的授权方式，实现数据安全和应用安全有机统一，避免了应用授权和数据授权的脱节

技术指标

核心指标 HeroDB 7D
数据容量 10PB
单表大小 1PB
单表最大记录数 2^55
单表最大列数 1120
单表最大索引个数 1024
单索引最大包含列数 32
单表最大约束个数 无限制
分区表的分区个数 32768
存储方式 行存、列存
支持文字检索的图像文档 PDF、JPG、JPEG、TIFF、PNG等几十种常用图像文档；
支持文字检索的视频文档 mp4、avi等十多种常用视频文档（需要配合dbBrain使用）
全文检索 支持入库即可全文检索，达到近实时的水平；支持255个条件组合检索；
ADHOC检索 支持任意字段的组合检索和多表关联检索；支持任意词、词语、语句三种级别的组合检索
语义检索 支持词语级、语句级、文档级的语义相似检索（非检索词硬性检索）；支持文档排重检索；支持文档模糊检索；文档检索结果相关性排序
密表加密方式 整表加密、行加密、列加密
强制访问控制粒度 支持表级、记录级、字段级、记录字段级，支持虚拟私有数据表
密表性能损耗 关系表15%以内，文档库35%以内
密表空间膨胀 5%以内
支持数据类型 支持数值类型、货币类型、字符类型、二进制数据类型、日期/时间类型、布尔类型、枚举类型、几何类型、网络地址类型、文本搜索类型、UUID类型、xml数据类型、JSON类型、范围类型、对象标识符类型、伪类型、数组类型、复合类型、文档类型、图类型、时序类型、GIS类型等
支持SQL规范 SQL92/ SQL99/SQL2003/SQL2011核心规范
服务器字符集 utf-8、gbk、unicode等
数据库接口 LIB、ODBC、OLE DB、JDBC、ADO.NET、PEP246、PDO、GO-LIB等
锁和事务隔离级别 MVCC 无锁设计，支持Read uncommitted、Read committed（默认）、Repeatable read、Serializable等四种事务隔离级别
流复制方式 支持同步、异步、半同步
备份恢复 全量备份、定时备份、增量备份；全量恢复、PITR恢复（恢复到时间点）
高可用架构 不依赖第三方软件的情况，支持双机热备、一主多从、读写分离 支持数据库虚拟IP，主备秒级切换
扩展能力（逻辑节点） 1024
扩展能力（物理节点） 256
并发连接数 600
支持操作系统 麒麟、统信、方德、EulerOS、CentOS、Ubuntu、Windows Server 2012-2020
支持处理器 龙芯、飞腾、申威、海光、Amd64
支持云平台 支持公有/私有/混合云，例如阿里云/腾讯云/青云/金山云/易捷行云/zstack等

特点优势

  • 高安全性

    在数据库内核基于密码技术实现金融级安全，支持国密局批准的硬件密码设备，完全符合等保2.0数据安全保护1至5级所有要求。

  • 数据种类多

    支持120多种关系数据、JSON、XML等半结构数据，流式、版本、图片等非结构化文档、图数据、时序数据、GIS数据等等

  • SQL化数据智能

    数据智能零门槛，内置AI和NLP引擎，引入AutoML技术，支持记录集在数据库内进行ML、DL和NLP等数据分析，使用十分方便。

  • 金融级高可用

    稳定性达到99.999%的金融级高可靠性，支持双机热备、读写分离等集群架构，支持金融级多副本，支持实时异地灾备、满足7*24稳定运行。

应用场景1:大型核心交易系统（HTAP）

应用场景2:大数据智能分析系统

产品咨询

  • 微信公众号

  • 咨询客服

400-9966-085 产品资料