让数据"飞"一会儿
赢时胜
恒河大数据平台
1.合作背景
深圳市赢时胜信息技术股份有限公司是国内知名的金融IT解决方案综合服务商。公司紧随金融行业发展,以技术为驱动力,专注于金融行业IT系统的研究、开发及服务,已服务银行、证券、信托、保险资管等300余家各种类型的金融客户。
赢时胜恒河大数据平台与鲲鹏计算产业生态的结合,是赢时胜公司与鲲鹏产业源头创新中心深度合作开发的联合解决方案。该方案致力于开发具有全新大数据处理能力的行业应用,为前台创新类业务提供PaaS层数据中台能力。恒河大数据平台方案能够为业务应用层提供稳定、可靠、可扩展的基础能力支撑,以降低用户开发门槛、缩短应用开发周期、提高开发效率。该方案通过助力企业级数据中台体系建设,实现数据资产化、挖掘数据的最大价值的目标。
2.解决方案介绍
2.1 方案介绍
赢时胜恒河大数据平台是一整套新一代大数据解决方案类产品,它整体面向实时化的数据处理架构,支持大数据场景的混搭数据存储,并提供流批一体的并行计算方式。该产品综合提供流式实时计算、内存计算、后台批量任务计算能力,能够汇聚多种数据源,构建专业领域模型,萃取业务领域数据图谱,实现在整体数据治理体系下实现数据资产化。该方案基于数据资产化价值,以数据服务形式对外开放,并通过统一数据智能应用平台实现对外能力输出。
赢时胜恒河大数据平台基于华为云鲲鹏云服务器底座,建立Hadoop大数据集群节点,经由EIP接入互联网,外部测试用户可直接访问测试环境。
图1 恒河大数据平台技术方案图
图2 恒河大数据测试环境逻辑组网图
2.2测试环境
A)云平台资源配置
_ |
相关说明 |
数量 |
配置参数 |
赢时胜 恒河大数据HengHeErise平台 |
恒河数据库/hadoop/hive/ spark/flink/ kafka/zookeeper集群 |
5 |
系统版本:CentOS 7.6 处理器kc1.4xlarge.2 | 16核 |32GB 硬盘:80G 带宽:5Mbit/s |
数据库服务器 |
1 |
系统版本:CentOS 7.6 处理器kc1.4xlarge.2 | 16核 |32GB 硬盘:80G 带宽:5Mbit/s |
B)组件列表
类别 |
名称 |
版本 |
操作系统 |
CentOS |
7.6 |
操作系统特殊依赖包 |
Openssl Gcc |
1.0.2k 4.8.5 |
中间件 |
_ |
_ |
数据库 |
Mysql |
5.7 |
恒河数据库 |
2.2.2 |
|
编码语言 |
Java |
8 |
应用开发工具及库 |
Openjdk |
1.8 |
主要组件 |
Hadoop |
3.1.3 |
Hive |
3.1.2 |
|
Spark |
2.4.5 |
|
Flink |
1.12.0 |
|
Kafka |
2.3.1 |
|
Zookeeper |
3.4.12 |
2.3产品亮点
1) 高性能:
基于华为云鲲鹏云ECS部署Hadoop集群,以恒河NewSQL数据库为核心,结合华为鲲鹏服务器强劲的多核算力,实现百亿级数据秒级响应,满足用户海量业务访问、大数据应用分布式存储和并行计算的需求。
2) 多兼容:
赢时胜恒河大数据平台基于华为云鲲鹏云底座,结合华为鲲鹏云ECS、EVS等云服务,在保证快速的数据交换处理同时,实现关系型数据库的数据类型Schema兼容、索引管理、标准SQL访问、轻量级JDBC驱动、X on HengHe生态、海量数据存储等相关技术特性。
3)全场景:
华为云鲲鹏云服务为赢时胜恒河大数据平台提供覆盖大数据“采、存、算、管、用”全生命周期的云服务。恒河大数据平台基于华为云鲲鹏云架构部署,实现了大数据融合汇集、质量管理、资产管理等应用功能;同时兼容传统关系型数据库的SQL语法,方便开发具有全新大数据处理能力的行业应用,能够为上层业务应用开发提供稳定、可靠、可扩展的基础支撑和服务,从而缩短应用开发周期,降低用户开发门槛,提高开发效率。
2.4兼容性认证证书
3.案例亮点
赢时胜恒河大数据平台已经在华为云鲲鹏云上完成基于鲲鹏架构的兼容性适配工作,对方案的主干模块设计、执行并通过了410个测试用例,实现了恒河NewSQL数据库高频访问平均写入响应时间在60ms以内、平均读取响应时间在15ms以内的指标。大数据平台运行稳定、各项指标达标,总体性能满足行业应用构建云上预生产、生产环境的要求。
赢时胜公司多年致力于“以技术为驱动力”在金融行业的落地探索,已形成完善的体系与成熟的方法论,其恒河生态体系拥有多项核心自主知识产权。恒河大数据平台定位为支撑行业数据中台能力建设,以大数据能力的易用性为研发目标,实践传统数据能力向大数据能力的平滑迁移。基于恒河数据库、恒河大数据平台以及华为鲲鹏云底座构建的联合解决方案具备高可靠、高安全以及高性能特性,其领先技术竞争优势将有力支撑金融行业客户的数据中台能力建设,以实现生态共赢。
鲲鹏计算产业对围绕鲲鹏处理器的IT基础设施产品、行业应用及服务、生态演进及支持建立了长期演进规划,搭建可持续发展的创新计算平台,涵盖从底层硬件、基础软件到上层行业应用的全产业链条。赢时胜恒河大数据平台产品研发团队敏锐地捕捉到了这一契机,积极联合鲲鹏产业源头创新中心开展技术对接、持续攻关与技术突破,实现了多项关键技术创新,同时联合创新中心积极进行行业推广与商业落地,实现技术与商业共赢。
4.创新中心介绍
鲲鹏产业源头创新中心由深圳市政府和华为公司联合建立,深圳湾科技发展有限公司承接日常运营服务工作,共同为鲲鹏生态伙伴提供鲲鹏云资源、技术支持、联合创新、标准制定、测试认证、人才培养等公共服务,加快深圳市鲲鹏生态体系规划布局,打造全国鲲鹏产业示范区。
地址:深圳市南山区深圳湾科技生态园10栋B座37、38楼