这里有
强大的数据治理
华傲智能数据中台
1.合作背景
深圳市华傲数据技术有限公司(以下简称“华傲”)此次联合华为打造基于鲲鹏IaaS底座面向数字政府业务的完整解决方案。其中数据共享交换平台功能模块包括资源编目管理、交换任务管理、服务目录管理和平台配置管理,可以实现政务信息资源的编目、订阅以及在各部门之间的共享交换;数据治理平台利用数据标准、质量、监管保护、元数据等工具,提升数据资产管控和服务的能力,建设数据质量可靠、数据管理规范、数据服务准确的高效数字政府;清洗融合平台通过GLDM模型实现对城市数据的归集汇聚,支持政府数据仓库建设和专题应用。
1.1解决方案介绍
华傲大数据服务解决方案中的数据共享交换平台、数据融合平台、数据治理平台业务系统部署在华为鲲鹏云上。可现政务信息资源的编目、订阅以及在各部门之间的共享交换,从而提升数据资产管控和服务的能力,从而助力建设数据质量可靠、数据管理规范、数据服务准确的高效数字政府。
如图所示:
1.2 实践准备
经过华为多年的研发投入,目前市场上主流的操作系统,计算框架,数据库都已兼容鲲鹏计算架构。华傲数据基于CentOS 7.6的操作系统,采用java作为开发语言,计算框架使用Spark,数仓使用Hive等,其使用的组件皆为主流软件,经过鲲鹏专家评估技术栈符合鲲鹏适配要求。
类别 |
名称 |
版本 |
操作系统 |
CentOS for ARM64 |
7.6 aarch64 |
数据仓库 |
Hive |
3.1.0 |
分布式计算框架 |
Spark2x |
2.3.2 |
数据库 |
GaussDB 200 |
6.5.1 |
编码语言 |
Java |
2.0 |
应用开发工具及库 |
openjdk |
1.8 |
在华傲数据移植适配到鲲鹏架构过程中,鲲鹏产业源头创新中心提供高性价比的鲲鹏云上资源,并在移植过程中为伙伴提供全方位的即时响应咨询服务,提供优质的云上解决方案,快速为伙伴搭建业务环境,助力伙伴成功适配并迁移上鲲鹏。
1.3 测试验证
1.测试环境资源皆由华为鲲鹏云提供,清单如下:
业务名称 |
相关说明 |
数量 |
配置参数 |
华傲大数据服务解决方案 |
数据共享交换平台 |
2 |
系统版本:CentOS 7.6 aarch64 规格:16核 | 16GB 硬盘:500G 带宽:5M |
2 |
系统版本:CentOS 7.6 aarch64 规格:16核 | 32GB 硬盘:500G 带宽:5M |
||
数据融合平台 |
3 |
系统版本:CentOS 7.6 aarch64 规格:4核 | 16GB 硬盘:500G 带宽:5M |
|
数据治理平台 |
2 |
系统版本:CentOS 7.6 aarch64 规格:8核 | 16GB 硬盘:500G 带宽:5M |
2.测试环境逻辑组网图
2.合作价值
华傲数据根据多年的行业数据治理工作实践,在华为鲲鹏云上提供更契合客户需求的功能模块,如标准版本管理以及数据质量规则制定,都是根据原有实践中客户痛点,通过解决客户的痛点,让鲲鹏云上数据治理方案更加切实可行。
华傲数据清洗融合系统基于 GLDM 模型设计,结合华为鲲鹏云大数据底层架构和数据仓库技术,自动化集成数据加工处理流程,缩短融合建库实施周期,大幅提升效率,通过抽象和具体结合的手段,形成多库关联、统一管理的思路,构建了人口库、法人库、宏观经济库、房屋库、事件库等。
华傲数据平台产品基于华为鲲鹏云大数据计算架构,充分利用鲲鹏多核整形算力的优势,以及高带宽的云基础资源。相同成本下,鲲鹏相比X86架构利用多核优势,整体发挥性能提升25%。
华傲数据数据平台产品基于鲲鹏云进行深度优化,相比传统的计算存储合一方案,通过华为鲲鹏云提供的OBS存算分离方案,计算和存储可独立弹性伸缩使得整体性价比大幅度提升。OBS通过替换ECS3副本本地存储存储利用率提升50%,OBS分级存储对超过6个月的数据成本下降80%。大幅度降低建设成本投入,提高整体解决方案性价比。
华傲数据深度融合华为鲲鹏云打造针对政务数据管理的高安全解决方案。企业细粒度管理,按照项目维度进行集群操作权限管理;大数据平台统一支持kerberos认证,支持单点登录;支持数据表、列级别的加密存储,业务无感知,确保敏感数据安全性;支持数据传输通道加密;支持审计,所有用户行为可溯源。
华傲数据深度融合华为鲲鹏云打造针对政务数据管理方案在满足客户构建多库及多库关联等基础功能的同时,还可以给予客户在相同成本下更高的运算性能。在数据存储方面相比传统Hadoop提供更经济的存储模式,且可以完全满足政企类用户对数据访问管理、数据权限管理、数据安全、关键数据加密管理的管理需求,从而形成高性价比的低管理成本的数据解决方案。