王健康
近年来,我国中小银行基本构建起了基于信息系统的业务场景,积累了大量有价值的数据。但受限于诸多因素,我国中小银行数据的实际利用率并不高,数据分析和数据治理能力不足。2018年5月,随着我行新一代核心系统上线,基于Hadoop架构下分布式数据仓库投入使用,应用大数据技术突破海量数据存储的性能瓶颈,解决了数据加工不及时、无法快速处理海量数据等问题,从整合基础数据、数据标准化、数据治理等方面挖掘数据价值,提升了我行核心竞争力。
建设数据平台、打造分布式数据仓库
我行大数据平台建设采用了目前业内先进的架构模式,已摒弃传统的关系型数据库(Oracle或DB2),基于Hadoop分布式数据架构,部署在多台X86服务器上。针对当前我国中小银行普遍存在的数据整合度不高、数据标准不统一、数据应用难等问题,通过建设数据平台、打造分布式数据仓库,我行实现了数据整合、集中共享、统一服务,为监管报送、经营分析、精细化管理等提供了数据支撑,也为数据质量管控、推进数据标准化、搭建数据治理体系等远期数据治理提供了支持。一是搭建企业级数据平台。建立统一的、共享的基础数据平台,建立具有先进性、灵活性和可扩展性的企业级数据仓库。二是推进数据入仓。以应用为驱动,接入21个交易系统数据,规划10大主题模型,建设报表集市和监管报送集市,远期规划绩效、风险、客户等数据集市。三是开展数据分析、数据挖掘。整合各业务系统数据,建立数据分析模型,使用数据挖掘技术,为业务发展提供及时、准确、一致、丰富的数据服务。四是支撑数据应用,提供海量数据快速处理能力,为经营报表、EAST数据报送等下游应用提供有力的数据和计算服务。
整合基础数据、支撑多个数据应用
通过建设经营分析系统、监管报送系统,为我行各部门、各条线人员对数据的统计分析、监管报送提供数据支持。一是建设经营分析系统和领导驾驶舱系统。经营分析系统通过多维统计分析报表对经营过程的偏差实现统计分析,从同比、环比、行业等角度整合分析,构建关键绩效指标体系和经营分析体系,为经营管理、业绩计量、决策制定等需求提供数据支撑。管理驾驶舱通过为高层管理层提供的“一站式”决策支持,它以驾驶舱的形式,通过各种常见的图表标示企业运行的关键指标(KPI), 直观的监测企业运营情况,并可以对异常关键指标预警和挖掘分析。二是建设监管报送系统、提升数据报送质量。考虑到监管数据报送涉及系统众多、数据量大、跨系统校验等实际需求和需手工填报等实际问题,我行建设统一监管报送系统,利用Hadoop+Mysql系统架构实现数据存储、读写、回流等功能,实现了基于大数据平台的统一监管数据报送系统的应用。通过建立监管报送平台,为我行监管报送提供从数据采集、数据转换、数据管理、数据校验、数据报送、异常提示、对比分析、影响分析、缺失数据补录一站式监管数据服务。通过监管数据整合、监管内容集中管理,满足人民银行、银保监会等监管机构共计11大类监管报表,最大程度实现共享平台数据,统一监管报送口径和跨系统数据校验,极大提升了监管报送数据质量。
推动数据治理、提升数据质量
通过大数据平台建立数据口径和数据规范,从数据质量、数据标准、元数据等方面开展数据治理工作,实现全行数据有效、持续治理,极大提高了数据服务质量。
一是基于Hadoop分布式数据架构的大数据平台,部署在多台X86服务器上,系统性能可以通过增加新的数据节点实现快速的提升,单一数据节点的宕机不会影响整体数据,实现了系统的高性能、高可扩展、高可用性。二是建立全行数据标准,通过对源数据的有效性、完整性等进行检查,从乱码、字段分隔符、字符集编码等问题进行过滤和清理。三是通过对元数据的梳理,定义全行数据资产概览,统一查询管理,提供血缘分析和逻辑处理追溯。
邯郸银行大数据平台总体规划分阶段实施,近期在保证数据安全稳定运行的基础上,进一步优化平台ETL作业程序,提升作业运行效率,继续加强数据质量跟踪,全面落实平台安全监控,为全行大数据应用提供稳定可靠的环境。远期规划客户、风险、绩效集市等,为互联网拓客、精准营销及前瞻性应用提供技术支持,充分整合数据资源,持续提升银行核心竞争力。
(作者系我行党委委员、监事长)
|