数字化时代,以数据为支撑的银行业成为数字化转型的先锋行业。同时,随着国内数字经济发展,银行业数据分析需求不断升级,对于数据分析能力的要求同样不断迭代。为了抓住数字化红利,为用户提供更便捷、更稳定的金融服务,众多银行都积极开展了金融科技的探索与实践。
作为世界500强银行,招商银行的数字化建设同样走在行业前列。与观远数据合作的「分行数据云」项目,以“让业务用起来”为目标,为招商银行分行提供了高效便捷的用数体验,构建起的「圆方数据分析平台」平均月活用户数达4.2万规模,平台在分行的渗透率达到90%,月均访问次数600万+,将单项数据分析工作从过去平均5个工作日缩减到目前的1个小时,已经成为招商银行分行数据工作的主战场。
10月25日-26日,「让业务用起来·观远数据2022智能决策峰会暨产品发布会」云上直播圆满举办!20位大咖齐聚,2天干货分享,20000+观众线上参会共享“数智盛宴”,与来自零售消费、金融、互联网、高科技10+行业的世界500强企业高管、先进企业业务与技术决策人、数字化实践先锋企业数据从业者、行业KOL一起,远望趋势,近探实践,榷论方法,深掘价值,共探“让业务用起来”的数智创新与增长路径。
招商银行研发中心高级架构师陈翔先生莅临云上直播,带来《基于数据驱动的招行数字化应用实践》主题分享,为参会观众详细介绍了招商银行「圆方数据分析平台」建设的前世今生。从用户痛点需求到“让业务用起来”的企业价值,从平台技术建设到运营推广,从应用现状到升级规划,深度讲解招商银行领先的数据分析平台建设经验,为更多期望实现“数据驱动”的企业提供路径参照。
以下为招商银行研发中心高级架构师陈翔先生的演讲实录:
大家好,在接下来的时间里,由我给大家分享一下招商银行基于数据驱动的数字化应用方面的一些实践。我本人是来自于招商银行总行信息技术部架构管理团队,负责全行的数据架构规划以及招商银行数据云的建设工作。在以往的工作中,也得到了观远数据很多帮助,和观远在数据方面也有了比较深入的合作。这次有幸参加峰会,有机会和线上的各位专家一起交流分享,非常感谢观远数据。
PART 1 让业务用起来的企业价值
本次峰会的主题是“让业务用起来”,我认为这个观点背后隐含了两个重要的事情:
第一,你必须能够通过某些手段解决用户在用数过程中遇到的切实痛点;
第二,这些解决用户用数痛点的手段必须能够让用户用数的门槛降下来,让用户用数更加方便,能够快速敏捷的形成产出。
总而言之,业务要能够自主的把数据用起来,一定是能够感受到数据对他们的工作带来了帮助和便利,甚至能够直接提升他们工作的成效。那么接下来,我就从「用户痛点」和「用数更敏捷」这两个点延展下去。
用户痛点
从招行以前的实际用数场景来看,用户用数的最主要痛点主要是以下几个方面:
◆ 1. 数据分散
数据太多太分散。想用的数据不知道在哪里,也不知道找谁要,并且数据的使用上还存在着一些“竖井”的现象;
◆ 2. 手工数据
存在大量手工的数据。以往一线业务用户更习惯使用Excel工具来进行数据分析工作,Excel本身很强大,但也会带来一些其他问题,比如数据散落在不同的Excel文件里,很难进行安全以及数据质量的管控,也很难将Excel中实现的业务逻辑进行复用和共享,形成知识的沉淀等等;
◆ 3. 迭代更新慢
以往报表开发的工作模式是IT根据业务需求进行报表制作,但是银行的业务特点是数据口径复杂多样,需求更新变化快、多,IT很难快速响应业务的变化;
◆ 4. 取数过程曲折
数据要流转到真正用数的同事手中,面临了各种各样的障碍,比如技术门槛高、数据申请流程长、沟通成本高,总之就是过程太长,耗时耗力。
以上种种痛点造成了用户不想用数、不敢用数,一定程度上也没有感受到数据对于业务经营活动的重要性。
用数更敏捷
意识到存在这些问题后,招商银行在2018年开始打造一整套面向分行的IT和业务用户自主用数的平台和工具,我们内部称之为「分行数据云」。从底层的数据计算和存储平台,到中间层的BI引擎能力,再到顶层提供面向用户的多种渠道、不同形式的用数场景的支持,助力了全行用户在数据分析方面全流程实现低门槛、可视化、全自助,让业务真正把数据用起来。
这一套平台和工具,对于IT和业务都带来了比较明显的价值:
◆ 从IT的角度来看
数据进行了全面的整合,全行数据口径得到了统一,也大大缩短了IT对业务的响应时间和交付时间。
◆ 从业务的角度来看
好用的工具带来了报表制作的便利性,用户敢于自主通过工具来进行灵活分析,从而做到能够快速响应市场需求。
这一整套完整的数据分析平台和工具借助了观远数据BI的能力,我们和观远数据一起共建了「圆方数据分析平台」,作为「分行数据云」中承上启下的重要部分。经过几年的发展,「圆方数据分析平台」已经成长为其中最重要的平台之一。
下面,我也会围绕「圆方数据分析平台」的建设历程、服务现状、技术特点、运营推广等方面的一些情况进行介绍,让大家能够了解「圆方数据分析平台」到底做到了什么和怎么做到的。
PART 2 圆方平台的前世今生
讲到圆方平台,我想先简单介绍一下分行用数的历程,以及圆方平台发展的过程。
分行用数的前世今生
招商银行对于数据的理解和使用,随着技术的发展,经过了这几个阶段:
最初有数据使用的需求后,首先想到的是用Excel来解决数据使用和分析的问题,也涌现出了一批“表哥”“表姐”。随着业务规模扩大以及业务复杂性增加,Excel用数带来的局限性逐步体现,这时一般就会有报表系统的出现,承载固定类型的报表的自动化生成和查询。但是固定类型报表并不能解决灵活性的问题,并且固定类型报表的开发工作基本上是技术的事情,业务除了提需求,并不会参与其中。传统BI的出现能解决灵活以及快速迭代的场景,但相应的使用门槛还是存在,更多还是以技术人员使用为主。
目前招商银行已经进入到自助式BI的阶段,这个阶段其实是传统BI能力的下沉,降低BI使用的门槛,将BI能力下沉到一线人员,使得一线人员能够随时随地看到数据,对数据有想法时能够随时随地的进行分析和验证。这样才能激发用户的数据创新意识,体现数据的价值。
圆方平台发展历程
圆方平台的建设过程也很曲折。招行其实从很早以前就有建设数据仓库和大数据平台,但主要是面向总行级的部门和团队使用,招行分行一线业务中台人员其实很难享受到技术带来的变革和创新。44家分行各自建设以及运维本地的数据仓库,总行在ACS私有云的支持下,构建了一整套面向分行的大数据云化服务,作为全部44家分行统一的核心数仓定位存在。
那么,我们为什么要将这么多的数据搬到云上呢?
其实在2018年规划整个分行数据云服务的初期,我们也和很多分行进行过调研和沟通。分行用数普遍存在一些共性的痛点,比如业务人员无法自主用数,缺乏完整的、体系化的一体化数据开发平台等等。基于这些背景,总行架构管理团队研究了大数据领域的发展趋势,且正好赶上招行自己内部私有云建设的时机,适时地提出了大数据云化这样一条创新服务的模式。大数据上云的优势在于:
◆ 首先,资源层面的利用率会提升,统一部署、协同调度都会带来资源的集约化利用;
◆ 其次,在服务能力层面,上云以后可以利用云资源按需交付的能力满足平台动态扩展的需求,利用云网络按需调度的能力满足突发流量的洪峰,利用云存储来解决本地数仓容量限制;
◆ 最后,业务层面能通过统一的大数据平台,提供更加全面丰富的海量数据给到分行使用,统一规划和使用大数据领域的最新技术,来提升数据服务的设计与交付。
「分行数据云」项目从2018年11月启动以后,经过9个月的建设过程,第一版于2019年8月上线,并在2020年3月进行了全行推广使用。在接下来的两年多的持续迭代过程中,活跃用户数已经超过4万人,基本实现了数据平民化的使用,也说明一线人员对于“自主用数”这种模式的认可。
PART 3 数字化平台介绍
前面简单介绍了招行数据云的建设历程,接下来我将从整个平台目前的服务状况、技术建设和运营推广三个方面,具体分享一下数据云平台是如何做到让业务自主用数的。
平台现状
通过「分行数据云」,我们为分行提供了高效便捷的用数体验,圆方平台更成为了分行数据工作的主战场。目前:
·平台月活用户数已经达到4.2万规模
·平台在分行的渗透率达到80%
·月均访问次数600万+
回过头再来看看以往的用数模式,经过用户的申请,然后审批提数,最后才能到业务人员手中进行数据分析工作。而现在业务人员自主在平台上进行数据分析工作,已经完全摆脱了以往流程上的一些束缚,效率大大提升。据我们统计,一项数据分析工作从以前的平均5个工作日缩减到了目前的1个小时。
技术建设
在平台的技术建设方面,我们主要关注到以下四个方面:
◆ 1. 技术架构
以大数据的开源组件Spark为核心,构建了一整套可扩展的技术架构,通过多实例部署,实现圆方平台的高可用;利用ClickHouse的核心技术,打造了极致的查询体验,目前平台上面93%的查询能够在3秒内完成。
◆ 2. 平民用数
实现拖拉拽式的ETL以及数据分析,所见即所得,大大降低了用户的用数门槛。实现多终端适配,支持移动应用免APP的部署,降低用户侧产出的难度。实现了通过订阅和预警有效触达一线用户,实现数据分析全链路的内容资产化,降低用户在数据分析各个环节的使用门槛。
◆ 3. 开放融合
支持多种类型的数据源接入,支持通过数据API服务赋能下游应用,从而拓展更多的使用场景。我们对接了分行常用的一些数据应用,并且支持外部的系统对于产品功能进行封装和融合,打通了数据支持应用的一个通道。
◆ 4. 安全管理
满足多场景的数据分发需求,满足多网段数据使用的安全需求,集成了行内的安全审批各项流程。
运营推广
能达到全部分行全面自主用数的目标,光有平台我们觉得是不够的。在这几年的推广工作的过程中,我们深刻意识到随着平台的不断推广,数据使用的需求不断增多,我们需要帮助用户更快速的成长,获取对应的数据分析技能,提升用户的数字化思维,同时也能够帮助用户快速解决数据分析工作中的各类问题。
为此,我们专门投入了运营资源,希望通过对分行的运营支持工作全面统筹,协调规划分行在用数方面的痛点、问题、诉求和解决方案。并且深入到分行的一线,实际解决分行用户遇到的实际问题,持续提升分行用户的数字化思维能力,根据不同的用数场景,不断拓宽运营服务的范围,逐步建立起更加立体的运营服务体系。
通过运营工作的推动,用户个人单兵作战能力以及数据协同能力不断提升,切实解决了业务中台人员自助分析数据的障碍,以及一线人员用数的障碍,形成了全行范围内的用数文化,构建了数据驱动型的组织。
目前,分行运营支持团队经过两年多的运营实践,逐步形成了五大运营支持抓手:
◆ 1. 用数问题支持
解决分行用户在功能咨询、任务报错、数据更新、需求开发等方面的问题。
◆ 2. 数据知识传导
建立六大课程体系,利用工作的闲时组织面向分行的专项培训。
◆ 3. 应用搭建共享
为分行提供了数据分析应用支持,共建应用市场竞品应用的模式。同时通过开办圆方数据分析大赛,吸引近800支队伍参赛。
◆ 4. 认证体系建设
顺利开设并完成了分行数据开发的初级以及数据分析的初级认证考纲设计、课程开发、题库设计、考卷设计以及阅卷等工作。
◆ 5. 内容咨询供给
为用户提供了全渠道的内容指引,同时开展行内公众号的精细化运营,提供服务建设的最新动态、大咖讲堂、分行精彩等内容。
分行运营支持队伍的工作已经基本渗透到了用户用数流程的方方面面,分行用户也把运营支持团队作为了他们在数据工作中的好帮手。
PART 4 未来展望
我们的平台和运营工作进展到今天,其实感觉到后续的工作会更加艰巨。我们的目标也不仅仅是让业务把数据用起来,还要让业务把数据用好。因此,我们的平台和服务将会在以下五个方面持续升级:
◆ 1. 构建一站式平台,端到端方案
从数据汇集到数据治理,到数据存储,到可视化分析,到多终端平台展现以及到订阅分发,通过一个平台一站式搞定。
◆ 2. 可视化、零代码
无论是数据处理还是可视化分析,还是页面的展示逻辑,全部通过拖拽式的操作,所想即所见,所见即所得。
◆ 3. 云原生,高性能
基于云原生架构,支持从单点到上千节点的超大集群的伸缩部署,满足不同数据规模、不同数据时效的各类场景。
◆ 4. 多终端适配,丰富场景支持
顺应大数据技术的发展潮流,移动应用免APP部署,大中小屏幕快速适配。
◆ 5. 走进业务,赋能业务
运营工作更加接地气,更加贴近用户的实际诉求,推动IT和业务的全面融合,赋能业务。
通过以上一些持续升级的手段,我们要做到大大降低整个系统的交付成本以及持续的运营运维成本,来达到更低的总拥有成本。通过低门槛的自助式数据分析的大规模推广,实现更快的数据价值的兑现。最终通过对业务持续的数据赋能,让招行的业务更具有市场竞争力。
最后总结一下,只有降低数据分析的使用门槛,降低一线业务人员使用数据的技术难度,加大数据分析人员自主用数的积极性,才能让一线数据人员便捷高效地产出数据成果,提高产能。真正做到数据驱动业务,体现出数据的真正价值。