商业银行大数据建设综合规划.docx

XX银行大数据建设计划
北江 /6/25

一、项目背景
伴随信息化程度加深，和移动互联网、物联网崛起，大家产生数据急剧膨胀，传统数据处理技术难以支撑数据大量增加和处理能力。经过近几年发展，大数据技术逐步成熟，能够帮助企业整合更多数据，从海量数据中挖掘出隐藏价值。大数据已经从“概念”走向“价值”，逐步进入实施验证阶段。大家越来越期望能实现海量数据处理，从数据中发觉价值。数据越来越成为一个关键资产。在Gartner技术炒作曲线汇报中也表现了大数据技术将走向实际应用。
我行已深刻认识到数据战略对企业运行和企业未来发展方向关键性。互联网金融本质是金融，关键是数据，载体是平台，关键是用户体验，发展趋势是互联网和金融深度融合，要提升大数据贡献度。所以，要深化互联网思维理念，稳步推进互联网金融产品和服务模式创新，主动利用移动互联网、大数据等新技术新手段，沉着应对冲击和挑战，实现传统金融和互联网金融融合发展。做好海量异构数据专业化整合集成、关联共享、安全防护和维护管理，深度挖掘数据内含巨大价值，探索银行业务创新，实现数据资源综合应用、深度应用，已成为提升企业关键竞争力，实现企业信息化可连续发展关键路径。根据行领导布署，信息科技部组织力量对大数据技术进行研究，完成对市场上主流大数据平台及应用技术预研，征求业务部门提议，提出项目建设要求。
二、建设目标
以大数据项目建设作为契机，凝聚我行优势力量，全方面梳理数据资源，完善数据体系架构，自主掌握大数据关键技术，加速大数据资源开发利用,将数据决议化贯穿到经营管理全步骤，建设智慧银行，提升关键竞争力。
（一）建设大数据基础设施，完善全行数据体系架构
构建大数据平台，实现更广泛半结构化、非结构化数据集中采集、存放、加工、分析和应用，极大地丰富我行信息资源，同现有企业级数据仓库和历史数据存放系统一起，形成基础数据体系，提供支撑经营管理各类数据应用。
（二）开发大数据资源，支撑全行经营管理创新
建设离线数据分析、实时数据/流数据分析集群和各类数据分析集市，提供高性能可扩展分布式计算引擎，经过数据挖掘、计量分析和机器学习等手段，对丰富大数据资源进行开发使用，并将数据决议化过程结合到风控、营销、营运等经营管理活动。
（三）培养大数据人才队伍，建立大数据分析能力
结合大数据项目标落地实施，建立起一支大数据技术和分析人员队伍，含有自主运行和开发大数据能力，以愈加好推进业务创新，提升我行关键竞争力。
三、发展趋势
多年来，银行业大力发展面向用户新一代关键业务系统，信息系统建设日趋完备，电子银行等在线金融服务大幅增加，在提升用户体验和风险管控能力、满足监管各项要求同时，形成并储存了庞大可用数据资源。银行业数据资源不仅包含存贷汇等结构化数据，也包含用户浏览痕迹、在线交易统计等非结构化数据，还包含用户电话语音、网点视频等非结构化数据。，银行业电话统计数据、业务数据、数据仓库数据、结构化数据和非结构化数据数据规模分别达成938T、1688T、3125T、5313T 和 3938T。Celent企业估计未来5年将增加7倍。
除数据本身快速增加外，银行业面临更大挑战是大数据带来业务挑战，这包含：小微贷市场上，银行和互联网小额贷款企业难以竞争；支付市场中，网银支付所占比重越来越低，这使得银行越来越难以知道用户消费行为；多种互联网融资模式出现，在未来可能会超出以银行为中心间接融资。全部这些挑战，本质上是银行对于用户了解程度相对越来越弱。麦肯锡指出，在大数据时代，不能充足形成大数据使用能力竞争者将被淘汰。
（一）同业案例情况
中国领先商业银行已经开启大数据平台建设，并应用于正确营销、风险管理和业务创新等领域，以取得竞争优势。工商银行经过构建大数据平台，搜集网银用户行为轨迹并进行分析，正确营销，扩大销售，优化网银服务模块质量，提升用户体验。招商银行经过大数据平台构建全量数据分析和挖掘平台，推出在线明细，实时征信，正确营销等创新业务，提升小微贷获客率。上海银行构建大数据平台，用于对用户资金流入流出分析。中信银行、光大银行、平安银行、民生银行全部在建设本身大数据平台。
（二）业务应用场景
大数据技术在银行业应用范围包含：用户洞察、营销支撑、风险管控和营运优化等领域。
l 用户洞察
分析用户多种数据，包含电话语音、网络监控录像、商城交易信息、金融业务信息和外部社交信息、第三方履约行为等多方面信息，从而实现对用户进行分类和服务。对现有CRM系统中用户分层数据要素进行延伸。
l 营销支撑
实时营销：是依据用户实时状态来进行营销，如用户当初所在地、用户最近一次消费等信息来有针对地进行营销。
社交网络营销：关键是微博营销，这关键是捕捉用户言论和行为，并有针对地开展相关营销活动。
事件式营销：将改变生活事件视为营销机会，如换工作、改变婚姻情况、置业等。
l 风险管控
信用评级：利用社交网络、行为特征、交易网、基础社会特征、人行征信等多个维度对用户综合评级，利用大量指标构建多重模型，以识别用户信用风险。
反欺诈：经过监控用户、账户和渠道等，提升银行在交易、转账和在线付款等领域防御欺诈能力。在监控用户行为时，能够识别出潜在违规用户，提醒工作人员对其给予关键关注，从而节省反欺诈监控资源。
l 营运优化
改善用户体验：利用大数据能够处理海量数据能力，将传统数据统计分析等业务切换到数据处理能力更强平台，来处理查询历史数据困难，提升用户体验。
客服中心优化：经过对客服中心数据分析，许可银行提前估计用户需求用以快速地处理问题，能够快速满足用户需求。
降低运行成本：大数据平台采取一般PC服务器和廉价存放，相对原有小型机硬件架构，能够有效降低IT运行成本。
四、平台建设标准
平台是大数据基础实施，其建设、设计和系统实现过程中，应遵照以下指导标准：
l 经济性：基于现有场景分析，对三年内数据量进行合理评定，确定大数据平台规模，后续依据实际情况再逐步优化扩容。
l 可扩展性：架构设计和功效划分模块化，考虑各接口开放性、可扩展性，便于系统快速扩展和维护，便于第三方系统快速接入。
l 可靠性：系统采取系统结构、技术方法、开发手段全部应建立在已经相当成熟应用基础上，在技术服务和维护响应上同用户主动配合，确保系统可靠；对数据指标要确保完整性，正确性。
l 安全性：针对系统级、应用级、网络级，均提供合理安全手段和方法，为系统提供全方位安全实施方案，确保企业内部信息安全。大数据技术必需自主可控。
l 优异性：涵盖结构化，半结构化和非结构化数据存放和分析特点。借鉴互联网大数据存放及分析实践，使平台含有良好优异性和弹性。支撑目前及未来数据应用需求，引入对应大数据相关技术。
l 平台性：归纳整理大数据需求，形成统一大数据存放服务和大数据分析服务。利用多租户, 实现计算负荷和数据访问负荷隔离。多集群统一管理。
l 分层解耦：大数据平台提供开放、标准接口，实现和各应用产品无缝对接。
五、分析应用计划
大数据项目实施在保持关键账务系统稳定同时，实现外围IT架构逐步向开放架构演进，同时逐步吸纳互联网技术创新，应对大数据技术快速发展和进化。
以全行三年战略发展计划和十三五计划为导向，借鉴同业和互联网企业优异经验，分步实施分析应用，基础平台、外围系统改造和业务步骤优化对应地进行配套调整。
计划大数据平台及应用整体架构以下：
大数据平台关键功效模块定位以下：
l 基础数据集群
使用分布式文件系统和数据库等组件实现全量结构化数据和非结构化数据存放，并提供标准接口或Rest标准接口，上层业务以只读方法访问。数据使用平台集成工具批量导入导出。
l 在线处理集群
基础数据集群中存放往往是低价值密度数据，经过加工处理后，提取出高价值密度数据，放入在线查询集群，支撑实时业务、自助查询等高并发，低时延数据查询。
l 离线处理集群
离线数据处理集群关键用于海量数据分析处理，提供数据挖掘、数据探索功效框架，从海量数据中提取高密度价值数据。适适用于对海量用户行为数据挖掘、建模，以支撑以用户为中心正确营销、决议分析等应用场景。
l 流式处理集群
使用流式处理组件，将实时数据接入。经过注入实时业务处理规则，对事件做分析处理，实时决议。流事件处理过程中，需要访问基础集群或在线处理集群，获取必需支撑信息，如风险信息表、黑白名单、历史交易信息等，要求支持每秒万等级并发数据访问。适适用于信用卡授权风险控制、移动在线支付、在线统计分析等对实时性要求较高场景。
大数据平台数据起源及应用场景计划以下：
计划分三步进行实施，以下：
（一）
完成大数据基础平台搭建，构建简单查询分析应用，科技人员熟悉平台关键技术和开发技能。
l 基础平台
完成大数据平台搭建，实现平台基础功效和基础数据集群。
完成HDS历史数据、科技运维日志、网银日志、智能营销网页信息数据存放。
构建多个数据挖掘算法库。
完成基础数据平台对外数据服务标准化接口。
l 分析应用
完成资金流向分析专题和历史数据内部查询交易。
提出直销银行、手机银行、微信银行数据采集点数据要求。
提出用于支撑营销个人信息数据采集要求。
l 外围系统改造
完成直销银行、手机银行、微信银行数据采集点改造，将行为日志数据统计下来。
（二）-
完善大数据基础平台，增加离线数据处理集群，采集行内各系统产生用户行为数据，第三方合作机构（含同业）外部数据，丰富用户营销、风险管理方面数据信息，探索大数据同云计算平台结合，构建对应分析应用系统，将数据决议融入营销和风控过程。科技人员掌握平台关键技术，能够自主营运开发。
l 基础平台
增加离线数据处理集群，完善多个数据挖掘算法库，用于对海量数据进行加工处理，分析应用。
采集用户行为数据，包含直销银行、手机银行、微信银行等。
迁移影像平台历史数据。
采集同业产品信息，我行网上舆论信息，特定用户和行内互联网舆情信息，第三方合作机构、银银合作平台外部数据。
l 分析应用
构建数据分析应用云计算平台，实现半结构化、非结构化数据解析功效，完善支撑数据分析应用集市，提供更多数据服务，实现灵活深入用户细分、专业化营销和销售、优化管理步骤，提升运作效率、降低管理成本。关键应用方向包含：
用户画像分析（个性化理财、交叉销售、用户挽留）。
舆情分析（对产品比较、评价等反馈，进行营运优化）。
网站分析（手机终端、微信、直销银行等），分析用户行为。
科技运维优化（结合ITSM、系统运维日志分析事件、问题关联性、各类统计等）。
信用风险（在现有信用评级体系中，增加外部数据起源，优化评级结果），完善自动化授信审批，尤其是针对小微企业或特定产品，推出信贷差异化定价体系，做到对不一样产品、不一样行业、不一样区域实施差异化定价。
分析个人活跃地址、商户地址，结合个人移动终端地理位置信息推送商户营销信息；针对交易流水，结合MCC类别码，识别出用户爱好。
l 业务步骤
将用户画像、行为分析结果反馈到CRM系统用于营销支持。
将网站分析结果反馈到网站营运中，优化布局。
将信用评级结果反馈到现有信贷授信过程。
（三）以后
完善大数据基础平台，增加在线和流式数据处理集群，经过构建计量模型和机器学习算法，针对数据分析结果，对实时业务进行自动、快速数据化决议支持。科技人员熟练掌握平台关键技术。
l 基础平台
增加在线和流式数据处理集群，用于对海量数据进行实时加工处理。
增加语音数据、视频数据采集解析模块。
采集愈加广泛互联网外部数据。
完成基础数据平台对外数据服务实时和流式数据接口。
l 分析应用
经过数据分析应用云计算平台，构建计量模型、机器学习算法，实现实时风险决议和用户营销，并贯穿到前中台业务运行过程中，提升银行服务智能水平。关键应用方向包含：
实时营销支持，实时风险管控支持。
加强语义分析（客服语音，微信、微博留言，互联网评价信息），改善服务质量。
l 业务步骤
在营销、风控等经营管理活动中增加数据决议自动化、智能化支持，并进行步骤优化。