1、新一代税务行业大数据服务平台支撑数据管税解决方案文档名称新一代税务行业大数据服务平台支撑数据管税解决方案作者邮箱版本V1.0变更记录2016/7/21 V1.02016/7/24 V1.2目 录1总体业务需求分析和整体架构概览31.1新时代的税务管理要求31.2税务行业信息化建设现状51.3大数据服务平台整体架构概览62理论指导数据治理之需求和技术分析92.1数据治理综述92.2定义业务问题,以指导方向112.3获得管理层支持,以获得组织和资源保障122.4执行成熟度评估,以了解现状和确定将来所达目标122.5创建数据治理路线图142.6建立数据治理组织蓝图152.7创建数据字典/业务术语库1
2、62.8理解业务和数据172.9创建元数据存储库182.10定义度量指标202.11主数据治理212.12治理分析222.13管理安全和隐私232.14数据生命周期治理242.15度量结果243理论指导大数据服务平台建设之需求和技术分析253.1数据对数据管税的价值25数据对税务的价值分析25税务数据价值实现分析263.2数据挖掘方法论指导大数据服务平台建设273.3按业务主题和规则采集、加工数据以打好数据基础31数据采集平台32数据加工平台343.4合理利用各种报表工具,实现报表展现服务37固定报表实现分析38临时报表实现分析39报表展示与可视化分析403.5灵活使用数据,实现多维分析和微创
3、新能力42多维分析技术设计42标签体系设计44微创新系统设计463.6对内对外更好的数据共享和交换,扩充能力47打破条线壁垒,实现数据共享48实现数据流通,打通上下级和税务与其他部门的数据联系493.7提供更好的开发模式,加速数据管税能力的提升4911.1 新时代的税务管理要求新一代税务行业大数据服务平台的总体目标是实现“数据管税”。新时代的税务管理要求是,以税收风险管理为主线,以现代信息化先进技术为依托,加强业务和技术的融合,优化资源配置和税源管理体系,优化服务,规范执法,不断提高税法遵从度和税收征收率,形成新一代税收征管新管理方式:1) 服务优化:税务管理部门的定位要从企业税务管理角色向企
4、业税务服务角色转变,要利用现代化手段进行税务管理工作,在减少对企业日常经营的干扰情况下,保证税务管理工作的有效进行,成为纳税人与国家连接的桥梁;2) 以风险管理为主线:结合先进技术和创新管理手段,降低和防范税收风险,做到事前重点防控潜在税收征管风险,事中降低税收征管风险,事后具备有效手段,查处偷漏税,营私舞弊等违法行为;3) 数据实现省市县分级分类管理:将数据情报管理、税收风险分析、风险应对任务管理、大企业和跨境税源风险应对等重要管理事项集中调整到省局层面;市、县税务机关精简行政管理职责,主要承担直接面向纳税人提供纳税服务、实施风险应对的职责;4) 强化税源专业化管理,探索“两个转变”:属地固
5、定管户制到非固定管户制的转变,以及无差别管理到差别化管理的转变。在新时代的税务管理要求下,不能继续采用原来传统方式解决问题,要采用新的技术来解决;国家税务总局局长王军指出:“大数据时代,谁能掌握好数据、谁能利用好数据,谁就能提高洞察力、占领制高点。”大数据最重要的作用是提供了实现税务管理由“税管员管”向“大数据管”转变的技术基础。过去,由于受到技术、思维等多方面等的限制,人类在采集和使用数据时为了节约时间,增加准确性,更多采用了随机采样法,这个时代被称为“小数据时代”。小数据时代的特点是:样本随机性、数据精确、因果关系论、结果群体化。在大数据时代,数据收集、存储和分析工具极大提升,这使得“样本
6、=总体”的全数据模式得以实现,数据处理的总体特点变为:要全体不要抽样,要效率不要精确,要相关不要因果。这颠覆了千百年来人类的思维惯例,对人类认知和与世界交流的方式提出了全新的挑战。大数据时代中的税收管理也应当顺应时势变化,及时转变思维,提出创新举措。目前,大数据技术主要应用在电子商务、金融、零售等领域,在实现“通过数据寻找到更多合适的客户、以及给客户推荐合适的产品,实现精准营销,从而给企业带来更多的收入和利润”上已取得长足有效的成绩; 税务行业的大数据所需要达到的业务战略目标与其他行业企业(例如电子商务、金融、零售等)是有比较大的差异,对于税务来说,大数据所需要达到的目标的第一重点是“根据企业
7、的生产经营活动等各种数据,防止企业通过非法途径进行偷税漏税的风险管控,以及通过相应的数据,防止税务业务人员内部腐败的内部风险管控”,通过这个目标来实现数据管税,以达到国家所需要进行税务改革的这个战略目标。用大数据强化税收分析,对税收数据的分析应用将成为税务系统一项常规的重要工作,数据管税需要达到以下目标:(一)结合风险管理和大数据理念,将大数据税收征管模式与先进的管理理念相结合,利用大数据技术和现有数据,对税务工作进行更好的风险管理: 1)结合大数据分析技术,让纳税评估更为准确:面对企业越来越复杂的经济业务,数量有限的税务工作人员无法投入太多的精力去详细了解每一家企业的生产流程,通过对海量数据
8、开展分析,探寻,发现、理解信息内容及信息与信息之间的关系,结合对企业的规模大小、对生产经营活动成本、利润和税负率等指标的分析,对企业财务核算和纳税申报质量作出评判。例如:在对纳税人、对税源的评估过程中,通过对纳税人或者税源长期的登记信息、历史交易记录、海关进出口信息、水电缴费以及银行借贷记录等多种信息与特征测试的数据汇总,来进行信用评级,从而使纳税评估更为准确;例如:比对分析纳税人税收资质、应纳税(费)种的条件符合性、存在的风险疑点,跟踪分析后续动态变化,对风险疑点进行评估处理,并依法据实认定、调整或取消纳税人的税收资质、应纳税(费)种;2)融合第三方涉税数据,提高税法遵从度和税收征收率:结合
9、纳税人登记信息,申报信息、第三方涉税信息等数据,以大数据技术为基础,开展分析比对、风险识别、排序推送、风险应对,加强业务内控和遵从风险防范。例如,将从工商、银行和统计等部门,以及互联网爬虫等途径获取的外部数据与纳税人申报数据作比对分析,从而更为准确地判断税源状况,进一步通过税源监控、税收分析、纳税评估和税务稽查等质量控制手段,达到堵塞漏洞、纠正偏差和提高税收质量的目的。例如:在纳税人申报房产、土地明细时,利用房管、土管等部门信息进行比对,推进“以房控税”、“以地控税”、 “车船税联网征收”等工作;3)尝试业务系统变革,进一步防范涉税风险,提高税收征收率:如将纳税人申报缴税系统、收入系统、金融管
10、理系统和财产系统等都纳入公民诚信系统,通过各个信息的比对,数据的分析,管控纳税人的资金流、信息流、货物流和生产经营信息,形成以数据质量管理为基础的风险识别、等级排序、风险应对和绩效评价的闭环风险管理体系,进一步防范涉税风险,提高税收征收率。4)防控廉政,防范内部违法风险:通过优化流程、节点控制和全程操作数据留痕,实现税收执法权的透明操作、规范运行,从源头上防控廉政和执法风险。5)通过纳税人画像,辅助管理:采集、处理、评价纳税人的信用信息,建立纳税人画像,建立纳税信用体系,据此实施分类服务、管理,辅助数据情报管理、税收风险分析、风险应对任务管理、大企业和跨境税源风险应对,同时还可以实现信用信息的
11、共享。例如:对信用好、无风险的纳税人不打扰,对低风险的纳税人予以提醒,对严重失信、高风险的纳税人实施重点监管;例如:对于异地税务机关评价的纳税高信用等级纳税人,本地税务机关予以认可,与本地高信用等级纳税人企业享同等待遇;对于有违法记录的低信用等级纳税人企业,,本地同等监管。6)建立风险特征库,自动预警防控:通过风险特征库和风险监控规则建立,预警预防偷漏税风险;例如:将 “一址多照”、“一照多址”的纳税人列入重点关注对象,设计风险触发规则,防范其虚开增值税专用发票、 骗取出口退税等风险。(二):充分利用广泛的数据开展税源分析,用数据说话、用数据改进管理、用数据推动创新,不断提高运用大数据的技术和
12、分析大数据的能力,解决工作中的新情况和新问题,提高税收工作的针对性和有效性。例如:实现根据相应企业所需要的税务管理和税务服务类型,来进行相应的税务业务人员任务分配;达到简单的税务业务由办事大厅(例如实体的办事大厅、电子税务局)进行支撑,复杂的税务管理和税务服务业务有专业的税务业务人员进行支撑,即实现由数据来给不同的税务业务人员分配相应的、合适合理的任务。(三)加强宏观、行业和微观税负数据分析,加强税收政策、经济和税收关系分析,进一步发现税收与经济之间的关系,从而更好地预测税收走势,科学估算收入规模,增强组织收入工作的预见性。1.2 税务行业信息化建设现状税务行业的信息化建设(金税工程)已经有近
13、二十年的历史,因为技术发展的现实问题,同时由于税务组织机构职能、业务管理、规范、流程等的复杂性(其复杂性远远超过电子商务,甚至超过金融领域在信贷、风险、杠杆等三大核心要素所需要组织机构职能、业务管理、规范、流程等),税务信息化系统不可避免的存在较为严重的零碎化、数据孤岛、应用烟囱等现象,特别是建立在全国税收征管规范基础之上的核心征管系统以及其他各种生产业务系统, 存在如下图所示例的一系列问题:税务系统信息化建设中,最为突出和典型的问题包括以下三个方面:1) 数据杂乱:随着经济和技术的发展,出现越来越多的系统和数据。包括新建业务系统产生的数据、随着云计算和数据中心建设出现在税务系统中的外部交换数
14、据、传统系统历史积累的数据等等。这些系统由于种种历史建设原因,存在采用的信息化建设规范不统一、数据格式不一致、数据表达不连贯等种种问题。这些问题导致每个业务系统在建设过程中,不信任已有的其他系统的数据分析结果,而选择从生产库直接获取原始数据进行分析和加工。这导致了大量的业务系统在建设过程中“干重复活”、“走重复路”、“做重复事”。严重影响地税工作效率。2) 系统各自为政:在江苏省地税信息化建设过程中,各业务系统由不同的承建单位进行建设,缺乏统筹规划,系统之间的打通困难,数据缺乏交互碰撞。“烟囱式”系统仍然普遍存在。业务人员面对多样的系统,需要从不同的业务系统中找到描述一个业务情形的不同阐述角度
15、的数据,以全面、客观地分析业务问题。这极大地影响了业务人员的工作效率。3) 关联复杂:地税行业涉及数据众多,各地市具体情况又不完全相同,各地市依赖于省厅提供标准数据和业务模型,但在处理本地业务时会加入地方性特征的数据并对模型进行修正。这造成大量的相似但是有区别的数据,使得开发人员在进行数据开发时陷入判断相似数据准确性的困惑中,影响数据的可运维性和二次开发。1.3 大数据服务平台整体架构概览在当前信息化现状的基础上,要达到数据管税的战略目标,需要建立以数据为核心,以大数据技术为支撑的精确管理体系;基于税务组织机构职能、业务管理、规范、流程等的复杂性,我们必须要通过进行前瞻性的研究,形成相应符合税
16、务行业所需要的数据治理、数据分析挖掘所需要的方法论体系,从而形成符合税务行业所需要的大数据平台,从而让税务行业沉睡的数据苏醒过来、发挥价值、产生效益。因此,对新一代税务行业大数据服务平台,整体架构概览如下图所示:一、”数据管税“业务应用体系(大数据应用体系) 税务人员工作流程和效率优化:税务改革以前是一个人管N多企业所有的事情,税务改革之初很多人不知道干什么事情,所以需要通过大数据应用来给合适的人安排合适的事情 发票分析:发票数据的应用分析,通过分析发票的数据信息,准确查找发票管理存在的问题风险,有针对性的制定征管应对措施,准确打击发票使用中的不法行为,切实促进发票管理的遵从,实现以票管税、信
17、息管税的目标 纳税人信用评估:在税务大数据服务平台提供的数据以及在数据衍生出来的法人画像、自然人画像等能力的基础之上,评价纳税人的信用信息,得出纳税信用评价结果,据此实施分类服务和管理。并且与地方政府及相关单位征信平台 对接,实现纳税人信用信息在各部门间的共享利用 纳税人服务流程优化:税务改革以前是一个人管N多企业所有的事情,企业没得选;但是现在针对一个纳税人服务有很多环节,不同环节对应的是不同税务工作人员;所以我们需要根据数据来给企业在不同环节中提供合适的、专业的税务人员提供服务,从而让企业满意让国家满意 纳税人风险管控:通过相应的纳税人画像以及相应的其他数据,来防止企业通过非法手段进行偷税
18、漏税等,并且可以起到警示作用 税务人员操作性风险管控:通过相应的数据能够抓出内部的腐败份子给国家所带来的损失和伤害,并且可以起到警示作用 收入和税源分析:通过相应的数据分析能力,从而让国家的税收任务更好的完成并且对企业不会产生更大的干扰。 其他:泛指各类没有说明的税务大数据分析应用。二、税务大数据服务平台税务大数据服务平台不是一个技术平台、更不是一个只具有一个技术功能点集合的平台,此平台是一个大数据应用支撑平台,即需要加速税务数据管税所需要的各个大数据应用能力的开发效率、开发质量的平台,也是一个能够沉淀出税务行业所需要的各个大数据业务应用所需要的各个能力资产以形成能力中心的平台。22.1 数据
19、治理综述随着税务信息化建设的深入和大数据技术的不断进步,我们需要让沉睡在各个业务系统中数据发挥出更多的价值、让数据说话以实现数据管税;并且我们已经深刻地认识到我们的税务数据我们税务关键的资产之一,就类似于对于企业中的最关键资产是人力、资金、物资(工厂、设备)等一样。将数据视为战略性税务资产,意味着我们的组织需要建立其现有数据的清单,就像建立物理资产的清单一样。而数据治理是以企业资产的形式对数据进行优化、保护和利用。数据是税务最大的价值来源也可能会是最大的风险来源。糟糕的数据治理常常意味着糟糕的业务决策和提供给违规(内部税务工作人员的违规,外部企业逃税的违规)更大的暴露面,我们必然需要通过良好的
20、数据治理来提高数据质量(例如提高数据的可信度、完整度、可用度等),从而提供较好的业务决策和减少、控制违规等。数据治理注定会是一项复杂的工作,涉及到对组织内的人员、流程、技术和策略的编排,从一开始,数据治理就在协调不同的、孤立的且常常冲突的策略(可能导致数据异常)的过程中扮演着重要角色。在这么多年的信息化建设中,我们发现数据质量问题主要受“业务、管理、技术”这三个方面的影响,并且主要由以下几大影响因素所决定: 缺乏科学、规范、完整的数据质量标准,并且在系统开发和实施过程中忽视数据质量:对于这方面的问题,我们必须建立全局数据模型(包括数据源视图和数据流视图)、统一的数据标准和数据口径,从而供各个应
21、用开发团队在工作中遵循和参考、且让各个应用开发团队对税务信息系统有一个整体认识,以减少数据源调用错误和建立重复数据源的情况发生,影响数据的一致性。如下图所示例:企业数据模型到某应用级的数据模型 缺乏统一和全面的纳税人数据 数据多头重复采集、没有统一规范检验 缺乏系统的数据质量管理机制以及监控管理工具和手段:在这方面,除了技术原因外,很多是业务、管理方面的问题,所以我们在业务、管理方面制定相应的流程,即需要采用较为成熟的闭环的数据质量管理方法以及相应配套的数据治理软件平台,对数据的质量进行持续的监控和管理,及时地清除系统中的垃圾数据,减少隐患的产生。综上所述,数据治理是大数据服务平台建设成功的核
22、心基础和因素,没有好的数据治理会使我们的大数据成为空谈。所以我们需要形成相应的数据治理参考流程来指导我们税务数据治理的建设,从而给大数据服务平台的建设打下一个成功的基石。数据治理建议参考流程如下图所示,并且这个数据治理流程是一个闭环、不断优化的流程。2.2 定义业务问题,以指导方向数据治理是我们大数据服务平台建设是否成功的关键因素之一,数据治理失败的根源是缺乏与业务价值的链接,以及通常单纯的把数据治理当作是IT部门的事等因素。所以为了保障我们税务的数据治理能够比较成功,我们必须保证:数据治理要能支持“数据管税”这个战略目标实现业务价值和解决业务问题,并需要制定以下所建议的准则:1) 数据治理必
23、须由业务部门所需要的业务价值和效益为驱动;2) 数据治理必须由业务部门、信息科技部门、第三方厂商和应用开发商等多方参与;3) 数据治理必须获得江苏地税管理层的支持,任命首席数据治理官;首席数据治理官负责统一管理和协调多方(业务部门、信息科技部门、第三方厂商和应用开发商等)力量进行数据治理工作,以保证支撑“数据管税”实现的各种业务能力所依赖的数据是“可信、可用、完整”等。4) 数据治理是一个工程项目,需要一个专业的业务人员、专业的技术人员组成的团队,根据所需要解决的业务问题及从实现相应的业务价值出发,借助对业务的理解分析和对技术的理解分析,并在专业的产品支撑下,例如数据集成平台(采集、ETL等)
24、、数据治理平台(元数据管理、主数据管理等等),才能够做好数据治理的相关工作。5) 数据治理是一个长期计划,而不是一个短期目标;我们是需要不断地投入相应地金钱、人力资源才能够完成以及不断的演讲和优化。2.3 获得管理层支持,以获得组织和资源保障数据治理的最终目的是为了提升数据质量,让数据变得更加“可信、可用、完整”;只有较高质量的数据才能让数据说话,以达到税务管理和税务改革所需要“数据管税”这个目标;所以数据治理是牵涉到税务各个业务部门、信息科技部门、以及各个业务系统的应用开发商和产商的事情。这就使得获得税务管理层的支持是一个非常关键核心的因素。要保障数据治理工作的顺利开展,税务管理层需要给予以
25、下组织和资源保障:1、成立数据治理工作组此虚拟组织的成员需要有来自税务相关业务部门(例如征管和科技发展处、规划财务处、数据管理处、纳税服务处等)、核心业务应用系统的开发商(例如征管系统的开发商、发票管理系统的开发商、电子税务局系统的开发商等)、大数据服务平台的开发商等相关的业务人员和技术人员组成2、获得相关方高层的支持需要获得税务局管理层、相关业务部门的管理层、相关应用开发商和产商的高层支持;特别是税务局管理层的支持。3、确定数据治理的负责人 设立首席数据治理官,此职务需要在税务管理层的支持下进行任命;由他来统一管理和协调多方(业务部门、信息科技部门、第三方厂商和应用开发商等)力量进行相应地数
26、据治理,以提高支撑“数据管税”实现的各种业务能力所依赖的数据是“可信、可用、完整”等2.4 执行成熟度评估,以了解现状和确定将来所达目标如图是数据治理成熟度评估模型,按照如图所示的类别,对当前的税务数据治理成熟度进行评估,从而得出我们税务数据质量的当前所处状态,以及期望通过专业数据治理后需要达到的状态。这11个数据治理类别可以分成4个相互关联的组:1、成果: 数据治理计划的预期结果。即在数据风险管理和合规,以及价值创建方面需要达到相应的目标,并为“数据管税”所需要的数据能力提供“可信、可用、完整”的高质量数据支持。2、促成要素:数据治理需要合适的策略、合适的数据照管(即首席数据治理官所带领的团
27、队所发挥的作用)、良好的组织结构(数据治理工作组)和认知(数据治理工作组对数据治理要做的事情和所能体现出的业务价值有共同的认知)。3、核心准则:一个能达到相应业务价值的成功数据治理,必然需要实现一个满足业务要求、技术要求的数据质量管理、数据生命周期管理、数据安全和隐私等方面所需要的软件产品以及相应的经验能力。4、支撑准则:要进行数据治理,我们必须建立一个较为合适、完整、可用的数据架构体系用来指导数据治理和相应的数据应用的设计和开发,并且需要建立相应的分类和元数据以及相应的审计数据日志和报告。我们对上述4个相互关联的组中的11个数据治理类别,定义相应的能力成熟度模型(参考CMM),即现在的能力成
28、熟度,通过这次的大数据服务平台的长期数据治理建设后,所需要达到的能力成熟度模型。下图是我们的一个建议:上图阐述了当前(2016年)对税务数据治理在11个类别中所处的状态,以及经过1年(12个月/18个月)数据治理后所需要达到的状态;并且在后续不断的数据治理过程中最终达到第五级。2.5 创建数据治理路线图数据治理路线图的开发主要通过以下三方面来进行1、总结数据治理成熟度评估的结果即在执行成熟度评估,以了解现状和确定将来所达目标此章节所做的事情的产出的基础上,业务部门、信息科技部门、第三方(信息科技技术产商、应用开发商)在首席数据治理官的统筹安排下进行相应的评估,即对当前状态的评估以及将来想要达到
29、状态的评估,以及当前状态与将来想要达到状态之间的偏差等;通过评估来决定后续的工作。2、列出填补评估中强调的差距所需关键人员、流程和技术计划 这个环节非常关键,为了说明这个,我们通过下面的例子说明。3 基于关键计划的优先级创建路线图基于上面所示的内容制定一个时间周期为12-18个月的数据治理计划路线图,并在过程中对相应的数据治理效果和相应的能力进行监控。l 一般来说必须先进行数据治理工作组的成立,以及相关人员的进入,然后任命首席数据治理官。l 建立数据治理领域所需要牵涉到”原则、策略、规程、业务规则和度量指标“等完整的工作流程。l 确定数据治理所需要的研发团队、服务团队的人员、技能、工作内容、开
30、发和实现计划等完整的工作流程。l 选取相应的业务案例来验证数据治理的合理性以及定义关键度量指标来监控数据治理计划的执行。l 实现数据治理平台和数据集成平台,并利用机器学习和可视化能力来提升数据治理平台和数据集成平台的能力和质量、效率等。2.6 建立数据治理组织蓝图建立数据治理组织蓝图主要由以下几大部分组成1、定义数据治理章程数据治理章程类似于企业的公司条例。该章程阐明数据治理的主要目标、及其关键利益相关者(例如各个业务部门、税务管理层等)。2、定义数据治理的组织结构,并建立数据治理委员会、数据治理工作组、数据治理开发和服务组数据治理的最优组织结构是一种 3 层结构。数据治理委员会,位于组织的顶
31、点,包含高层利益相关者。下面的一层是数据治理工作组,由负责定期治理数据的成员组成。最后,数据治理开发和服务组负责每天实际处理数据。3、举行数据治理委员会和工作组定期会议数据治理委员会举行会议来设置数据治理策略,跟踪数据治理计划的所产生的业务价值和效果。该委员会(包括高层领导)定期会面,但不一定是经常会面。典型的会议安排为每月或每季度举行一次,持续一两个小时。2.7 创建数据字典/业务术语库不同应用开发商或者不同的业务人员都会对相同意思的词语产生不同的描述词,例如对于性别的描述,有些应用开发商在系统中定义为”男“、”女“、”未知“,而有些应用开发商在系统中定义为”1“、”0“,”-1“;对于客户
32、的描述,有些业务人员认为是“企业”,有些业务人员认为是“自然人”;对于纳税人信用等级A的描述,不同业务人员的理解都会是不一样的等等。所以我们必须进行统一的数据标准和数据口径,即我们需要建立数据字典,实现业务元数据与业务词汇的定义相关联;数据字典(或业务术语库)是一个存储库且是一个系统(包含了相应的批量导入、录入、修改等能力),包含将业务和 IT 的共同定义集中在一起的关键词汇的定义。税务必须部署数据字典来确保业务词汇在上下文内良好定义,从而可以让我们的数据加工、数据的挖掘和分析、数据的展现变得更加可信、完整、全面、一致,只有这样才能更好的支撑数据管税。数据字典的创建牵涉到以下几个重要的步骤和相
33、应的核心能力:1、选择一个数据领域。我们必须挑选一个领域,例如针对风险管理所牵涉到的法人、自然人、发票、税务机构等来进行。2、确定相应人员来维护关键业务词汇我们需要选择相应的业务人员、技术人员来维护关键业务词汇。3、识别关键数据元素这方面的工作我们必须要让业务专家/业务架构师帮助我们找出关键数据元素4、创建、填充和丰富数据字典如果我们已经有了相应部分的词汇术语表的话,则把这些输入或者导入到数据字典中。如果没有的话我们需要进行相应的手工录入。5、链接业务词汇与技术组件我们就业务词汇达成一致后,我们需要由相应的以数据架构师为Lead的技术团队建立相应业务词汇与技术组件(例如数据库的某张表和列)。这
34、样的话业务人员就可以通过业务词汇来下钻寻找相应的技术数据源以及数据,因为我们一定要牢记一点就是业务人员只关注业务词汇,他是不懂什么数据库的表名和列名的。6、支持数据治理审计、报告和日志需求。业务术语总是容易变化。今天的“纳税信用等级A”的定义可能在明天又不同。随着业务需求不断演化,一个词汇的可接受定义也会变化。能够了解更改历史、更改的内容和执行更改的人,这与更改本身一样重要。7、 整合数据字典与相关的数据应用和业务应用业务人员在操作一个数据应用或者业务应用的时候,遇到了一个含义模糊的词汇或短语。他不确定这个词汇是如何在税务组织内定义或使用的。所以我们必须使数据字典能够提供一个非常容易的访问入口
35、,让业务人员能够快速的查找该业务词汇是如何定义或使用的。2.8 理解业务和数据 对于业务理解,我们需要站在税务业务的角度,去比较深入的理解全国税务征管规范所介绍的“税务登记、认定管理、申报纳税、税收优惠、税额确认、税款追征、税务检查、违法处置、争议处理、凭证管理、信息披露”等业务核心生产环节中所牵涉到的服务对象、所需要输入的数据、输出的数据、所要实现的逻辑等等;并且我们还非常需要借助对税务整体业务现状和将来税务改革所带来的业务变化具有很好理解,且具有前瞻性的税务专家和税务业务架构师的帮助。只有通过这些,我们才能对税务的整体业务流程中的关键环节、关键问题、关键诉求、关键数据有一个全局性、前瞻性的
36、理解,并且使我们对于拥有哪些数据,它们位于何处,以及它们在系统之间如何关联等,会有比较深的理解,并且也能给出需要新增哪些关联的建议,来帮助建设以“数据为核心”的整个大数据体系对业务发挥出价值和效益,最终达到“数据管税”这个目标。对于理解数据,我们需要进行以下的几个主要步骤和提供相应的能力:1、数据源管理功能即:理解我们所需要的每一个数据源,并且需要对这些数据源都要管理起来,对于每个所需要理解的数据源,我们需要实现以下的几个能力:1) 执行列和表级别分析:对于表级别分析,需要从数据源中相关表的主外键的关系,找出表与表之间的关系(即可以生成ER图);列级别分析包括有关数据源中每一列的基本统计数据,
37、例如自动生成统计数据,比如隐含的数据类型、模式频率、值频率、长度频率、比例、格式、基数、空计数、最小值、最大值、长度和精度等;2) 识别每个数据源中的关键数据元素,关键数据元素是建立跨所有数据源构造一个大数据服务平台的统一数据模式的不错起点;3) 识别每个数据源中的敏感数据元素,敏感数据元素是我们建设数据安全和隐私的一个不错起点。2、理解数据源之间的关系理解一个数据在从一个来源传输到另一个来源的数据血缘(或者地图)的联系非常重要:1) 理解关键数据元素在各个数据源之间的数据重叠 :这个是保证数据一致性、可用性非常关键的一点;2) 发现数据相应的数据血缘和复杂转换逻辑;3) 发现数据不一致性和异
38、常。2.9 创建元数据存储库元数据是描述数据的数据(Data about Data),可理解为比一般意义的数据范畴更加广泛的数据,不仅表示数据的类型、名称、值等信息,还提供了数据的上下文描述信息,比如数据的所属域、取值范围、数据间的关系、业务规则,甚至是数据的来源等。元数据可以帮助管理员和开发人员非常方便地找到他们所关心的数据,元数据是描述分析型应用内数据的结构、建立方法及流程的数据。举个例子来说明,如果没有合适的元数据,我们将无法证明,数据分析报告,或数据可视化展示的内容,或数据报表中的特定字段源于一个特定的数据集市,该数据集市又来自企业数据仓库,最终来自一组后端数据源,以及证明它们之间的所
39、有数据转换;如果我们不知道业务报表和数据分析报告中看到的信息是如何集中在一起,通常不敢对业务报表和数据分析报告中的结果产生信任;也就是说,如果没有合适的元数据,我们的数据资产可能无法识别、不受信任以及甚至不适用。而通过元数据这种实现记录数据转换的过程的数据,记录数据来源的数据,让我们的数据资产可被识别,被信任。所以,我们必须要建立元数据存储库以及元数据管理系统,对元数据进行规定和管理。在大数据服务平台项目中,可将其按用途的不同分为三类:技术元数据(Technical Metadata)、 业务元数据(Business Metadata)和 管理元数据(Management Metadata)。
40、l 技术元数据:技术元数据是描述数据分析中技术领域相关概念、关系和规则的数据,主要包括对数据结构、数据处理方面的特征描述,覆盖数据分析过程中涉及到的数据源、数据仓库与数据集市、ETL、OLAP、数据封装和前端、可视化展现等全部数据处理环节;技术元数据对技术人员进行数据分析型应用的开发能发挥重大的作用;l 业务元数据:业务元数据是描述数据分析中业务领域相关概念、关系和规则的数据,主要包括业务术语、信息分类、指标定义和业务规则等信息;这方面是用来支撑主数据管理,核心应用系统建设的关键。业务元数据主要从数据字典中生成。l 管理元数据:管理元数据是描述数据分析中管理领域相关概念、关系和规则的数据,主要
41、包括人员角色、岗位职责和管理流程等信息。元数据管理系统需要根据以下步骤,具备以下相应的能力:1、链接业务元数据和技术元数据在元数据管理中,需要实现相应业务元数据(主要从数据字典中生成)管理和技术元数据管理;业务元数据和技术元数据的分离会让业务团队和技术团队产生巨大的隔阂,所以我们必须要实现业务元数据和技术元数据的链接甚至合并。2、实现以元数据驱动的数据地图数据风险管理需求和合规性需求影响着税务组织管理它们数据的方式,例如一个税源分析报告中,我们需要证明数据的来源,它流经何处,以及它在税务相应的环节中传输时经过了何种转变,这样才能证明数据是可信的、可用的,也证明这个分析报告也是可信可用的。所以我
42、们要建立一种以元数据驱动的数据地图来回答“此数据来自何处?”、“此数据去向何处?”和“在此过程中它发生了什么?”等基本问题 。3、实现和执行“影响分析 ”理解对一种数据的更改对其他数据有何影响的能力称为“影响分析”。数据治理需要确保业务人员、技术人员能够检查与一个对象(例如一个纳税人分析报告)相关的所有关系,进而在创建任何更改之前,评估和减轻更改带来的风险。考虑到在开发生命周期中不可避免地会引入更改,所以“影响分析”的能力将帮助税务能更有效地治理数据。4、实现技术元数据之操作性元数据管理在我们实现的大数据服务平台中,将会存在大量的数据计算任务(如离线计算任务、流计算任务等),来完成相应的数据加
43、工(例如ETL)、数据挖掘(例如机器学习)等,从数据治理角度,我们必须要知道这些数据计算任务在哪个环节失败、重试次数、某些数据行丢失、何时开始何时结束等等。所以,我们需要通过实现技术元数据的操作性元数据管理来实现管理。2.10 定义度量指标数据治理的工作主要集中在人员、流程和所采取的技术上,几者都是无形的。因此,拥有协商一致的度量指标或关键绩效指标 (KPI) 集对于度量和监控数据治理计划的进度很重要。定义相应的度量指标主要有以下几个主要步骤和所需要实现的能力1、理解业务的整体 KPI 理解业务整体KPI至关重要,江苏地税整体的KPI以及地税各个业务部门(例如数据管理处、征管科技处、纳税服务处
44、等)的KPI是不同的;这种KPI的理解和定义是业务强相关的。2、定义数据治理的业务驱动KPI 数据治理的成功体现就是是否能够符合业务部门所需要的业务价值,所以需要根据江苏地税整体的业务目标以及各个业务部门的业务目标来定义数据治理相应的业务驱动KPI。3、定义数据治理的技术KPI数据治理的技术KPI,用于度量数据治理技术工作方面的进度, 例如元数据、归档、大数据应用能力中心、安全和隐私、数据审计等。4、实现数据治理成熟度评估的仪表盘此仪表盘一个数据可视化界面,直观显示执行成熟度评估,以了解现状和确定将来所达目标所描述的11个数据治理成熟度类别的每一个的实际评分、目标评分和偏差等。通过数据治理成熟
45、度评估的仪表盘,直观度量和监控数据治理计划的进度,并能根据实际情况,进行适当的数据治理计划修正或调整。2.11 主数据治理主数据是在多个税务系统之间共享的基础数据,如:法人、自然人、税务机构、法规等。目前这些基础数据,每一类数据大多都同时分布在多个应用系统当中,数据由各个应用系统独自维护和控制,这样就容易造成了系统之间基础数据的不完整、不一致,甚至不准确的情况。而且系统之间基础数据的同步机制也不完善,同步不及时、同步的过程无法监控,出现问题难以发现。由此引发数据不可信,以及数据分析不可信的结果。为此,必须要建立一个统一主数据管理系统,实现: 主数据集中存储:对分布在各个系统中的基础数据进行集中
46、存储; 数据同步机制:建立系统之间基础数据的同步机制,保证各个系统之间的数据变化能被及时的跟踪和记录,保证这些基础数据在生成、传递、变更、存储、利用过程中的唯一性、完整性、准确性、及时性; 统一管理:通过一个统一的主数据管理平台,实现数据统一入口、统一校验、统一存储、统一分发的主数据管理模式; 提高数据及数据分析准确性和可信性:主数据的准确性可以极大的提高,同时提高相关的业务数据分析的准确性、可信性和一致性。主数据管理系统的主要建设内容应包含: 主数据所依赖的数据字典 主数据模型建设:概念主数据模型建设、逻辑主数据模型建设、物理主数据模型建设。 主数据所依赖的元数据建设:主要是业务元数据的建设
47、、包含部分的系统元数据建设(例如技术元数据建设、管理元数据建设)。 主数据形成建设:在主数据模型和元数据的基础上,通过相应的数据集成平台(例如采集和ETL)或相应的人工方式,从各个系统中采集、转换数据,形成相应的主数据。 主数据服务建设:根据主数据模型所覆盖的主题域(如法人、自然人、税务机构、法规等),形成主数据服务,供相应的数据应用或者业务应用使用(使用方式包括直接查询、主数据同步分发等)。税务纳税人主数据所包含的主要内容如下表简要示例所示:类别数据内容纳税人基本信息纳税人识别号、纳税人名称、登记注册类型等纳税人基础状态信息纳税人登记状态、增值税一般纳税人资格、纳税人信用等级、防伪税控纳税人资格、出口退税纳税人资格、是否具有其他资格、定期定额征收、减免优惠标志、稽查案件未结、违法违章未处理等共享代码2.12 治理分析各个业务部门使用了不一致的数据,创建了业务分析报告和各种报表,但是信息科技部门、业务人员、应用开发商并不总是知道来自数据仓库的数据是如何使用和加工的。所以我们通过大数据应用能力中心(BigData CC) 来解决这些挑战。下述是与治理分析相关的一些任务步骤和一些所需要具备的能力:1、定义大数据应用能力中心的目标尽管技术(例如大数据技术),总是具有驱动业务转型(例如驱动税务改革)的潜力,但纯粹从技术