浅析数据挖掘在证券业CRM系统中的应用.doc

学年论文论文题目：浅谈数据挖掘在证券业CRM中的应用姓名：范 琴学号：0809030450班级：信管0804年级：08级专业：信息管理与信息系统学院：信息与安全工程学院论文成绩：浅谈数据挖掘在证券业CRM中的应用摘 要 随着经济社会的快速发展，金融业在产业结构中扮演的角色越来越重要，无论是在融资以扩大生产、提高企业综合竞争力方面，还是在平衡社会经济结构方面，都迫切需要发达的金融业来给予支撑，其中尤以证券行业的重要性更为突出。证券企业之间愈演愈烈的竞争不仅体现在当前自身业务量的提高，更注重于怎样挖掘潜在的客户以利于企业的长远发展。数据挖掘技术的产生向企业客户关系管理提供了一种有效的数据管理方法，它通过对企业数据库中大量的客户数据进行抽取、转换、分析，同时结合其他模型化处理，从中提取辅助企业决策的关键性数据。如何使数据挖掘合理地应用于证券行业客户关系管理将成为越来越多的企业亟待解决的问题。本文通过对数据挖掘技术的简析以及现有Date Mining在证券业CRM中应用的分析，采取以小见大的分析方法，论证数据挖掘技术的运用在提高企业客户关系管理效率方面的显著效果。全文共分为四个部分，依次为研究背景、数据挖掘中的常用算法介绍以及Date Mining在证券业CRM中的应用实例和应用前景。【关键字】 数据挖掘 CRM 证券业 算法AbstractWith the rapid economic and social development, the financial industry in the industrial structure, more and more important role, both in financing to expand production and improve the comprehensive competitiveness of enterprises, or in the balance of social and economic structure, have an urgent need for developed financial sector to provide support, particularly among the more prominent the importance of the securities industry. Increased competition among securities companies not only in the improvement of the current volume of their business, more focus on how to tap the potential customers in order to facilitate long-term development. The generation of data mining technology to enterprise customer relationship management provides an effective approach to data management, which the enterprise database through a lot of customer data extraction, transformation, analysis, combined with other treatment models, extracted from auxiliary enterprises in decision-making Critical data. How to make data mining reasonably applied to the securities industry, customer relationship management will become more and more enterprises serious problem. Based on the data mining technology, Date Mining Analysis and existing CRM application in the securities industry analysis, taken to the analysis of Seeing, demonstrated the use of data mining technology to improve the efficiency of enterprise customer relationship management a significant effect.Paper is divided into four parts, followed by research background, data mining algorithms commonly used in presentations and Date Mining in the securities industry CRM application examples and applications.Keyword: Data Mining CRM Securities Industry Algorithm1 研究背景1.1数据挖掘技术简介数据挖掘技术（Data mining）是一种透过数理模式来分析企业内储存的大量资料，以找出不同的客户或市场划分，分析出消费者喜好和行为的方法，其产生与发展是建立在一定的市场需求与技术支持上的。由于企业、政府等机构在大规模数据管理上的应用需求以及数据库、数据仓库和Internet等信息技术的发展、计算机性能的提高和先进的体系结构的发展、统计学和人工智能等方法在数据分析中的研究和运用等等，使得数据挖掘技术得以产生和迅速发展。Date Mining技术自产生以来就在许多领域得到了有效的应用，例如生物医学研究领域、以及商业领域等，其中尤以商业应用最为突出，基于数据挖掘技术而提出的零售业的同族定位与交叉销售概念、证券业的客户关系管理以及电话营销中的数据集市战略等无一不体现了数据挖掘技术强大的应用功能。此外，其在关联分析、聚类分析、概念描述等方面的优势也使得数据挖掘技术的应用有越来越广的趋势。1.2 证券业客户关系管理对数据挖掘技术的市场需求分析客户关系管理，又称为CRM，是指企业在生产经营过程中不断加强与客户的交流，了解客互需求，并据此对自身产品及服务进行改进以满足客互的需求变化的连续的过程。其内含是企业利用信息技术和互联网技术实现对客户的整合营销，是以客户为核心的企业营销的技术实现和管理实现。客户关系管理注重的是与客户的交流，企业的经营是以客户为中心，而不是传统的以产品或以市场为中心。客户关系管理要求企业形成“以客户为核心”的营销服务体系，维持老客户的同时，积极挖掘潜在的客户，扩大企业的营销对象，提高企业的经营水平。证券行业本身就是一个数据密集型行业，对每一个证券公司而言，数据来自两个方面，一是客户数据，还有就是通过行情分析软件得到的交易数据，本文主要讨论客户数据。在公司成立初期、规模尚小时，证券公司可通过搜集客户资料并将其整理入库的方法进行客户关系管理，此时，手工数据分析方法具有一定的可执行性。然而，随着公司规模的不断扩大，所面临的客户群也在成倍增长，公司用户数据库中的数据逐渐呈现出规模大、杂乱无章、难以查阅等特点，严重制约了公司的快速发展。而证券公司常年经营积累下来的大量客户信息，对证券公司制定投资经营策略、扩大营业规模方面具有重要的参考意义，怎样才能将自己掌握的海量客户数据转化为精确、安全、实时性的知识信息对证券公司来说至关重要。2 证券业CRM软件中常用的数据挖掘算法简介以Apriori算法为例2.1 Apriori算法原理的具体描述Apriori算法是Agrawal等人于1994年提出的基于项目集格空间理论的一种作为关联规则挖掘的经典的算法。自产生以来就被广泛应用于商业中，应用于消费市场价格分析中。它能够很快地求出各种产品之间的价格关系和它们之间的影响。通过数据挖掘，券商可以瞄准目标客户，采用个人股票行市、最新信息、特殊的市场推广活动等一些特殊的信息手段，从而极大地减少广告预算和增加收入。Apriori算法是通过项目集元素数目不断增长来逐步完成频繁项目集发现的。首先产生1-频繁项目集L1，然后是2-频繁项目集L2，直到不能再扩展频繁项目集的元素数目而算法终止。在第K次循环中，过程先产生K-候选项目集的集合Ck，然后通过扫描数据库生成支持度并测试产生k-频繁项目集Lk。集体算法步骤如下：算法一：判断候选集元素has_infrequent_subset(c, Lk-1)输入：一个k-候选项目集c，(k-1)-频繁项目集Lk-1输出：k是否从候选集中删除的布尔判断(1) FOR all (k-1)-subset s of c DO(2) IF s Lk-1 THEN(3) Return Ture;(4) Return False;算法二：候选集产生apriori-gen(Lk-1)输入：(k-1)- 频繁项目集Lk-1输出：k-候选项目集Ck(1) FOR all itemsets p Lk-1 DO(2) FOR all itemsets q Lk-1 DO(3) IF p.item1= q.item1= q.item2,p.item (k-2)= q.item (k-2)= p.item (k-1)=minsup-count （10）END（11）L=Lk;上述算法调用了apriori-gen(Lk-1)，通过频繁项目集产生k-候选集。Apriori算法作为经典的频繁项目集生成算法，在数据挖掘中具有里程碑的作用，但我们通过对Apriori算法的过程分析不难发现，它具有两个十分突出的缺点，一个是多次扫描事务数据库，需要很大的I/O负载，另一个就是可能产生庞大的候选集。基于Apriori算法的瓶颈，为了提高其运行效率，后有人对Apriori算法进行了一系列的改进，就是通常所说的基于数据分割的方法、基于散列的方法、基于采样的方法等，这不做一一介绍。2.2 基于Apriori算法的数据挖掘技术在证券业CRM中的应用实例 在Apriori算法中有两个公式必须是十分重要的，一个是支持度，即某一特定关联在事务数据库中出现的频率，还有一个就是置信度，即相对频率，可以理解为事件A出现时事件B发生的概率（条件概率）。具体计算公式如下所示：支持度（supp）=特定关联事务/库中事务总数，置信度（oonf）=两个事件同时出现的概率/作为条件的那个事件出现的概率。Apriori算法的具体实现步骤可以描述如下：要求出满足给定的最小支持度的项集（频繁集），首先必须遍历所有的项的集合。然后把每个事务集所产生的项集在所有项的集合中查找，计算出每个项集出现的次数，最后利用支持度的公式计算出每个项集的支持度。为了使遍历过程更加方便，我们可以建立一种名为前缀树的数据结构来表示事务集。首先把第一个事务集用前缀树来表示，然后把下一个事务集中没有在树中出现的项插入到这个树中，如果这个项已经出现，则在计数器位置上加一，最后这棵前缀数就可以表示成所有项的集合了，而且也包含所有的项的出现次数。然后把计数器数值小于事务数*支持度的枝叶剪掉，所剩下的树即为最终所求的频繁集了。接下来我们可以从叶节点开始求置信度，并且如果下层节点满足给定的置信度，那么上层节点就一定满足给定的置信度，最后输出所有满足给定置信度的关联。下面我将举例说明Apriori算法的具体应用。以某一证券公司各种证券的客户数量为例（抽取其中部分数据并且予以简化），为方便起见，仅以项集符号代替证券名称，每一项表示一种或一类证券。如下表所示（最小支持度阈值为2）：Sec111,12Sec212,14Sec312,13Sec411,12,13,14Sec511,13Sec611,12,13表2.2.1（1）找出候选项集，扫描事务库对每个候选集计数，如下表。比较候选支持度与最小支持度计数，进行剪枝，找出频繁1-项集的集合.表2.2.2由产生候选集，扫描事务库对每个候选计数，比较候选支持度与最小支持度计数，进行剪枝，找出频繁2-项集的集合。表2.2.3 由产生候选集，扫描事务库对每个候选计数，比较候选支持度与最小支持度计数，进行剪枝，找出频繁2-项集的集合。 表2.2.4上述算法找出频繁项集后，再对每个频繁项集I找出其所有的非空子集，对于I的每个非空子集S如果support_count(I)/ support_count(S)=min_conf，则输出规则S=（1-S），这样就可以找出关联规则了，具体步骤如下所示：（1）找出频繁项集的所有非空子集上例中的频繁子集I=11、12、13，其非空子集为11、12、11、13、12、13、11、12、13。（2）产生强关联规则：11（12（13 confidence=2/3=66.7%;S=11、12,I=11、12、1311（13（12 confidence=2/3=66.7%;S=11、13,I=11、12、1312（13（11 confidence=2/3=66.7%;S=12、13,I=11、12、1311（12（13 confidence=2/4=50%;S=11,I=11、12、1312（11（13 confidence=2/5=40%;S=12,I=11、12、1313（11（12 confidence=2/4=50%;S=13,I=11、12、13假设最小置信度阈值为65%，那么本例中的最强关联规则为11（12（13；11（13（12；12（13（11；13（11（12。 通过上述数据挖掘过程可以知道，11、12、13之间存在着很强的关联性，在向顾客推销证券组合时，可以把这三个项集所代表的证券品种组合成一套产品，这样更有利于提高公司的业绩。3国泰君安证券的CRM系统简介3.1 国泰君安证券股份有限公司国泰君安证券股份有限公司是目前国内规模最大，经营范围和机构分布最广的证券公司之一，也是国内较早采用CRM系统进行客户关系管理的一家综合性大型证券公司。为了丰富公司服务的类型，缓解巨额利润给企业带来的压力，更为有效地管理和分析客户数据以便集中企业有限的资源为核心客户服务，公司于2002年3月与创智签定了CRM项目合同，在大企业战略合作部和区域业务管理中心全面实施客户关系管理系统。2002年8月，由创智集团CRM事业部开发的PowerCRM在国泰君安证券有限责任公司正式投入运行，持续为公司创造出了巨额的利润。3.2 PowerCRM系统3.2.1 PowerCRM系统的逻辑结构图3.2.13.2.2 PowerCRM的系统结构图3.2.23.2.3 国泰君安PowerCRM的系统功能PowerCRM系统面向的应用角色包括销售员、销售经理、客户管理人员、调查管理人员、部门经理、部门总经理和系统管理人员。其系统功能模块如下所示。图3.2.33.3 国泰君安PowerCRM系统的特点PowerCRM系统支持在上海、北京、深圳三地的办公，并集成了国泰君安现有的OA系统，充分利用现有资源。系统不仅可以方便地进行客户需求和客户满意度调查，还可以共享公司各类客户资料库，根据不同的标准对客户进行分类，从各个侧面分析核心客户的价值量，分析核心客户的投资组合、风险偏好、交易特征等，并且可以跟踪核心客户的增减动态及其原因，预警提示客户经理和管理部门制定及时有效的营销、服务方案，提高客户满意度。同时，系统具有充分的可扩展性，全部采用B/S结构，同时也能够支持C/S的模式。概括起来，包括以下几点。（1）全面的客户信息管理，整合个公司的客户资料库。（2）严密的权限管理措施，职责分明，严防客户信息的泄露造成不必要的损失。（3）大数据量处理机制，可同时处理大量的数据资料，缩短时间。（4）灵活清晰的线索，方便操作。（5）工作流可配置。（6）个性化的友好界面，美观且易操作。 （7）对OA系统及Office文档良好继承，具有极强的兼容性。 PowerCRM的投入运行，给国泰君安证券有限责任公司带来了大量有巨大价值的核心大客户，同时整合业务资源，为客户提供专业化、客户化的服务，并通过协同销售管理，进一步发掘潜在客户价值。 4 数据挖掘在证券业CRM中的应用前景4.1 现有证券业CRM系统的不足就国内现有证券业CRM系统的运用情况来看，仍不是很乐观。现有CRM系统过于简单，在软件功能上大多只提供了数据采集、记录、查询以及单一的累加统计功能，CRM系统的类型停留在操作型和协同型，而对于真正有巨大信息价值的分析型CRM系统的研究开发远远不够，不能满足券商业务发展的需要。还有就是现有CRM系统对客户的分类仍过于模糊和混乱，不利于券商利用现有数据进行有效地客户分类，严重阻碍了客户关系管理的效率。4.2 数据挖掘在证券业CRM系统的发展方向从数据挖掘分析技术角度看，目前的CRM仅在数据描述、数据可视化、聚类分析、分类等方面进行了探索，今后还应继续采用预测、相关、关联等技术，挖掘更深层次的规律，从系统角度看，证券业CRM将从单个营业部服务，进一步扩展为地区总部系统和券商总部系统，以适应券商整体营销的需求，从业务流程角度看，证券CRM将逐步将分析型CRM、操作型CRM和协作型CRM整合，具体包括以下几点。（1）前台和后台的信息系统将进一步融合，后台软件产品的供应商，如ERP厂商，将继续扩充自身的前台管理功能，前台软件的供应商也将增强自身的前台产品和其他后台产品的集成能力。（2）呼叫中心的功能将大大扩充，真正实现电话、WWW、E-Mail、传真、无线通讯、直接接触等的融合，成为联系中心。（3）基于网络的自助服务将成为企业向用户提供服务的重要方式。（4）现有的CRM产品将融入更多的合作伙伴关系管理（PRM）的功能，而PRM产品将会有更细、更具先进性的行业解决方案，并将融进分销系统软件和电子商务软件的一些功能，获得较大的发展。（5）未来的CRM产品将融入知识管理和竞争情报的部分理念，成为知识管理和竞争情报的有力工具。随着券商业务的扩大，依赖于数据挖掘技术的CRM系统将发挥越来越重要的作用，与此同时，DM的应用也应该突破传统客户关系管理系统中一些简单的数据分析应用，走向多样化、全面化、综合化的数据挖掘新运用方向。首先，应用目标会发生变化，伴随着企业经营战略目标的转移，CRM中的数据挖掘重点应当从增加收入转移到节约成本；其次是应用模式的探索，电子商务技术的快速发展使得券商在开展业务时更多地依赖于计算机，这就要求CRM系统中的数据挖掘技术要能适应电子商务模式下的ASP环境，这也是证券业CRM系统的一个重要的研究方向；最后，CRM系统的应用对象也应该发生转化，当下大多数的证券公司规模称不上很大，基本都属于中小型企业，针对中小型券商CRM应用的数据挖掘技术研究对证券公司提升决策支持的智能化水平具有十分重大的意义。相信在不久的将来，数据挖掘技术在证券业CRM系统中的应用会更加全面深入。参考文献【1】张喆.数据挖掘及其在客户关系管理中的应用. 复旦大学出版社 【2】谭建豪 章兢 黄耀 胡章谋.数据挖掘技术.中国水利水电出版社 .2009年1月【3】宋之星 .CRM的实现与PowerCRM系统设计. 计算机工程与科学 .2001年第23卷第26期【4】创智CRM在国泰君安证券股份有限公司的应用. 计世网 .2003年2月25日【5】刘文昌 .Apriori算法在客户关系管理中的应用. 长春大学学报 .2005年8月【6】李大勇 徐亚娜 .CRM中Apriori算法的应用研究. 辽宁省交通高等专科学校学报 .2007年6月