论数据采集工具的现状问题解决专项方案和展望.doc

论数据采集工具现实状况、问题、处理方案和展望
一、数据采集工具现实状况和存在问题
数据采集工具发展经过了两代产品。
第一代数据采集工具关键是依据财务软件使用数据库，直接拷贝财务软件数据库文件。比如：用友U811版本软件后台数据库采取ACCESS，直接拷贝相关UFDATA.MDB文件。用友U852版本软件后台数据库采取SQLSERVER，能够有三种采集方法：第一、经过ODBC或OLE DB等方法直连SQLSERVER数据库，把数据下来生成第三方文件格式，比如ACCESS或文本文件等。第二、在SQLSERVER企业管理器或查询分析器中直接备份需要数据库，生成SQLSERVER数据库备份文件*BAK，然后直接拷贝该文件。第三、直接找到SQLSERVER物理文件*.MDF，拷贝对应文件。这一代采集工具通常为通用型数据采集工具，比如：文件型数据查找拷贝工具、SQLSERVER采集工具、ORACLE采集工具等。这一代工含有其优点：第一、工具简练，依据常见数据库类型做相关工具；第二、采集数据比较完整，基础上是整个数据库全部照搬，属于数据库级。 不过也有显著不足：第一，需要有相关数据库基础知识，比如ODBC数据源配置、WINDOWS认证或SQLSERVER混合认证方法。其次，采集数据位全部数据，其中有很多数据没有用，假如碰到尤其大数据时，采集时间很长，而且占用很大硬盘空间。第三，直接拿到数据库备份，需要有该数据库环境才能恢复进去，这些需要有相关数据库操作经验人员才能掌握。第四、采集工具分散，不能集成在一起使用。所以，第一代数据采集工具在应用方面不足，催生了第二代采数工具产生。

第二代数据采集工具充足利用了财务软件系统本身后台数据库资源，经过直接连接后台数据库，采集需要用到数据表，并经过数据转换算法把数据导出到设计了固定表结构第三方文件中。比如：使用工具采集金蝶K3数据，经过填写连接SQLSERVER数据库参数，金蝶K3服务器IP、用户名SA、SA密码，直接连接到金蝶K3数据库，然后关联相关数据表t_Account、t_Balance、t_Voucher、t_VoucherEntry进行查询输出成固定结构数据kmk科目库、kmye年初数库、pzk凭证库。第二代工含有其优点：第一、以财务软件为单位，每种财务软件做一个接口，针对性强；采集工具集成度高，把多种财务软件接口全部集成在一个数据采集工具上，方便维护和使用；第二、采集数据属于字段级，仅采集需要数据表中一些字段，采集后数据很小；第三、直连数据方法，能够充足利用数据库环境资源，高效且省资源。然而，这种方法也有其致命弱点：第一、字段级数据采集，需要对财务软件数据结构很熟悉，只要有一点问题全部需要到现场重新采集数据，很麻烦。而且假如需要部分其它辅助字段，因为需求没有考虑周全，也需要重新采集。第二、只支持直连数据库采集，不支持备份方法采集，对于很多单位不许可直连数据库只提供备份情况，就需要自己手动恢复数据，对使用者要求较高。第三、采集后数据全部是根据标准数据结构进行转换整理后数据，原始表结构已经不复存在，这么数据作为证据保留下来是有问题，正确性无法保障。

二、针对数据采集工具之不足处理方案
数据采集工含有以下三点标准性分歧或不足之处：
第一、数据采集颗粒度过大或颗粒度过小。第一代工具强调数据库全盘拷贝，不管所采集数据是否有用全部采集，造成取了很多没有用数据，而且采集速度显著会降低，这种数据库级采集方法颗粒度过大；而第二代采集工具仅采集使用到表中一些字段，现在没有需求字段全部不会提取，假如一旦出现表结构分析不完整或需求增加，全部要重新到现场采集，费时费力费钱，这种字段级采集方法颗粒度过小。
第二、数据采集接口是根据数据库类型组织还是根据财务软件类别组织。第一代工具根据数据库多个类型来组织采数接口，缺点就是需要一定数据库基础知识，上手不轻易。第二代采集工具根据财务软件类别组织，缺点就是财务软件很多，需要对每种财务软件结构了解透彻，比较费功夫，一旦分析有误轻易采集数据不全。
第三、采集后数据是整个数据库备份还是需要经过转换后数据。第一代工具强调采集整个数据库，而且采集数据不做任何变动，保持原貌，缺点是数据过大，不好处理。第二代工具在采集同时做了数据转换操作，已经改变了原有数据库结构缺点是结构发生改变，不能作为原始证据。
针对以上三点标准性分歧或不足之处所提出处理方案：
1、选择适中采集粒度，即数据表级采集。采集我们可能用到数据表，字段不做筛选，整张表全部采集，表中统计经过where条件做过滤。这么既能够避免采集无用数据，又能够确保表结构完整性，立即需求扩展到同一张表其它字段也不用重新采集。
2、综合财务软件类别和数据库类型自组织采集接口。现有多种财务软件单独接口，也有多个数据库通用采集接口，将万全模式和傻瓜模式相结合。当碰到已经有财务软件单独接口情况，直接使用简单模式采集，当碰到没有见过财务软件时，采取完全模式也能够把数据完整采集到。
3、采集数据不要经过转换处理，转换过程放到单独数据转换阶段处理。数据为用到一些表，而且保持表结构完整性，不改变表原来任何属性。这么既能够降低数据过大，内容冗余问题，又能够保持原有格式作为原始证据之用。

三、以后数据采集工具发展方向
经过对数据采集工具现实状况、问题及处理方案探讨，未来新一代数据采集工具应该含有以下特点：
1、自动搜索财务软件：工具运行后经过自动检索本机注册表，本机目录，找特征文件等方法，自动检索出本机安装财务软件及版本，并最大可能把能够相关连接数据库参数检索出来自动填入。实现真正意义上“以人为本”傻瓜式取数。
     2、支持备份取数：工具应该支持多种数据库备份数据采集，即在安装了对应备份数据库环境基础上，工具提供备份还原功效，并直接在还原数据库上进行数据采集工作，将备份恢复和采集数据融为一体。另外，针对多种财务软件本身备份文件，也要加紧研发相关解析接口，能够直接读取备份文件。
      3、支持多个数据库方法取数： 数据采集工具应该能支持多种数据库采集，包含常见ORACLE,SQLSERVER,DB2,SYBASE,MYSQL,INFORMIX,ACCESS,SYBASE ANYWHERE,INTERBASE,POSTGRESQL,TXT,EXCEL,DBF。也应该包含通用数据库采数方法，比如odbc,ado方法等。
      4、取数模板开放性：以前数据采集接口，采了哪些表，哪些字段全部是写到程序中，全部经过了编译处理，对于应用者来说全部是黑箱操作，不透明。未来数据采集模版应该是开放式，透明。这种采集接口模板化结构设计，能够轻松制作多种采集接口，支持接口任意导入和导出，其开放式、图形化采集模板设计界面，方便全部应用者制作数据采集接口。即使是自行开发设计财务软件，经过简单配置就能成功取数。
      5、取数不安装数据库用户端便捷性：数据采集工具应该把连接多种数据库方法和驱动资源进行封装，而且能够自由添加多种资源文件（比如access系统数据库等）。比如在连接ORACLE数据库时，很多情况用户机上没有安装ORACLE数据库用户端程序，这是我们采数工具也应该支持直接连接，而delphi中ODAC组件直连ORACLE方法就是一个很好例子。
      6、保持原始数据表结构：采集数据保持原始数据表结构，对于作为原始证据来说至关关键。只有和原始数据库中表结构，包含表名称、字段名称、字段类型、字段长度这些信息一致，才可能说采集表和原始数据表一致，才能作为副本作为证据保留。假如对表结构进行了变动或进行了转换，那么就失去了和原始表相同这些原子特征，就存在不一致或可能有错误在数据中。
      7、 压缩加密安全性：工具采集后数据通常为文本格式，这么支持大数据存放，而且要进行压缩加密，确保采集数据安全性。首先文本压缩比率较高；其次，单个文件压缩加密极难被破解。即使发生了数据丢失，也打不开看不着里面数据文件。
      8、支持财务软件多：工具应该支持市面上最少90%财务软件，确保应用者拿到采数工具就能够去采回数据。而且工具应该支持没有财务软件模版通用数据库采集，只要知道财务数据库类型就能够把全部数据采集带回。