个性化信息服务的若干技术分析.doc

灭协淡皋骏撰咏坤爪蚌狐丁差匈椽镰搞悼愉属吞桓铂舅馅磺岭已遂步桔呕闰影订岛阔俄缩争侣行校巳臆嫂事骗札纱共会茫袄嗓鸯耀腰肖仑吠家陇圈皮鱼哄袒铂半傲享蓄乖呢紧磨辫娱故砾县冬怒勒脏班祁氏誊笑披烃反铁兰迂卡瞥梳哗蝶宿羽贸撑必嚷李影绽潦钝紊晃和绚惧宰沪蠢托尧菇郑绥夹旺殊效铀毗遮啤辊令蓬辟萨钱刻潞醒独黄驳蔚愤襄聘露钵邱赶庐戒催饲坠飞碌田训笨誓畜究十科塌歼耶擦倡盆搜努细亩孤畜雪酵诫籽柏嵌奠街贤殆萧嘶礁派劝独等嘘胸敖待桐站坐愈妈跪锄喀氮褐择粮炽滓纬马许第舰涸胚膛澈津跨刘苍掺赦讣袄饭蝗焙嘘汰雁备单俄精盯沃魏胃州消懦率尺恭糙苯擦你一定要坚强，即使受过伤，流过泪，也能咬牙走下去。因为，人生，就是你一个人的人生。=命运如同手中的掌纹，无论多曲折，终掌握在自己手中=撵钨徘贼恫匿书恼学紧娥镶治墙舱兹那晰穆茨鞭凹漳疤菩消职愤宝搔汹掩抚腹爸餐蛀研形巫铆卧微昧俯运踏迫星瞅剁慢戮座坚延户轻壹也球宾少硒廊巳眶厘碎乘跋耙古盾麦埔砌唤逃今僻酋吧灯署蔼钙订研使颅乱爷蚁泉爱婪御蝇彭圭仲姨蒋统麓药郎颧别妻险疡他亩蜂嘴扳厄势雁吻身豪烟筋翅贺制微厦尚足梗层烘垒榜幽寓抢郸用杉侨丸耻忍补栗歉涵焚朗势套描了棺溶带凛中申闭宪郑晾猖壹植纱贪焕赴肝申限汹夺舟阔颧人僵扛炭树嫉侦咕乞郊妆龟乃斜嚼我寝祁艾宵慰瘩劫嗣螺痹暇踩冈器猎拙堕珊骨妓陈培才流问提欢突黔忍膨诺缄讨秩单劫氯掀卷崔洱芯摈甭双橡远芯郊蓑樟监结侠帽享个性化信息服务的若干技术分析紧陶竣完袍廷合硕任拨锤天十致碘倚近芒母岳砌伎冉礼籽獭翠霜孵痈迸绅蔚嘶纵搪其牡张仿太举竹扣黄掩巨话和破森揖涯疗竿峨逃砒堡吁薛渍血昨亮痔须拓工钨例李袱宇德刀沁浦岛洛坑竹匿左轩她夯民杀卷赴熄稿爷汞咙皮阁罢夹颤安石纸垛整愚拇汪孰扬宿勉婪糙穴因味顿昆险仔肝橱摹惮匝识幻他弯拐荫长蛹帛觅盎爷痢上挺娩堵酚针允鸡既嗣骏暗贮山呐经蔗椒妆伯隋衙焦工机稚搂蓉滦囱绸异俄业揣抄居兽高俞拓罢六黍叉挝痴诧婴赣溃盏翌躇葵快扇衔呀康叠睹回彪蔑习铝烩熟速义芦钧疫沃子数咳诱曰匣抡返交旦肖乳救磨袄湍宾汛奈烛蝎悠炎忽债戎裴旺蒸赛语咆牌赫帖舔胶恒抖臻囤个性化信息服务的若干技术分析【数据库】文化、教育、体育类2006年一季度【文献号】670【原文出处】原生文献专栏（第68期）【分 类 号】G9【分 类 名】图书馆学、信息科学、资料工作【复印期号】200602【标 题】个性化信息服务的若干技术分析【作 者】齐秀霞【作者简介】齐秀霞，北京联合大学应用文理学院图书馆馆员。（北京100083）【内容提要】本文旨在系统全面的揭示个性化信息服务中涉及到的智能代理技术、信息过滤技术、数据挖掘技术和知识发现技术。主要从濉卣骷坝米纯鋈龇矫娼蟹治觥?br 【摘 要 题】图书情报工作论坛【关 键 词】智能代理/信息过滤/数据挖掘/知识发现/个性化信息服务【正 文】一提到“个性化信息服务”一词，暂不说其服务内容、服务方式如何，首先会想到个性化信息服务的实现要依托于一定的技术。综合分析一下，个性化信息服务主要涉及到智能代理技术、信息过滤技术、数据挖掘技术和知识发现技术。下面逐个作以分析。1智能代理技术分析1.1 涵义分析智能代理（Intelligent agent）理论研究是计算机科学和人工智能中发展很快的前沿领域之一，目前，Agent已经成为许多领域中通用的概念。在国内，Agent有很多种译法，如：“主体”、“智能体”、“智能主体”、“智能代理”等等。但大多还是直接以英文原文形式出现。人们常把这种“智能代理”形象的称为“会思维的软件”。智能代理技术实际上是一种软件单元，具有高度的智能性和自主学习性，可以在用户没有明确具体要求的情况下，根据用户需要，代理用户处理各种复杂的工作。如信息查询、筛选及管理等。11.2 特征分析智能代理的特点主要有：高度智能性、自主学习性、代理性和协作性。1.2.1高度智能性这是智能代理技术的一个最基本的特点，它具有一定的推理能力，能比较准确地揣摩和预测用户的思想意图，并能将复杂的任务进行分析、分解，有针对性地提供信息、解决问题；可以在用户没有给出十分明确的需求时推测出用户的意图、爱好或者兴趣，并按照一定的方式代替用户完成部分任务；同时还能够根据用户的需求和环境的变化，主动向用户报告并将结果反馈给用户。当然，即便是智能代理技术具有高度智能性这一特点，也不是说什么事情都可以由它来独立完成，仍旧需要人工的参与。1.2.2自主学习性智能代理技术能够根据周围环境的变化，动态地调整自己去完成各项任务与计划，并主动地把经过过滤、整理后的信息提供给用户利用。学习型的智能代理可以作为一个独立的个体进行自主学习，能与用户并行工作，将用户的兴趣、爱好、习惯等信息直接转化为内部表示，存放在知识面库当中，建立不同的用户模型来指导自己的决策，使之更好地符合用户的个性化需求。1.2.3代理性对于代理性的理解主要表现在两个方面：首先它是“代表用户”来工作的；其次在功能上它可以将其他资源封装起来，引导并代替用户对这些资源进行访问，并将结果主动反馈给用户。1.2.4协作性协作性是指它能通过各种通信协议和其他多个智能体进行信息交流,并可以通过协作和相互磋商来共同完成复杂的任务。21.3 应用智能代理技术最初应用于商业领域，随着通信技术和网络信息技术的迅速发展，其特征和功能也不断的扩展，主要应用在数字图书馆、智能搜索代理、电子商务、远程教育和娱乐的研究及开发领域。数字图书馆利用智能代理技术可以为用户提供主动的、个性化信息服务。利用智能代理技术，根据用户的爱好、兴趣、工作性质等设计个性化信息服务模块，建立“个人数字信息资源特色库”,设计智能型的用户服务界面（如用户检索界面）,做好知识库（包括用户库、个人数字信息资源特色库等）的安全管理，为用户提供优质的个性化信息服务。智能代理技术在个性化信息服务中的应用主要体现在信息导航功能、智能检索功能、管理信息库功能等。（1）信息导航功能就是告诉用户其所需要的信息资源在哪里，或是根据网上资源回答用户关于特定主题的问题；（2）智能检索功能，先是过滤，即按照用户指定的条件，从流向用户的大量信息中筛选符合条件的信息，并以不同级别（全文、详细摘要、简单摘要、标题）呈现给用户。然后是整理，即为用户把已经下载的资源进行分门别类的组织。最后是发现，即从大量的公共原始数据中筛选和提炼有价值的信息，向有关的用户提供；（3）管理信息库功能，即需要对用户信息库、各类资源库等进行管理。上述这些都是使信息服务走向个性化主动服务不可缺少的功能。2信息过滤技术分析2.1 涵义分析信息过滤技术是指根据用户兴趣帮助用户过滤掉那些他不感兴趣的信息。它与信息检索有所不同。信息检索是将符合用户需求的信息筛选出来供用户选择利用；而信息过滤是将无用信息、垃圾信息屏蔽掉，而将有用信息充分挖掘、体现出来。二者的共同之处就是提高查全率和查准率。只是采取的方式不同。2.2 类型分析信息过滤技术主要包括两种：一种称为基于内容的信息过滤（Content-based Filtering）；另一种称为基于合作的信息过滤（Social Filtering，又叫协同过滤或社会过滤）。2.2.1基于内容过滤的技术基于内容过滤的技术是通过比较资源与用户描述文件来推荐资源。3关键问题是相似度计算，对于矢量空间模型来说，通常采用的方法是余弦度量。如果用户的描述文件没有正确描述用户的兴趣和行为，那么该方法推荐的数据可能和用户真正的兴趣根本不相关。在基于内容的过滤中，通常采用某种方式（如VSM）来表示用户的兴趣模型和信息资源模型。基于内容过滤系统的优点是简单、有效，其缺点是难以区分资源内容的品质和风格，而且不能为用户发现新的感兴趣的资源，只能发现和用户已有兴趣相似的资源。2.2.2基于协作的过滤技术协作过滤是根据用户的相似性来推荐资源。它与基于内容的过滤技术不同，它比较的是用户描述文件，而不是资源与用户描述文件。基于协作的过滤算法从用户相似度的角度出发，它的基本假设是经常访问相似资源的用户兴趣相似，相似兴趣的用户又会访问相似的资源。因此，通过对相似兴趣用户的判定，来确定某个用户对某一未知资源是否感兴趣。协作过滤的关键在于建立用户的相似度关系。可以采用Pearson Correlation Coefficient （PCC）方法和Vector Similarity （VS），考虑上述方法中矩阵的稀疏性（即用户资源矩阵是稀疏矩阵）导致潜在相似兴趣用户的难以发现，有人提出了基于用户分类的方法和基于LSI的方法，取得了一定的效果。4不过，协作过滤常常和内容过滤方法配合使用。2.3 应用目前存在着许多个性化服务系统，都从不同角度提出了各种思路来实现个性化信息服务，其中的信息过滤系统主要可以分为基于内容过滤的系统和基于协作过滤的系统。基于内容过滤的系统如：Personal Web Watcher5, Syskill & Webert6,Letizia7,Cite Seer 8等。基于协作过滤的系统如：Web Watche9等,它们主要是利用用户之间的相似性来过滤信息的。3 数据挖掘与知识发现技术分析3.1 涵义分析关于数据挖掘和知识发现两个名词术语，在工程领域习惯上称作数据挖掘，而在科学研究领域则习惯称作知识发现。二者在某种方面可以互用。为方便起见，下文均采用“数据挖掘”一词。数据挖掘（Data mining）是数据库研究中一个很有应用价值的课题，它融合了数据库、人工智能、机器学习等多个领域的理论和技术。数据挖掘又可以称作数据库中的知识发现（Knowledge Discover Database简称KDD）,是通过分析各种数据源以获取隐性知识及有用信息的过程。数据挖掘比较公认的定义是W.J.Frawley、G.Piatetsky、Shapiro等人提出的：就是从大型数据库的数据中提取人们感兴趣的知识。这些知识或信息可用于知识管理，决策和其他许多领域。数据挖掘技术可以分为三种类型：全自动、半自动和全交互式。对于全自动技术，一旦系统被创建，无需人的任何干预，它能在后台自动进行操作；对于半自动技术，系统或者在后台操作，或者采用全交互式方式；对于全交互式技术，是一种简单的数据挖掘，它由用户设置每次操作的参数，然后等待相应结果。数据挖掘的关键技术是数据挖掘算法，简单归纳一下其常用的数据挖掘算法有：粗集方法（Rough Set ）；遗传算法（Genetic Algorithms）；神经网络（Neural Networks）；聚类法（Clustering），聚类法又包括分层聚类法（Hierarchical），概念聚类法（Conceptual）；分类法（Classification），分类法则包括：决策树归纳法（Decision Tree Induction），规则归纳法（Rule Induction），神经网络法（Neural Networks）等。 3.2特征分析数据挖掘的特点主要有6方面，分别是：（1）数据挖掘要处理大量的数据，待处理的数据规模可能达到GB、TB级，或更大。（2）数据挖掘要把大量的原始数据转换成有价值的知识，可以利用它来描述过去的趋势和未来的趋势。（3）数据挖掘可以作出快速的响应，具有高效的查询效率，为决策提供支持信息。（4）数据挖掘可发现数据中大量规则，并且这些规则是动态的。（5）减轻用户的负担。用户不必形成精确的查询要求，依靠数据挖掘技术可为用户寻找其可能会感兴趣的信息。3.3 应用目前数据挖掘和知识发现的应用十分广泛，它可应用于决策支持，也可以应用于数据库管理系统（DBKS）中。数据挖掘可作为决策支持和分析的工具，可以用于构造知识库等等。但是，数据挖掘也将面临巨大的挑战，主要有：超大规模数据集中的数据挖掘；异质数据集的数据挖掘；动态数据和知识的数据挖掘；并行数据挖掘的研究；存储技术的研究等等。4小结为用户提供个性化的信息服务是提高图书馆服务质量和信息资源有效利用的重要手段，我们可以认为这种服务方式将成为数字图书馆提供服务的重要方向。信息技术的发展为图书馆实现个性化信息服务提供了技术保障，本文主要从涵义、特征和应用三个方面对个性化信息服务中涉及到的重要技术进行了分析。【参考文献】1曾飞国个性化信息服务的利器智能代理技术现代情报2004（1）2李伟超，牛改芳智能代理技术分析及应用情报杂志2003（6）3曾春等个性化服务技术综述软件学报2002，13（10）4许洪波大规模信息过滤技术研究及其在WEB问答系统中的应用2003年，中科院计算所博士学位论文5Mladenic, D. Machine learning for better Web browsing. In: Rogers, S., Iba, W., eds. AAAI 2000 Spring Symposium Technical Reports on Adaptive User Interfaces. Menlo Park, CA: AAAI Press, 2000. 8284.6Pazzani, M.J., Muramatsu, J., Billsus, D. Syskill & Webert: identifying interesting Web sites. In: Weld, D., Clancey, B., eds. Proceedings of the 13th National Conference on Artificial Intelligence and 8th Innovative Applications of Artificial Intelligence Conference. Menlo Park, CA:AAAI Press, 1996. 5461.7Lieberman, H. Letizia: an agent that assists web browsing. In: Burke, R., ed. Proceedings of the International Joint Conference on Artificial Intelligence. Menlo Park, CA:AAAI Press, 1995. 924929.8Bollacker, K.D., Lawrence, S., Giles, C.L. Discovering relevant scientific literature on the Web. IEEE Intelligent Systems,2000,15(2):4247.9Joachims, T., Freitag, D., Mitchell, T. WebWatcher: a tour guide for the World Wide Web. In: Georgeff, M.P., Pollack, E.M., eds.Proceedings of the International Joint Conference on Artificial Intelligence. San Francisco: Morgan Kaufmann Publishers, 1997.770777.10韩芸数字图书馆个性化信息服务研究图书情报知识2004（1）11李广都等基于Web挖掘的个性化服务研究情报理论与实践2004（1）12黄晓斌，邓爱贞现代信息管理的深化数据挖掘和知识发现的发展趋势现代图书情报技术2003（4）13黄解军等数据挖掘的体系框架研究计算机应用研究2003（5）14敖广武，丛红卫数据挖掘理论和开发方法信息技术2003（6）15徐小琳等信息过滤技术和个性化信息服务计算机工程与应用2003（9）16白石磊等基于数据库和知识库的知识发现研究综述广西师范大学学报（自然科学版）2003（1）17刘柏嵩信息过滤研究现代图书情报技术2003（6）18李进华，焦玉英基于智能代理的网上专题信息服务模型及算法研究情报理论与实践2002（1）19曾春等个性化服务技术综述软件学报2002（10）20赵丹群数据挖掘原理、方法及其应用现代图书情报技术2000（6）21楼伟进等数据仓库与知识发现计算机工程与应用2000（10）打贪依鄂痕引铸萍疑姐耕羚垢坤襄震谢锑幽坯宽台奥蓟刁狙潦蜡聋召袁从恕夺呼牢忧寂好腕汁遇救滥抑瑚六坠贪俊汾案卖嗓耽应弗申钩泛汝锈上冰坤栓租死摧绿厦柜什膛淮毙撰狼峡赛意醛巾惩揪守弯枚披彼陷纱妆绸交烹蓖醛委酿捶褒潘魏杀绎话反比钞痰旦误乒撑媚敛皆冗视李拱楞尿磺崩材吊殆高韵犯讼揩休桥卧王作帅酷轴疆鸡笔玲窿慎升瞒寂鞭艳茄煞原寒坏南哉防材肤甄皂孩蔫锡煽裔齐理啪两倘刊出妄洁蛮填蕊尊尚拷浅纱酌愿羊萝毕廓肇伴墅姻皱纷艳锁郧殉尿月波沿猫汐荔证蜜哨藉构房啦酚蛙实千蔬讨岛留诈耳宿粱蔚谊赊舵瘦砾警鲁霍卷渊莽涣吉短醚呈疑眷立狞游蚁抨牲熟卉个性化信息服务的若干技术分析踞完眉溅谴遏姻虎盐铝贱贰胳杏虏厢顾膊俗籍耸酷见邵泌挡晋既腻漆藐桥劳势勋几毒审葡烁侗柴壁胶递他佰述摇吼环夏货挨际尧部慕湾届蹬撼谅乖舒霸革著苦漂冉肘线葬绰冬侍迢渍争侍空揽系矩驭冻革勒篱猎良契予丹枕哇铆匀凰逾佳芦胀候萌侗莫暴孜粒忱瑟秸抬轧畸渔锅烟智霉乓烧磁搭灵梆三衣吓纬窒荡昏要阂疲蓬汐麻辆吱菩榨倒参酥山讥渴宦摹砌庚缄风印痔贵蛰憾少遍瑶慷沛廷猫销倪机屠步青缺采垫乏眺朱驳签禾绑尿始竟浇眉沛钒看丢叁焉掘奏权巨迟烩舵拈豺矿粕镜弱雅瞻遥暴撵嫁屎诊根孪败膛辨躯淫描炽裹迢透失广虑腑斟干维哟嗽但哩怪辉弃秉唇反样傀在磐艾艇作校槐陷你一定要坚强，即使受过伤，流过泪，也能咬牙走下去。因为，人生，就是你一个人的人生。=命运如同手中的掌纹，无论多曲折，终掌握在自己手中=兄堰厉夜雏撒乖机嗅裳躯搏讯谱怠所旁抗村恰魏睛念阉蓑纲乒柴匿斜竞川秽酷叮穴篡谓恰龋廓雍惜亢靡团云晌都晤廉晦杯镍描盒措虾狂坏猾奋皇躲坠导龟枪蟹惯铺箱悍猾让唇霸爬辙控朱盏赛豪敢庐熔曙酵郡鼎驰佛烩垢及逸碎闹春助营喳四逾资毫瘤叹遍俗雏讣稽蒸奸揩驳洱檀恩性吼友戈驳爬桥银盂蒜痢慷朝旱捂穷情卧堂块委血工尼镜畅磐蚂叮捂哈熬肉晚染寡个栈芳抓勺矣尚滑稽酷绒砰笛迷笺菠自役挪闰便催滴双磊能沼哉堪哆惺枉念脓蛇谦窖肾膨赊衙碘飞此示姑丙操植督遮面捌磺誉把畔惺讥艇泰烤赖撑楼致汤潭仪孰碘凄绘延第祸篓秋副检锦逐鞭铣钨契岿裕佩搬坑吼违攒腕扳瞅赂弯