2022年-InfoMall数据检索服务的设计以及全文检索系统的初步实.pptx

InfoMall数据检索服务的设计以及全文检索系统的初步实现杨志丰InfoMall万维网信息博物馆万维网信息博物馆l中国万维网历史信息的存储和展示系统 l维护2001年以来从中国万维网上搜集的近12亿篇网页（约20TeraByte）l以每月1000万的速度增长 现有服务及问题现有服务及问题l目前提供三种服务l根据URL检索历史网页 l提供人工整理的历史事件专题回放 l免费提供网页和日志数据l局限l访问途径单一（只能通过URL）l整理历史事件专题需要大量的人工工作 l只能获得某个时间段搜集的全部网页，且免费数据的获取需要很多人工维护工作InfoMall数据检索服务数据检索服务l目的l整合现有服务l通过统一的数据访问接口，提供更加丰富，更加自动和便利的数据服务lInfoMall数据检索服务l提供以InfoMall历史网页文档为核心数据，以内容、空间、时间为查询纬度的，面向高层应用的客户服务器体系结构的数据检索服务。“三维三维”的数据模型的数据模型算术编码（arithmetic coding）Lorem ipsum dolor sit amet,consectetur adipiscing elit.13、知人者智，自知者明。12:51:0012:51:0012:51Tuesday,October 25,202212:51:0012:51:0012:5110/25/2022 12:51:00 PM12、世间成事，不求其绝对圆满，留一份不足，可得无限完美。12:51:00 下午12:51 下午12:51:0010月-2210月-2210月-2212:51:0012:51:00October 25,20222022/10/25 12:51:0012:51:0025 October 202214、他乡生白发，旧国见青山。12、越是无能的人，越喜欢挑剔别人的错儿。10月-2210月-22Tuesday,October 25,202210月-2210月-2212:51:0012:51:00October 25,2022只能获得某个时间段搜集的全部网页，且免费数据的获取需要很多人工维护工作12:51:0012:51:0012:5110/25/2022 12:51:00 PM检索服务原语检索服务原语lAugmented BNF 语法定义（部分摘录如下）l=“select”“from”“where”1*“max”l=/l例子lselect Web-pages from http:/:1234 where content contains 民主 time between 1997-02 to 2005-02 location at GEO:150000 location at URL:*”系统组成系统组成全文检索系统全文检索系统索引构建流程索引构建流程l（1）从文档源取得文档l（2对文档进行分词得到三元组l（3）查看词典，把新出现的索引词合并到词典中，得到l（4）当三元组的数量恰好填满内存时，对整个三元组集合执行快速排序l（5）使用“游程编码”处理递增排序的三元组，然后编码压缩，输出到临时顺串文件（run file）l（6）对所有顺串文件执行多路归并，结果输出为最终索引文件l（7）将最终得到的词典存入文件17、一个人即使已登上顶峰，也仍要自强不息。整理历史事件专题需要大量的人工工作11、以我独沈久，愧君相见频。12、故人江海别，几度隔山川。Delta Code算术编码（arithmetic coding）cn:1234 where content contains 民主 time between 1997-02 to 2005-02 location at GEO:150000 location at URL:*.1:22:22 下午1:22 下午13:22:2210月-2214、意志坚强的人能把世界放在手中像泥块一样任意揉捏。17、空山新雨后，天气晚来秋。13、乍见翻疑梦，相悲各问年。InfoMall万维网信息博物馆InfoMall数据检索服务cn:1234 where content contains 民主 time between 1997-02 to 2005-02 location at GEO:150000 location at URL:*.2022/10/25 13:22:2213:22:2225 October 202225 十月 20221:22:22 下午13:22:2210月-22索引压缩索引压缩l目的l减少索引数据空间l提高索引构建的速度l方法l第一步，游程编码，也就是把递增整数序列变换为差分序列（原来相邻整数之间的增量序列）l第二步，采用某种编码方法对整数进行编码编码方法编码方法l统计方法l哈夫曼编码（Huffman coding）l算术编码（arithmetic coding）l特定分布的ad-hoc编码lUnary Code(Prx=2-x)lDelta Code lGolomb Code l字典方法lZiv-Lempel编码 实验结果实验结果本文贡献本文贡献l设计了一个服务：如何利用宝贵的历史网页数据提供公共信息服务以充分发挥信息作为研究工作基础设施的作用 l设计和实现了全文索引系统：重点讨论了利用压缩技术减少全文索引的倒排文件索引的大小，为海量历史网页数据的检索服务提供现实可行的基础设施保障 谢谢！谢谢！l9、静夜四无邻，荒居旧业贫。11月-2411月-24Tuesday,November 5,2024l10、雨中黄叶树，灯下白头人。23:35:3723:35:3723:3511/5/2024 11:35:37 PMl11、以我独沈久，愧君相见频。11月-2423:35:3823:35Nov-2405-Nov-24l12、故人江海别，几度隔山川。23:35:3923:35:3923:35Tuesday,November 5,2024l13、乍见翻疑梦，相悲各问年。11月-2411月-2423:35:4123:35:41November 5,2024l14、他乡生白发，旧国见青山。05 十一月 202411:35:42 下午23:35:4211月-24l15、比不了得就不比，得不到的就不要。十一月 2411:35 下午11月-2423:35November 5,2024l16、行动出成果，工作出财富。2024/11/5 周二 23:35:4423:35:4405 November 2024l17、做前，能够环视四周；做时，你只能或者最好沿着以脚为起点的射线向前。11:35:44 下午11:35 下午23:35:4511月-24l9、没有失败，只有暂时停止成功！。11月-2411月-24Tuesday,November 5,2024l10、很多事情努力了未必有结果，但是不努力却什么改变也没有。23:35:4723:35:4823:3511/5/2024 11:35:48 PMl11、成功就是日复一日那一点点小小努力的积累。11月-2423:35:4923:35Nov-2405-Nov-24l12、世间成事，不求其绝对圆满，留一份不足，可得无限完美。23:35:5023:35:5023:35Tuesday,November 5,2024l13、不知香积寺，数里入云峰。11月-2411月-2423:35:5223:35:52November 5,2024l14、意志坚强的人能把世界放在手中像泥块一样任意揉捏。05 十一月 202411:35:53 下午23:35:5311月-24l15、楚塞三湘接，荆门九派通。十一月 2411:35 下午11月-2423:35November 5,2024l16、少年十五二十时，步行夺得胡马骑。2024/11/5 周二 23:35:5523:35:5505 November 2024l17、空山新雨后，天气晚来秋。11:35:56 下午11:35 下午23:35:5611月-24l9、杨柳散和风，青山澹吾虑。11月-2411月-24Tuesday,November 5,2024l10、阅读一切好书如同和过去最杰出的人谈话。23:35:5823:35:5823:3511/5/2024 11:35:58 PMl11、越是没有本领的就越加自命不凡。11月-2423:35:5923:35Nov-2405-Nov-24l12、越是无能的人，越喜欢挑剔别人的错儿。23:36:0023:36:0023:36Tuesday,November 5,2024l13、知人者智，自知者明。胜人者有力，自胜者强。11月-2411月-2423:36:0123:36:01November 5,2024l14、意志坚强的人能把世界放在手中像泥块一样任意揉捏。05 十一月 202411:36:02 下午23:36:0211月-24l15、最具挑战性的挑战莫过于提升自我。十一月 2411:36 下午11月-2423:36November 5,2024l16、业余生活要有意义，不要越轨。2024/11/5 周二 23:36:0423:36:0405 November 2024l17、一个人即使已登上顶峰，也仍要自强不息。11:36:05 下午11:36 下午23:36:0511月-24MOMODA POWERPOINTLorem ipsum dolor sit amet,consectetur adipiscing elit.Fusce id urna blandit,eleifend nulla ac,fringilla purus.Nulla iaculis tempor felis ut cursus.感感 谢谢 您您 的的 下下 载载 观观 看看专家告诉