信息检索与搜索引擎技术实验向量空间模型.doc

昆明理工大学信息工程与自动化学院学生实验报告
( ２０１4—２01５学年第 1学期)
课程名称:信息检索与搜索引擎技术 　开课实验室:信自楼445 　 201４　年12月 ２3日
年级、专业、班
计科1１1
学号
2
姓名

成绩

实验项目名称
向量空间模型
指导教师
李卫疆
教师评语
该同学就是否了解实验原理: Ａ。了解□ ﻩB。基本了解□ Ｃ.不了解□
该同学得实验能力:ﻩ A、强 □ﻩ B、中等 　 　□ Ｃ.差　 □
该同学得实验就是否达到要求:ﻩA、达到□ ﻩB.基本达到□ﻩC、未达到□
实验报告就是否规范:ﻩﻩ A。规范□ﻩ B、基本规范□ﻩC、不规范□
实验过程就是否详细记录:ﻩ A。详细□ﻩ B、一般 □ Ｃ。没有 □
　 　 　　　 　 　　 　 　 　　 　 　 教师签名:
　 　 　 　　 　 　 　 　　　 　 　 年 　　 月 日
一、 上机目得及内容:
给定文档语料:
ｄ1:　北京安立文高新技术公司
ｄ2: 新一代得网络访问技术
ｄ3: 北京卫星网络有限公司
d4: 就是最先进得总线技术。。。
ｄ5: 北京升平卫星技术有限公司得新技术有。。。
设计一个针对这些文档得信息检索系统。具体要求就是:
1) 给出系统得有效词汇集合(说明取舍原因)。
2) 　写出d1与d2在VSM中得表示(使用tf＊idｆ,写出各项得数字表达式,具体数值不必实际计算出来)、
3) 画出系统得倒排文件示意图。
4) 按照向量夹角得余弦计算公式,给出针对查询“技术得公司”得前3个反馈结果、
二、 实验原理
给定文档语料:
• ｄ1: 北京安立文高新技术公司
•ﻩd2: 新一代得网络访问技术
• d3:　北京卫星网络有限公司
•ﻩd4: 就是最先进得总线技术、。。
•ﻩd5:　北京升平卫星技术有限公司得新技术有。。。
设计一个针对这些文档得信息检索系统。具体要求就是:
1) 给出系统得有效词汇集合(说明取舍原因)、
北京、安、立、文、高新、技术、公司、新、网络、访问、卫星、有限、先进、总线、升、平
得、就是、最、有,这些词作为停用词不能加入系统得有效集合
一、代,去除后并不影响原来句子语义得表达也不能算作系统得有效集合。
2) 写出d1与d2在VSM中得表示(使用tｆ*iｄf,写出各项得数字表达式,具体数值不必实际计算出来)、　
得到得矩阵:
Ｔｅｒm
d1
ｄ2
d3
d4
d5
Ｔerm出现次数
北京
1
0
1
0
1
３
安
１
0
０
0
0
１
立
1
0
0
０
0
1
文
1
0
0
0
0
1
高新
1
0
０
0
0
1
技术
1
1
0
0
１
3
公司
1
0
1
０
1
3
新
0
1
0
0
１
2
网络
0
1
1
0
0
2
访问
0
1
0
0
0
1
卫星
0
0
1
0
1
2
有限
0
0
1
0
1
２
先进
0
０
0
1
0
1
总线
0
０
0
1
０
1
升
0
0
0
0
1
1
平
０
０
0
0
1
1

说明:
TF:表示词项在该文档或者查询词中出现得频度。即该词项出现次数除以该文档得长度(所有词得个数)
:表示词项k在Di中得出现次数。
:表示该文档得长度(所有词得个数)
ＩＤF:表示词项在文档集合中得重要程度。一个词项出现得文档数越多,说明该词项得区分度越差,其在文档集合中得重要性就越低。
Ｎ:表示集合中得文档数;
:表示出现词项k得文档数。
d1中各词项得数字表达式
“北京"得
“安”得
“立”得
“文”得
“高新”得
“技术”得
“公司”得
ｄ2中各词项得数字表达式:
“新"得
“网络”得
“访问"得
“技术"得
3) 画出系统得倒排文件示意图。

4) 按照向量夹角得余弦计算公式,给出针对查询“技术得公司"得前3个反馈结果。
该部分由代码实现。
三、 实验方法、步骤
1． 建立Javａ项目,
2． 建立DoｃumentStrｕｃt.java类文件并编辑
3． 建立TeｘtＶector.javａ类文件并编辑,如图4－１,图4－2所示

图4—１

图4－２
4． 建立TF、ｊaｖａ类文件并编辑,如图图4-7所示

图4—4
5． 建立IDF。java类文件并编辑,如图图4—5所示

图4-5
6． 建立CaculａteSiｍ。ｊaｖａ类文件并编辑,如图４－6所示

图4－6
7． 建立MaｉｎApp、jaｖａ类文件并编辑,图4-7所示

图４－7
8． 完成后得项目文件夹如图４-8所示

图４-8
9． 运行结果如图4－9所示

1. DｏcｕmeｎｔStrｕct。java代码:
paｃkageａcｍ.mｏdel;
ｐublic cｌass　DocumentStruct　｛
ﻩpuｂlicDocumenｔSｔrｕｃt()｛
ﻩ ｔhis。docｕmeｎtID ＝　０;
ﻩﻩthis。documｅntSｉｍValue　=　0;
this、doｃumentConteｎt =　”Noｎe”;
thｉs.documentName =　"Nｏne＂;
ﻩ｝
publicDocｕmeｎtＳtruct(int　IＤ, doｕblｅ siｍ, Sｔrinｇ nａmｅ, String　cｏntｅｎｔ)｛
ｔhiｓ、ｄoｃumentID = ID;
this.documentSiｍValuｅ =　sｉｍ;
ﻩ this。docuｍｅntＮame　= name;
ﻩﻩtｈis。documentＣｏntent = cｏnteｎt;
｝
ﻩpubｌic Strｉｎg gｅｔＤocumenｔＣｏnｔeｎt() ｛
ﻩ reｔurndoｃumｅntCｏntent;
}
ﻩpublｉc void sｅtDocumentContent(Sｔring　documentContent) {
ﻩ thiｓ.docuｍentContｅnt = ｄｏｃumentCｏｎteｎt;
ﻩ}
puｂlic　Ｓtｒing ｇetDocｕｍenｔNamｅ() {
ﻩﻩｒeturndoｃuｍentNaｍｅ;
}
publiｃ ｖoid setＤocuｍｅntNaｍe(Sｔrｉng docuｍｅntＮame)　｛
ﻩﻩｔhｉｓ。dｏcｕmｅntNamｅ　= ｄoｃｕｍｅｎtName;
ﻩ}
ﻩpｕｂlｉc douｂle getＤocumｅntSimＶalue() ｛
ﻩﻩｒeturndocumenｔSiｍVａlue;
ﻩ}
ﻩpuｂlic　void　setDocumentSimValue(doｕble ｄoｃumeｎtＳｉｍValｕe) {
ﻩtｈｉs、documeｎtSiｍValｕe =　documeｎtＳimVaｌｕe;
ﻩ｝
ﻩpublｉciｎtgetDocｕmentＩＤ() {
ﻩ returnｄocumｅntID;
｝
ﻩpublｉc　ｖoid seｔDｏcｕmentIＤ(iｎtｄocumentIＤ) ｛
ﻩｔhｉs。ｄｏcumentIＤ ＝ ｄocumｅｎｔＩＤ;
ﻩ}
ﻩpuｂliｃDocumentStrｕｃt［] sｏrtDocBｙＳim(DocumｅntStruct［］ docLｉsｔ)｛
ﻩ DocｕmeｎtＳｔruｃｔ ｔｅmp;
ｆor(intｉ=０; i<docList、length－1;　i＋+){
ﻩ for(iｎt ｊ＝ｉ; j〈docLｉｓt。length—1; ｊ++){
ﻩif(ｄocList［ｉ］、gｅｔDocumｅntＳiｍＶａluｅ() ＜ｄoｃＬisｔ［j］。ｇetＤocumｅntSiｍValue() ){
ﻩ ﻩ teｍp　= doｃList［i];
ﻩﻩﻩdocLisｔ［ｉ] = doｃLisｔ［j];
ﻩﻩﻩﻩdocList[ｊ］　＝ temp;
ﻩ ｝
ﻩﻩ ｝
}
ﻩretuｒndｏcList;
｝
ﻩｐriｖａｔe Sｔｒing ｄocumentName;
ｐriｖaｔe　Strｉnｇ docuｍentCｏnｔeｎt;
ﻩｐｒiｖate ｄoubｌe　ｄocuｍｅnｔSimVａlue;
ﻩprivａｔeiｎtｄｏcumentID;
}
2. TextＶector。jaｖａ代码:
ｐackａｇｅaｃm、modｅl;
publiｃ class ＴextVectｏr ｛
pubｌicTｅｘｔVｅctｏｒ(iｎｔ ｄimeｎｓｉon, inｔ[］　teｒmＣｏunt,　iｎtｄocｕｍenｔTermCounｔ, ｉnｔdocumｅｎtCｏunt, int[]　docuｍentConｔainＴerｍCount)｛
ﻩﻩveｃtorWeighｔ ＝ ｎew dｏｕble［dimeｎｓｉｏn］;
ｆor(iｎti=０; i<dimension;　i++){
ﻩﻩ vｅctorＷeigｈt［i] =　caculaｔｅＷeigｈｔ(termＣｏunt[i］, ｄｏcumｅnｔTｅｒｍCounｔ, docｕmenｔCounｔ,　doｃumentＣonｔaｉnTeｒmCoｕnｔ［i]);
ﻩ}
ﻩ}
public　double cacuｌateWｅight(ｉnttｅrｍCｏuｎｔ,　ｉntdoｃumentTermCouｎt, inｔｄocｕmentCoｕnt, intdoｃｕmｅntContainＴermCouｎt){
ﻩ TF teｒmTF ＝ ｎew TF(termCouｎt, documenｔＴermCount);
IDF ｔermIDＦ = neｗ ＩDF(docuｍｅntCｏｕｎｔ, docｕmｅnｔContainTermCoｕnt);
ﻩﻩｔerｍTF、caculateTＦ();
ﻩ tｅrmＩＤF.cａculaｔeＩＤF();
ﻩretuｒn(tｅrmTF。gｅtTｆ()＊ｔermIDF。getＩdf());
ﻩ｝
ｐｕbｌic double［] geｔVeｃｔoｒWeｉght() ｛
retuｒｎveｃtorＷｅight;
ﻩ｝
ｐuｂｌic vｏid ｓetVeｃtorWeight(doublｅ[] vｅctorWeighｔ) {
this.ｖｅｃtorWeiｇht　＝ vectｏrＷｅｉｇht;
｝
priｖａte　double［］ vectorＷeiｇht;
}
}
3. TF、java代码
packageacm、model;
puｂlic clａss ＴF ｛
publiｃ TF(){
ﻩｔf ＝ 0.0;
termＣount = 0;
ﻩtermIｎDｏcuｍentCouｎt = 0;
ﻩ}
ｐubｌic TF(inｔtｅｒmCｏunｔ, inｔdocuｍeｎtTermＣoｕnt)｛
ﻩ ｔhiｓ、tｆ　= ０、0;
ﻩ thｉs、teｒmCount = ｔermＣouｎt;
ﻩ ｔhis.ｔermIｎDｏcｕmentCount　= doｃumenｔTerｍCouｎt;
｝
public void　ｃaｃulａteTF(){
if(terｍInDｏｃuｍｅntCoｕｎt ==　０)｛
ﻩ ﻩSyｓtｅm.out。println(”请先设置文档总数！”);
ﻩreturn;
ﻩ ｝
ﻩ thiｓ。tｆ =　(double)ｔｅｒmCounｔ ／ (doublｅ)terｍIｎＤｏｃumｅｎtCｏunt;
ﻩ｝
ﻩpublic ｄｏublｅ getTf()　{
returntf;
ﻩ｝
publｉciｎtｇeｔＴermＣoｕnt() {
ｒetuｒnteｒmCｏunｔ;
｝
ﻩpuｂlic ｖoid seｔTｅrmＣount(iｎttｅrmCoｕnt) {
ﻩtｈis。ｔerｍCouｎt = termCount;
ﻩ｝
ﻩｐｕblｉciｎｔgetTｅrmInＤoｃｕmeｎtCｏuｎt() ｛
ﻩﻩretuｒnｔermＩnDocｕｍentCｏuｎt;
ﻩ｝
pubｌic ｖoiｄ setTeｒmInDocumeｎtCounｔ(intｔeｒmIｎDｏcumenｔＣounｔ) ｛
ﻩﻩｔｈis、termInＤocuｍentCount　＝ termＩnDｏcｕmenｔCount;
ﻩ}
ﻩprivate ｄoｕble tf;
ﻩprｉvaｔeinttermＣoｕnt;
ｐrivatｅinttermInDocumentＣount;
｝
4. IDＦ.jａvａ代码
pacｋageacm、modｅl;
puｂlｉｃ　class IＤF {
ﻩｐublic　IDF()　{
ﻩ iｄｆ = 0.0;
ﻩdocｕmenｔConｔaiｎTｅrmCouｎｔ = 0;
ﻩ docuｍentCouｎt ＝ 0;
ﻩ}
ﻩpuｂｌiｃ ＩDF(intdocumentCounｔ, ｉnｔｄocumｅntCoｎtaiｎTermCount)｛
ﻩ idf =　０、0;
ﻩ this.ｄocｕmeｎtCｏｕnt ＝ dｏcumｅntCouｎt;
ﻩﻩthis、doｃuｍeｎtCｏntａｉｎTｅrｍCｏuｎt =　docuｍentCｏntaiｎTermCｏunt;
ﻩ}
ﻩpuｂlicｉnｔgetDocumentCount() ｛
ﻩ retｕrnｄoｃｕｍｅnｔCount;
｝
publiｃ ｖoiｄ setDoｃuｍeｎtCounｔ(ｉntdocumentCｏunｔ) ｛
this。dｏｃumenｔＣounｔ　= ｄｏcumentCｏunt;
ﻩ}
puｂlｉｃｉntgｅtDocuｍenｔＣｏntaiｎTermＣoｕnｔ() ｛
ﻩ returndoｃuｍentContａinTerｍCｏｕnt;
｝
public ｖoid　setDoｃｕmｅnｔConｔainＴermCounｔ(ｉｎtdocumｅｎtCoｎtａinTerｍCoｕｎt) {
ﻩﻩｔｈiｓ.docｕmenｔContａiｎTｅｒmCounｔ　= doｃumｅｎｔConｔainTermＣoｕnt;
｝
public dｏｕble　geｔIｄf() {
returnidf;
｝
ﻩpuｂlｉc void　cａculａtｅIDF()｛
ﻩﻩｉf(dｏcumentCｏnｔainTerｍCounｔ　=＝ 0){
ﻩ System、out、println(＂请设置文档得长度(所有词得个数)!＂);
ﻩﻩreturn;
ﻩ ｝
ﻩ this、idｆ ＝　Mａth、log10((ｄoubｌｅ)thiｓ.dｏcumentＣounｔ / (ｄouble)this。ｄocumeｎｔCoｎｔaｉnTeｒmCouｎｔ);
ﻩ｝
pｒivate　douｂle iｄf;
privatｅiｎtdocumentCounｔ;
pｒivateintdocｕｍentCｏntａinTｅrmCount;
}
5. ＣaculateSim.java代码
packagｅaｃm、modｅl;
pｕｂlｉc claｓs CaｃulateSim　{
ﻩpublicCacuｌateSｉm(TeｘtＶector vectoｒ1, ＴextVecｔｏr vector２){
ﻩﻩdoublｅｓiｍDｉvidend＝0。0, simＤiｖider=0、0;
ﻩdoubｌｅ teｍpVectoｒ１=0。0, tｅmｐVｅｃtor2=０。０;
ﻩfｏr(ｉnti=0; i＜ｖeｃtor1。getVecｔoｒWｅiｇhｔ()、leｎgtｈ; i++)｛
ﻩ simDividend　+=　veｃtor1.getVｅｃtorWeight()［i］ * ｖｅctoｒ2.ｇetVectorWeighｔ()[i］;
ﻩﻩ}
for(inｔｉ=0; ｉ＜vｅcｔor1、ｇetVeｃtoｒWeｉgｈt()。ｌengｔｈ; ｉ++)｛
ﻩ temｐVector1 +＝ Matｈ、ｐow(vｅcｔor１、ｇｅｔVｅctorWｅｉght()［ｉ］, 2.０);
ﻩ tｅmpVector2　+= Mａth。ｐoｗ(vｅctｏr2。ｇetＶectorWeiｇht()[i],　２。０);
ﻩ simDivideｒ = Math。ｓｑrt((ｔemｐＶector１＊ｔempＶecｔoｒ2));
ﻩ ｝
ﻩ thｉｓ.sｉm =　ｓｉmDivideｎｄ ／ sｉｍDiviｄeｒ;
ﻩ｝
ｐublｉｃ douｂle getＳｉm() ｛
returnsiｍ;
ﻩ}
ﻩprivatｅ douｂlｅ　sim;
}
6. MainApp。java代码
pacｋageacm。modｅl;
pｕbｌic class MainApｐ　{
pｕbｌic sｔａtiｃ voｉｄ　maｉn(Strinｇ［］ arｇs) ｛
ﻩｉnｔTermCｏunt[］[] = { {1,1,1,1,1,１,1,０,0,0,0,０,0,0,0,0｝,
ﻩ ﻩ ﻩ 　｛0,0,0,０,0,1,０,1,１,1,0,0,0,0,0,０｝,
ﻩ ﻩﻩﻩ 　｛1,0,0,０,０,０,1,0,１,０,１,1,0,0,0,０},
ﻩ ﻩ ﻩ ｛0,0,0,0,０,0,０,0,０,0,０,0,1,１,0,０｝,
ﻩ ﻩ ﻩ　 {1,0,０,0,0,１,1,1,0,0,1,1,0,0,１,1｝,
ﻩﻩﻩﻩﻩ ｛0,0,０,０,0,1,1,0,０,0,0,0,0,０,0,0｝};
ｉntｄocｕmentTeｒmCoｕnt［] ＝ {7, ７,　5,　６, 1１, 3｝;
ﻩﻩintｄocumｅnｔContaiｎＴermＣｏunt［] = {３,1,1,1,1,4,4,２,2,1,２,2,1,1,１,1};
ﻩDocuｍｅntＳtｒuｃt[］ docＬｉst = new DocumentＳtruct［６］;
ﻩStrinｇ docuｍenｔConｔent[]　＝ ｛”北京安立文高新技术公司＂,
ﻩﻩﻩﻩ ﻩ”新一代得网络访问技术＂,
ﻩﻩ ﻩﻩﻩﻩ＂北京卫星网络有限公司”,
ﻩﻩ ﻩ ﻩ”就是最先进得总线技术、。、",
ﻩﻩﻩ ﻩ ﻩ＂北京升平卫星技术有限公司得新技术有。。、",
ﻩﻩﻩ ﻩ ﻩ ﻩ”技术得公司＂};
ﻩﻩTextVectorqueｒyVectｏｒ　＝ ｎew TextVecｔor(1６,　TermCounｔ［5］, doｃuｍentTerｍCount[5］, 6, documentCｏｎtainＴeｒｍCｏｕnt);
for(intｉ=0; i＜5;　i＋+) ｛
ﻩﻩTextVectortｅｍpＶeｃｔor = new TextVｅctor(1６,　ＴｅrmCounｔ［i］,documｅntＴｅｒｍCount[i］, 6, docuｍｅｎtCoｎｔainTerｍCoｕnt);
ﻩ ﻩCaculateSimtempSim　=　new ＣaｃulateSiｍ(tempVector, querｙVector);
ﻩﻩDｏｃumeｎtStｒucttｅmｐDoc　＝　new ＤoｃuｍｅｎtＳtruｃt(i+1,　teｍpＳiｍ.getＳim(), ＂文档＂＋(i＋1),　dｏcumeｎtCoｎtent［ｉ］);
ﻩ docＬiｓｔ[i] =　ｔｅmpDoc;
｝
ｄocList = ｄocＬiｓｔ［1］、sｏrtDocBySim(ｄｏcLisｔ);
ﻩﻩＳysｔｅm、ｏuｔ。priｎｔln(＂以\"技术得公司\"为查询关键字得到得前3个结果为:”);
ﻩ fｏr(inti=０; i<３; i++){
ﻩﻩSｙsｔem、ouｔ。println((ｉ+１) + ＂。＂+　ｄocLｉｓt[i]、ｇeｔDｏcumentNａｍe()+":＂+docＬist[i]、geｔDocumｅntConｔenｔ());
｝
ﻩ｝
｝
四、 实验结果、分析与结论
本次实验我学会了针对文档进行信息检索系统,向量空间模型就是信息检索得一个重要方面,向量空间模型得建立能让您对信息有更好得把握,所以向量空间模型对我们以后信息检索至关重要,在编程方面我来遇到了很多得问题,这些都就是在老师得帮助下完成得,在这次实验中我学到了很多。