现代信息检索-河海大学.docVIP

本科生课程论文 Course Paper 论文编号 Paper No: 撰写日期 Date: 2013-10-23 现代信息检索 Modern information retrieval 河 海 大 学 现代信息检索 一、tf-idf向量模型 1．题目：试按tf-idf在剔除一些常用词后给出文本中术语的统计算法和程序，并按降序进行排序。 2．算法思想： 对于中文检索需要有中文词库，程序中用到20万的词库。数据结构用了最简单的数组。读取文献，采用每次读取1KB的内容进行分词。分词采用正向最大匹配算法，查找用二分法（词库中词已排序）。 3．程序代码： #include math.h #include time.h #include iostream using namespace std; #define N 9 //文献数目 int comminute (char *text,long lg,int number); //分词程序 int fileopen(char *f,int n); //独指定文件 char word[200000][22]={0}; //200000条词库 int frequency[200000][N]={0}; //N篇文章 int wordleng=0; //词库中实际词条数目 void main(int n,char *arg[]) { int i=0,j=0; int ni; int max[N]={0}; //存放文献使用频率最大词 char ch; char *file[N]={0}; //需要检索的文献 char *savefile; //结果存放文档 clock_t start0, finish0; //程序运行时间 double sftime0; start0 = clock(); savefile=idf文档.txt; file[0] = 抱愧山西.txt; file[1] = 一梦三四年.txt; file[2] = 漂泊的人生.txt; file[3] = linux下驱动编程.txt; FILE *cp = fopen(词库.txt,r); //词库位置 while(!feof(cp)) //读取词库 { ch=fgetc(cp); for(i=0;ch!=13i22ch!=10;i++) { word[wordleng][i]=ch; ch=fgetc(cp); } wordleng++; } fclose(cp); //关闭词库 for(int i=0;iN;i++) fileopen(file[i],i); //调用 FILE *p = fopen(savefile,w); //文本输出 fprintf(p, word ); //输出到文档结果 for(j=0;jN;j++) fprintf(p,\t文%d词频\t文%d加权,j+1,j+1); fprintf(p,\n); for(i=0;iwordleng;i++) //计算文献j中初始频率最大词 { for(j=0;jN;j++) if(frequency[i][j]max[j]) max[j] = frequency[i][j]; } for(i=0;iwordleng;i++) //开始输出 { ni=0; for(j=0;jN;j++) //计算包含词i的文件数目 { if(frequency[i][j]!=0) ni = ni+1; } if(ni!=0) { fprintf(p,%-12s,word[i]); //出现的词语内容 for(j=0;jN;j++) if(frequency[i][j]!=0) //(frequency[i][j]*1.0/max[j])*log(N*1.0/ni)为词语加权 fprintf(p,\t%d\t%5.4f,frequency[i][j],(frequency[i][j]*1.0/max[j])*log(N*1.0/ni)); else fprintf(p,\t0