第一章--计算机中文信息处理技术概述.ppt

单击此处编辑母版标题样式,单击此处编辑母版文本样式,第二级,第三级,第四级,第五级,*,第一章 中文信息处理概述,1,绪 言,1.1,什么是信息,控制论创始人维纳,(Norbert Wiener),认为，信息既不是物质也不是能量，是人类在适应外部世界时以及在感知外部世界而作出协调时与外部环境交换内容的总称。,信息论奠基者香农,Clause Shannon,认为，信息就是能够用来消除不确定性的东西，是一个事件发生概率的对数的负值。该论述第一次阐明了信息的功能和用途。,什么是信息（续）,Information may be defined as the characteristics of the output of a process,these being informative about the process and the input.,-Robert M.Losee,信息是过程输出的特征，这些特征就是输入和处理过程中产生的信息。换句话说，信息可以理解为由过程所生产的特征值或变量。该特征值或变量是代表了输入和过程的信息。,1.3 什么是中文信息处理,从广义来说，由我们祖先创立中文开始，就一直在进行；,从狭义来说，从第一部中文字典产生以来，就一直在进行中文信息的分析和综合处理,三、什么是中文信息处理,计算机中文信息处理：研究我国,语言文字,的信息处理问题的应用技术，是为了使汉语言文字适应信息社会的需要，在七十年代才发展起来的,多学科交叉,的综合性学科，它是一种以,计算机,为主要工具，以语言文字为处理对象的高新技术。,计算机本地化的主要途径,1.4中文信息处理的途径,计算机的中文化,通过改造计算机使它适合中文信息的处理,中文的计算机化,通过改造我国的文字，使它适合计算机的处理,1.5,中文信息处理和汉字信息处理,中文包括我国各民族使用的各种文字。,汉字在中文中处于主导地位。,中文信息处理包括汉字信息处理。,1.7 中文信息处理的发展,50年代，103、104计算机的俄汉翻译,60年代，汉字电报译码机,70年代，我国才系统地研究中文信息处理,80年代，中文信息处理的基础研究蓬勃发展,90年代，中文信息处理得到广泛应用,21世纪，中文信息处理存在挑战和机遇,1.9 中文信息处理的内容,中文信息处理系统,中文应用软件,自然语言理解,机器翻译,自动文摘,文本分类,信息检索、抽取和过滤,基础研究,自然输入,字库,输入法,内码,Internet,的本地化,中文嵌入系统,电子照排,1.11 电子消费设备的中文化,中文嵌入式操作系统,字形、字库,字库压缩,汉字输入,2 汉字的属性及其特点,字汇,字形,字频,字音,字义,词汇,2.1字汇,所谓字汇就是指汉字的集合，字汇量与计算机对文字处理的方式有很大关系,甲骨文,3000,余个,东汉许慎,说文解字,9353,个,清代张玉书,康熙字典,49030,个,2.1字汇（续）,1952,年，教育部公布了,常用字表,，其中收录了汉字,2000,个（包括,500,个补充用字）；,1955,年，中国文字改革委员会公布了,通用字表（初稿）,，收录汉字,5709,个；,1965,年修订后的,印刷通用汉字字形表,，收录汉字,6196,个；,1988,年公布的,现代汉语通用字表,收录汉字,7000,个；,对,300,万字语料的检测结果：,2500,个常用字的覆盖率为,97.97%,，,1000,个常用字的覆盖率为,1.51%,，,3500,字合计覆盖率达到,99.48%,。,2.1字汇（续）,随着汉字文化和历史的演变，有些字出现了很多异体字，很多字成为“死字”而不再使用,2.1字汇（续）,龖龘鼄,2.2字形（续）,单字,单字分成多种结构类型，大体上可以分为独体型、上下结构型、左右结构型和内外结合型四种,如果对单字结构进行更精细的划分，可以分为如下十二种：,2.2字形（续）,左右“朋”左中右“彻”,上下“吕”上中下“意”,全包围“国”右开口“区”,上开口“函”下开口“向”,左下开口“句”右上开口“达”,右下开口“库”重叠“巫”,2.2字形（续）,笔画（笔形）,齉爨,龘,36,画,30,画,48,画,每一次从落笔到提笔，便构成一个笔画,一个笔画所形成的轨迹就是笔形,2.2字形（续）,汉字常用的笔形有五种,横、竖、撇、捺、折,各种笔形在汉字中使用的频度为：,横,28%,竖,18%,撇,15%,捺,13%,折,17%,其他,19%,札,2.2字形（续）,汉字笔画数,最少的仅,1,画,多的可达,30,余画,少数可达,60,画以上,平均每字约,11,画,2.3字频（续）,政治,文化,新闻,科技,综合,编号,字,频度,字,频度,字,频度,字,频度,字,频度,1,的,0.0536,的,0.0324,的,0.0375,的,0.0320,的,0.0384,2,是,0.0165,一,0.0218,一,0.0132,一,0.0097,一,0.0125,3,一,0.0136,了,0.0196,了,0.0120,在,0.0092,是,0.0098,4,在,0.0115,不,0.0165,和,0.0086,用,0.0079,在,0.0095,5,这,0.0109,是,0.0141,在,0.0086,有,0.0073,了,0.0082,6,主,0.0108,说,0.0130,人,0.0083,是,0.0070,不,0.0081,7,不,0.0101,他,0.0130,大,0.0083,不,0.0069,和,0.0075,8,和,0.0098,这,0.0119,主,0.0083,中,0.0066,有,0.0069,2.3字频（续）,字频有明显的局部性,字频统计的结果与字频统计时使用的文本的性质有关,字频也有一定的时间性,在不同的历史时期同一历史时期的不同阶段，某些特定字的使用频度可能会出现较大的波动,例如：镕,2.4字音,汉字是单音节文字,早期汉字读音标记法：直音、反切和注音字符。,直音法是用一个汉字给另一个汉字注音，例如。“厶，音司”。,反切法是用两个汉字给另外一个汉字注音，如“鲁，郎古切”，“浪”是反切上上字，与被注音字“鲁”的声母相同，“古”是反切下字，与被注音字“鲁”的韵母和声调相同。,注音字符包括了注音符号和拼音符号。注音符号创建于五四运动前后，它对汉字注音和推广国语起到很好的作用。目前台湾地区还在继续使用。汉字注音法也有多种，包括：威妥玛式方案、国语罗马字拼音法、北方话拉丁化新文字和,汉语拼音方案,等。,2.4字音（续）,汉语拼音方案是20世纪50年代制定出来的一个汉字标音系统。它用26个西文字母作为拼音字母，用21个声母、35个韵母、4声调以及1个隔音符来记录汉语和标注汉字。,2.4字音（续）,绝大多数的汉字音节由一个辅音音素和一个（或多个）元音音素构成,现代汉语有,417,个基本音节,加上阴平、阳平、上声、去声、轻声五个声调，共有约,1330,个音节,2.4字音（续）,六万多个汉字一共,1330,种读音，所以，汉语中同音字是很多的,就,GB2312,收录的,6763,个汉字而言,没有同音字的读音有,25,个,如：佛给能您耨暖日森僧贼抓,同音字最多的读音是,yi4,（,55,个）,由于一般的人掌握一千多个常用汉字是没有困难的，所以，出现了用常用字注音的方法，非常实用。例如：,赟同晕或赟同云（阴平）,2.4字音（续）,在汉语中除了一音多字现象以外，还有一字多音的现象,就,GB2312,收录的,6763,个汉字而言,其中多音字有,866,个，占,12.8%,2.5字义,字义是汉字属性中最复杂的属性，对字义很难做客观的量化,汉字原来是一种望文生义的文字，汉字的形与义之间有着千丝万缕的联系,2.5字义（续）,现在一个汉字并不只是一个字义，据统计，一个汉字平均约有四个字义。所以，现代汉语中汉字的表义能力明显下降，尤其是简化汉字,車,-,车,汉字的字义往往和上下文环境密切相关，由此上升为语义,跑（跑步）（逃跑）,汉字的字义还会影响汉字的读音,翟（,zhai2,）（,di2,）,2.6词汇,词汇是语言中所有的词和短语的总和。词是由语素构成，是句子中最小的能够独立运用的语言单位。,单音节语素在书面上用单个的汉字书写。,古汉语中由一个单音节语素构成的词占绝对优势，所以书面上基本一个汉字也就是一个词（只有极少数连绵词例外）。这就形成了汉字连篇书写的传统。,20,世纪,20,年代开始，文章开始分段，并使用新式标点符号，不再连篇书写，基本上为按句连写。,2.6 词汇（续）,汉语中的词有词根和词缀,词根是指意义实在、在合成内的位置不固定的粘着语素和自由语素；,自由语素则是指能够独立成词的语素，例如：“水、木、金、心、火”等。自由语素能够单独成词，也可以与其他语素组合成词,粘着语素是指不能单独构成词的语素，例如：“民、伟、丰、型”等。粘着语素必须跟别的语素组成词。,词缀是指意义不实在、在合成词内位置固定在前或后的粘着语素。,例如，“筷子”中的“筷”是词根语素，“子”是词缀语素。,2.6 词汇（续）,汉语中由一个语素构成的词叫做单纯词，由两个或两个以上语素构成的词称为合成词。,单纯词,包含一个语素构成的词（例如，“人、走、红、天”等）,双音节连绵词（例如，“鸳鸯、垃圾、葡萄、琳琅、吩咐”等）,音译词（例如，“沙发、咖啡、巧克力、巴黎、逻辑”等）,译自少数民族的地名（例如，“哈尔滨、呼和浩特、吐鲁番”等）。,2.6 词汇（续）,合成词包括三类：重叠、附加和复合,重叠式,的词是由两个相同的词根相叠构成的词，例如：哥哥、姐姐、刚刚、星星、整整齐齐等；,附加式,的词是由词根和词缀构成。词缀在词根之前称为前缀，在词根之后则称后缀，,，前加式（前缀,+,词根）：老虎、老乡，阿姨、阿毛，微处理器、微笑,后加式（词根,+,后缀）：刀子、饼子、胖子、桌子，石头、木头、苦头，作者、读者、科技工作者、唯物主义者，芦花、规范化、现代化,复合式,词是由两个或两个以上词根成分组成的附加式合成词。汉语复合词的内部结构基本上是和句法结构一致的，有主谓、述宾、补充、偏正、联合等，例如，年轻、民主、自动，司机、站岗、美容，提供、推广、改进，气功、腾飞、火红，体制、开关、质量，等等。,2.7 语境,语境是语言单位出现时的环境。一般分为上下文语境和情景语境。,词、短语、句子等在文本中出现时，它前面或后面出现的其他语言单位都是该单位的上下文语境。,“上下文”是一个宽泛的概念，在一段话或一篇文章中凡出现在某语言单位之前的词、短语、句子等都是该语言单位的上文，出现在其后的都是其下文。,2.8计算机中文信息处理的特点,解决汉字信息在计算内部的表示问题。有了机器内部表示方法，才能使汉字信息在计算机内进行相应的处理。,由于汉字自身的特点，不可能一次把现有的汉字和将来出现的汉字全部收录在机器内部（实际上也不可能），因此选用多少汉字、选录汉字的原则等就成为中文信息处理面临的新问题。,由于西文是一种拼音文字，只有少量的字符，因此用户通常可以通过键盘直接把西文信息输入到计算机内部。而汉字由于其字符数远远超过西文，因此不可能直接用键盘进行输入。为此，人们必须要找到一种中间转换方法才能把汉字字符信息输入到计算机内。,2.8,计算机中文信息处理的特点（续）,西文信息由于其字符数量很少，因此在计算机内部的存储就占用很少的空间，而汉字由于其字符数量大，存储汉字信息要占用计算机内的大量资源。,西文字符的,ASCII,码已经成为计算机及其外部设备使用的标准，因此在西文信息的存储、交换上不存在信息的转换。而中文信息客观上在计算机内部不能用单字节表示，因此信息交换，特别是在中西文信息的兼容上面要作必要的转换。,中文信息的多字节表示特性，为计算机处理中文信息带来了额外的负担。,在信息输出方面，西文信息通常是横向排列，由左向右进行输出；而中文信息除了可以按照西文信息一样横向排列输出外，还可以纵向排列输出。,2.9汉字的认同,在中国（包括台湾和香港地区）、日本、韩国和越南（简称CJKV），在文字信息处理中，都会遇到大量的汉字。为了实现统一的表示。国际标准组织和Unicode集团提出了进行汉字认同的基本概念。即汉字的XYZ模型（XYZ mode for Ideograph），其中，X表示字义，Y表示字形（抽象字形），Z表示字型（具体造型）,2.9汉字的认同,