语料的采集与整理.ppt

语料的采集与整理语料的采集与整理中国外语教育研究中心 梁茂成1.主要内容主要内容什么是语料库？科学取样平衡问题几个常见问题语料的整理2.什么是语料库什么是语料库corpus(pl.corpora)指经过科学取样和加工的电子文本库。借助计算机分析工具，研究者可开展相关的语言理论及应用研究。3.什么是语料库什么是语料库语料库是数据数据不等于事实事实是偶发的数据是收集而来的对数据而言，量很重要数据是用来代表整体的分析数据所得到的结论可以推及整体4.科学取样科学取样随机取样Random sampling5.科学取样科学取样系统抽样Systematic sampling6.科学取样科学取样分层抽样PopulationSampleProportional allocation Even allocation 18-2930-4950-6465+SampleStratified sampling7.平衡问题平衡问题语料库中各类文本的所占比例与语言的实际使用情况基本相当。8.平衡问题平衡问题9.几个常见问题几个常见问题建设学习者语料库时，学习者所犯的语言错误是否需要纠正？建设学习者语料库时，男女比例失调怎么办？建设新闻语料库时，人民日报等报纸有现成的电子文本，很方便收集。可否直接全部收录？10.几个常见问题几个常见问题建设“迷惘的一代”作家语料库，这个有意义吗？这样的语料库有什么用途？语料库的容量如何测量？应该有多大？网络语料库建设中应该注意什么？11.语料的整理语料的整理整理的目的我们喜欢我们喜欢 .12.语料的整理语料的整理语料整理的几个主要方面：段落相关（回车符等）问题；空格相关问题；字符相关问题。13.谢谢谢谢14.