数学基础公开课一等奖优质课大赛微课获奖课件.pptx

第二章 数学基础第1页第1页第二章 数学基础第2页第2页数学是大自然语言，数学是科学语言 语言是大自然产物，语言学是科学一个分支第3页第3页两种办法区别第4页第4页缺乏数学基础办法打补丁经验办法adhoc办法第5页第5页概率论第6页第6页为何将概率论作为数学基础重点？统计语言处理技术已经成为主流统计语言处理环节搜集自然语言词汇(或者其它语言单位)分布情况依据这些分布情况进行统计推导最典型例子：结构统计语言模型概率理论能够帮助我们找到这样模型第7页第7页概率论基础概念条件概率联合概率独立贝叶斯定理(Bayes Theorem)随机变量数学盼望方差结构语言模型P(T)为估算P，我们必须看看 在大规模真实文本中词 分布情况第8页第8页概念概率论是研究随机现象数学分支所谓随机现象是指这样一类现象，当人们观测它时，所得到观测结果不是拟定，而是许许多多也许结果中一个概率（Probability）则是衡量该事件发生也许性量度概率函数第9页第9页概率函数样本空间 是一个随机试验所有也许结果集合事件 A 是子集概率函数(或者概率分布)例第10页第10页概率函数(或者概率分布)第11页第11页例例1 当代汉语字频统计。由北京航空学院和国家语言文字工作委员会于1985年完毕。从1977年至1982年间社会科学和自然科学规模为一千一百零八万余字语料中 利用计算机进行统计得到中文字频，前20个最高频中文列出如表所表示。第12页第12页字频启示第13页第13页字频启示频率较高字-没有实在意义虚字，在实际应用中，比如信息检索，我们要过滤这样无意义高频虚词，称为 Stopword字频（词频）对于词典编撰工作有指导意义词频甚至反应了国家政策改变中文信息量大信息时代对于中文重新结识第14页第14页中文信息量大中国科学家冯志伟计算12366个中文信息熵为9.65比特，英语为4.16比特中文信息量最大，世界冠军表示一个中文需要2个字节在信息编码、存储和传播等方面中文处于不利地位第15页第15页信息时代对于中文重新结识中文信息处理发展早期中文低劣论中文是中国文化毒癌中文不灭,中国必亡汉语拉丁化研究汉语早已克服了中文输入输出障碍随着网络时代发展,网络上中文信息量已经居于第二位置中文优越论安子介中文是中国第五大发明我敢断言，到了21世纪，中文必然成为世界语我们结识中文是世界上硕果仅存象形文字(古埃及圣书字,两河流域楔形文字),对汉文化传承和发展做出了巨大奉献.既有固有缺点,也有优越性,将是一种长期客观存在,随着中国国力增强,中文影响力逐渐扩大,作为有志于从事中文语言研究同窗们来说 应当积极吸取西文计算语言学研究优秀成果,丰富和完善汉语计算语言学研究,前程光明第16页第16页条件概率对于随机试验结果有部分知识(或者约束条件)条件概率(Conditional probability)第17页第17页条件概率(Conditional probability)在我们已知B为真条件下A 为真概率能够表示为P(A|B)例P(大学)=0.0003P(大学|哈尔滨/工业)=？先验概率(prior probability)后验概率(posterior probability)第18页第18页联合概率P(A,B)=P(A)P(B|A)=P(B)P(A|B)P(A,B,C,D)=P(A)P(B|A)P(C|A,B)P(D|A,B,C.)例P(哈尔滨/工业/大学)=P(哈尔滨)P(工业|哈尔滨)P(大学|哈尔滨/工业)第19页第19页独立两个事件 A 与 B 互相独立假如 P(A)=P(A|B)P(A,B)=P(A)*P(B)例“非”和“典”两个事件 A 与 B 是在条件C下互相条件独立假如:P(A|C)=P(A|B,C)第20页第20页贝叶斯定理(Bayes Theorem)由于因此BayesTheorem使我们能够互换事件之间条件依赖顺序 举例：音字转换第21页第21页随机变量随机变量（Random variables）(RV)使我们能够讨论与样本空间相关数值概率值离散型随机变量连续型随机变量第22页第22页数学盼望随机变量均值第23页第23页方差随机变量取值是否比较一致或者有很大差别一个量度例发觉新词 是原则差（standard deviation），简称SD第24页第24页结构语言模型P(T)为估算P，我们必须看看 在大规模真实文本中词 分布情况基于频度统计贝叶斯统计第25页第25页基于频度统计基本思想两种办法比较最大相关度来选择模型第26页第26页基本思想相关频度(频率):事件 u 发生次数与所有事件总次数比率C(u)在N次试验中u 发生次数当n-infinitive great 相关频度逐步稳定在某一个值上：即该事件概率预计第27页第27页两种办法有参数办法(Parametric)(与分布相关)无参数办法(Non-parametric)(与分布无关)第28页第28页有参数办法(Parametric)(与分布相关)假设某种语言现象服从我们业已熟知某种分布，如二元分布，正态分布，泊松分布等等我们已有明确概率模型，现在需要拟定该概率分布一些参数惯用分布第29页第29页惯用分布二元分布(Binomial distribution)泊松分布(Poisson distribution)正态分布(高斯分布Gaussian distribution)(Normal distribution)第30页第30页二元分布(Binomial distribution)离散型随机试验结果只有两个输出 各次随机试验互相独立n 次随机试验,成功次数为 r,每次试验成功概率为 p:例在英语语料库中，包括单词“the”语句占语料库中语句总数百分比近似地服从二项分布某英语动词在英语语料库中作为及物动词出现也近似地服从二项分布第31页第31页泊松分布(Poisson distribution)离散型一个参数lamda 在某一固定大小范围(或者时间段)内，某种特定类型事件分布例在某一固定大小范围(或者时间段)内,某种特定类型事件分布,比如:在一个篇幅内出现打字错误,在一页内某个词分布等等第32页第32页正态分布(高斯分布Gaussian distribution)(Normal distribution)连续型均值 与原则差 例中文笔画数与该笔画相应中文个数符合正态分布第33页第33页无参数办法(Non-parametric)(与分布无关)对数据分布没有预先分布假设仅仅通过最大相同度预计来估算P先验知识比较少,但需要大规模训练数据第34页第34页比较最大相关度来选择模型第35页第35页贝叶斯统计贝叶斯统计实质是可信度数量化 可信度是这样计算出来有先验知识依据数据应用贝叶斯定理更新知识先验概率分布P(M)当新数据到来后,依据贝叶斯公式计算P(M|D).P(M|D)成为新概率模型贝叶斯决议假设我们有两个模型M1和M2 我们需要决定哪一个愈加好(愈加符合实际数据)第36页第36页信息论第37页第37页集合论第38页第38页函数与关系第39页第39页微积分第40页第40页粗糙集第41页第41页.第42页第42页