通信系统的基本模型.ppt

信息论基础,*,第一章 引论,*,第一章 引论,1.1,通信系统的基本模型,信,息,论,基,础,xiesongfa,Fundamentals of Information Theory,信,息,论,基,础,谢 松 法,华中科技大学数学系,一、教学及考核方式,作业：,上机实验：,12,学时,课堂教学：,40,学时,考试方式：闭卷,考试成绩：实验成绩占,20%,，考试成绩占,80%,二、,教材与参考书,贾世楼，,信息论理论基础,，,哈尔滨工业大学出版社。,傅祖芸，,信息论,基础理论与应用,，,电子工业出版社。,三、,教学内容,本课程主要讲解,香农信息论,的基本概念、基本理论和,以及,编码,的理论和实现原理。,(1),介绍,信息,的统计度量,(,熵,),，,信道,的,熵速率,和,信道容量,；,(2),介绍,无失真信源编码,及常用的信源编码方法；,(3),介绍,信道编码,理论及常用的信道编码方法；,(4),简单介绍,限失真信源编码,的一些知识。,基本方法，,第一、二、四、六章：,第一章 引论,1.2,信息论的研究范畴,1.1,通信系统的基本模型,信息论是在长期的,通信,实践活动中，由,通信,技术与,美国数学家香农于,1948,年发表的论文“,通信,的数学,概率论、随机过程、数理统计等学科相结合发展起来的,一门新兴交叉学科。,理论”奠定了信息论的基础。,第一章 引论,(,香农,),1.1通信系统的基本模型,一、基本流程,二、基本概念,三、基本要求,四、信源与信道分类,一、基本流程,一般而言，,首先信息被产生，,然后通过某种方式传递，,最后收到信息或者获得信息。,(,信源,),(,信道,),(,信宿,),信源,信道,信宿,最基本的通信系统模型,边防士兵点燃烽火，,传递出某种消息或者信息(如,报警,等,),；,人们看到烽火，,获得某种消息或者信息。,一、基本流程,比如,古代烽火台,最早的信息通信系统,烽火不一定总是,报警,，,它也报,平安,。,一、基本流程,逼近洛阳、潼关一带。,诬陷抵抗不力被杀；接着哥舒翰坚守潼关，从而出现,相持局面。,被迫出战，在灵宝大败，人们看不到平安火。几天之,后，皇帝逃往四川。,高仙芝、封常清固守潼关，遭,这一段时间每天都点,平安火,。,后来哥舒翰,当年安史之乱，安禄山从范阳起兵，仅用,23,天便,一、基本流程,同样是报,平安,(,消息,),，但,平时与战时报平安所传递的,信息,不可同日而语。,现代通信系统传递消息或者信息的手段已不断改进，,整个系统已经相当发达和完善。,可见，,消息,信息,。,一、基本流程,噪声,信道,信宿,解调,译码,换能器,数,/,模转换,换能器,信源,编码,调制,模,/,数转换,变换,反变换,产生消息,(,携带信息,),模拟信号,数字信号,可以传输的信号,加强有效性和可靠性,(,现代通信系统,),P4,图,1.2,二基本概念,1.,信源与信宿,消息可以是语言、文字、图象、,符号、函数等等,。,信源,信源,是产生消息,(,或消息序列,),的源,(,人或者机器,),；,信源,是发信者，输出消息，携带信息,。,信宿,信宿,是,收信者，收到消息，获得信息,。,2.,换能器,换能器,进行能量变换，如声电变换、光电变换等等，,得到电信号。,P1,P2,二、基本概念,3.,模,/,数,转换,与,数,/,模,转换,模拟信号,即连续,(,时间,),信号。,取值任意，时间连续,(,一维,),；,取值任意，空间连续,(,二维,),。,离散信号,即离散,(,时间,),信号。,取值任意，时间离散,(,一维,),；,取值任意，空间离散,(,二维,),。,模拟信号,采样信号,P2,二、基本概念,3.,模,/,数,转换,与,数,/,模,转换,数字信号,取值,离散,，时间,离散,(,一维,),；,取值,离散,，空间,离散,(,二维,),。,比如,电平：,图像：,像素点，,256,级灰度。,(,图像举例,),编码,二、基本概念,4.,编码与译码,译码,将,信源产生的消息或者,信源码,变换为一个数字序列。,提高有效性,(,信源编码,),；,编码的目的主要有,加强保密性,(,加密编码,),。,通常为二进制数字序列。,增加可靠性,(,信道编码,),；,将,数字序列还原成消息或者,信源码,。,P3,以提高传输效率。,信源编码,通过消除冗余、控制码长等手段对信源进行编码，,二、基本概念,4.,编码与译码,信源编码又称为,有效性编码,。,消除冗余,消除或者减少消息中符号之间关联性。,(FT,，,BT,，,PS,，,BTW,，,),比如,拍发电报、发送短信、,BBS,、聊天室等,:,以提高传输效率。,信源编码,通过消除冗余、控制码长等手段对信源进行编码，,二、基本概念,4.,编码与译码,信源编码又称为,有效性编码,。,控制码长,经常发生的消息用短码。,如果受到干扰，发出,“,0,”,，收到“,1,”,，怎么办？,晴,阴,雪,雨,0,1,3,2,0,0,0,1,1,1,1,0,0,1,1,1,1,0,或者,纠错编码,。,在传递的过程中具有一定的抗干扰能力，,信道编码,通过增加冗余等手段对信源码进行编码,，,二、基本概念,4.,编码与译码,信道编码又称为,可靠性编码,增加冗余,增加消息中符号或者信源码之间关联性。,使消息,信息传送的可靠性。,以提高,比如,身份证号码中的校验码，,计算机中的奇偶校验码，,条型码，,加密编码一般由密钥控制，不同的密钥产生,不同,密文经信道编码后通过信道传到接收端，,的加密编码。,以提高传输,和处理过程中的安全保密性。,加密编码,加密编码是将明文码变换为密文码，,二、基本概念,4.,编码与译码,密钥通过安全信道传到接收端。,二、基本概念,5.,调制与解调,将基带信号通过频谱搬移技术调制到高频信号。,调制,将信道传过来的高频已调信号转成基带信号；,解调,便于传输信号,(,快速传输,),；,调制的主要目的,利于区分,信号,(,不同波段,),。,P3,二、基本概念,5.,调制与解调,频谱搬移技术又称为载波技术。,频谱搬移,信号,频谱,二、基本概念,5.,调制与解调,频谱搬移技术又称为载波技术。,频谱搬移,调制信号,对应频谱,调制信号,对应频谱,二、基本概念,6.,信道与噪声,信道,一般将噪声和干扰都归入信道中考虑。,用来传递消息、信号及信息，沟通信源与信宿。,包含外部噪声干扰及内部噪声干扰。,噪声,噪声及干扰可发生于信道中，,也可发生于变换与反变换中。,在信息论的模型里，为了研究方便，,三、基本要求,可靠性,尽可能准确地、不失真或限失真地传输消息。,有效性,用尽可能短的时间和尽可能少的设备传输消息。,可靠性,与,有效性,也称为,通信系统的主要性能指标。,换句话说，在一定的条件下，以任意小的差错,(,可靠性,),实现最大的传输效率,(,有效性,),。,此外，,安全性,也是,通信系统的一个非常重要的性能指标。,P4,四、信源与信道分类,连续信源,所发出的消息在时间上或幅度上是连续分布的。,1.,信源分类,离散信源,所发出的消息在时间上和幅度上是离散分布的；,此时的消息常常表现为离散的符号形式。,离散无记忆信源,所发出的各个符号之间是相互独立的。,离散有记忆信源,所发出的各个符号之间是相互依赖的。,例如,在中文消息中的前后文字之间是相互依赖的。,马尔可夫信源,称这种有记忆的信源,当前所发出的符号只与前面的,m,个符号有关，,而与更前面的符号无关，,为,m,阶,马尔可夫信源,。,最简单的马尔可夫信源是一阶马尔可夫信源。,四、信源与信道分类,1.,信源分类,四、信源与信道分类,2.,信道分类,(1),根据信道的传输形式：,(4),根据信道是否存在干扰：,(2),根据信道的,传输媒质：,(3),根据信道的传输,特性：,离散信道,(,又称为数字信道,),；,连续信道,(,又称为模拟信道,),。,有线信道,(,光纤、同轴电缆、双绞线等,),；,无线信道,(,微波、红外等,),。,恒参信道；变参信道。,无扰信道；有扰信道。,P3,轻松一下吧,信息,科学及,数字通信,时代的奠基人,。,人物介绍,香农,附：,美国数学家、信息通信学家,(1916,2001),Claude Elwood Shannon,克劳德,香农,.,他是使我们的世界能够进行即时通信的少数,科学家,和,思想家之一。,一,简介,、,1916.4.30,生于,美国,密西根州的,Petoskey,。,1936,年,在密西根大学获得数学与电气工程学士学位。,1938,年,在麻省理工学院,(,MIT,),获得电气工程硕士学位。,人物介绍,香农,附：,硕士论文,继电器与开关,电路,的符号分析,采用,布尔代数分析并优化开关电路，奠定了数字电路,的理论基础。,哈佛大学,的,Howard Gardner,教授说：“,这可能,是本世纪最重要、最著名的一篇硕士论文。,”,二,生平,、,1940,年,在,MIT,获得数学博士学位。,博士论文,理论遗传学的代数学,。,人物介绍,香农,附：,1956,年,到,MIT,做访问教授，,1958,年成为正式教授。,1978,年,退休。,2001.2.24,在,马萨诸塞州的,Medford,辞世，享年,85,岁。,并在贝尔实验室工作到,1972,年，整整,31,年。,1941,年,以数学研究员的身份进入新泽西州的贝尔电话公司,二,生平,、,美国科学院院士、美国工程院院士。,1949年,Morris,奖。,1955,年,Ballantine,奖。,1962,年,Kelly,奖。,1966,年,国家科学奖章、,IEEE,的荣誉奖章。,1978,年,Jaquard,奖。,1983,年,Fritz,奖。,1985,年,基础科学京都奖。,人物介绍,香农,附：,美国哲学学会会员、,英国皇家学会,会员。,三,荣誉,、,这两篇文章成了现在信息论的奠基著作，,而刚刚三十出头的香农成了这门新兴学科的奠基人。,四,贡献,、,人物介绍,香农,附：,1948,年,在 贝尔系统技术杂志 上发表,“,通信,的数学理论,”。,1949,年,在 贝尔系统技术杂志 上发表,“,噪声下的,通信,”。,阐明了,通信,的基本问题；,提出了,通信,系统的模型；,给出了,信息量的数学表达式；,解决了,信源的统计特性、信道,编码等有关精确地传送,容量、信源编码、信道,通信,符号的技术问题。,“通信的基本问题就是,所选择的消息,”。,在一点重新准确地或,近似地再现另一点所,(,返回,),四,贡献,、,人物介绍,香农,附：,附：,图像举例,30 33 37 40 48 58 53 52 65 64 71 69 62 68 76 67 74 86 88 70 58 48 37 33,36 35 40 45 49 60 70 74 68 63 66 69 59 58 60 57 50 59 67 70 70 65 58 51,51 45 43 42 46 56 65 70 66 54 49 46 43 47 44 42 40 38 41 52 57 57 61 56,77 70 59 49 44 45 52 50 45 41 40 37 40 40 42 45 42 39 35 37 38 39 39 45,87 75 63 53 44 38 35 36 35 37 38 40 44 44 44 51 54 51 44 37 35 32 34 33,80 54 49 42 37 37 35 37 40 40 44 50 54 58 61 62 55 59 54 44 37 32 29 27,68 46 39 36 36 34 34 38 44 53 58 61 62 56 62 61 62 60 54 49 49 42 35 30,59 47 43 38 38 40 46 52 64 74 73 68 72 63 63 57 60 58 54 50 49 44 43 39,55 50 45 43 43 45 56 69 80 86 80 77 74 71 62 65 65 57 53 50 46 41 38 36,47 49 50 54 59 64 67 64 55 48 46 48 46 49 49 51 51 51 48 43 39 36 34 33,48 52 61 63 59 45 34 29 25 27 31 29 26 24 25 28 31 35 36 39 34 34 31 28,54 61 60 51 33 28 24 22 19 23 23 24 26 27 23 22 24 25 25 29 33 31 28 27,54 59 48 34 27 20 18 28 29 24 32 24 14 27 16 17 17 16 16 19 22 27 27 27,61 61 46 26 23 28 42 90 57 35 37 14 25 64 28 25 24 16 15 10 10 9 17 22,70 59 46 33 36 50 70 124 89 42 50 34 35 46 36 47 51 30 20 14 18 21 24 32,95 83 50 44 55 77 97 154 146 59 46 46 49 44 45 72 67 51 40 34 24 23 26 36,95 77 60 61 65 71 86 127 151 115 71 48 42 52 75 79 60 47 39 36 29 27 30 33,94 96 109 96 75 63 57 59 75 82 91 92 64 57 49 45 42 37 31 30 34 38 39 45,89 87 97 92 81 68 65 44 44 38 34 34 40 41 43 50 48 42 39 38 42 46 52 56,98 91 85 88 85 70 65 66 60 58 47 55 53 54 56 51 48 47 46 50 52 55 60 63,99 96 89 94 96 81 71 60 58 54 50 62 60 57 59 59 56 52 52 55 60 67 72 70,94 89 89 92 100 104 100 91 71 60 60 58 54 54 56 58 61 61 56 63 68 73 76 80,90 94 99 102 102 103 110 109 108 98 82 70 64 59 59 57 64 62 67 75 81 86 80 78,96 99 105 106 106 106 99 108 115 116 109 108 100 89 88 86 85 89 88 83 84 86 83 75,83 91 96 103 116 109 105 103 107 112 121 116 109 103 99 100 96 91 89 85 84 87 81 73,附：,图像举例,37 42 52 60 72 93 86 80 98 100 108 108 95 95 110 103 103 113 118 103 86 72 52 42,47 49 57 66 74 93 105 108 103 95 103 108 91 86 88 86 74 80 93 108 105 93 86 76,80 72 64 60 70 80 98 103 100 78 68 62 60 64 60 55 54 47 52 70 84 86 88 80,126 110 91 76 66 66 80 72 64 54 54 47 50 52 49 55 57 50 43 44 49 52 52 60,137 113 98 78 62 49 43 43 44 44 49 52 57 59 59 70 68 72 59 47 40 38 39 38,126 86 70 60 50 47 42 46 55 54 64 74 78 84 88 91 74 82 74 60 47 37 31 25,110 72 57 47 46 43 42 50 62 80 84 88 86 78 93 84 84 86 76 68 66 54 43 31,98 72 62 54 50 55 68 72 86 105 100 91 95 84 93 80 88 84 76 76 70 60 54 49,84 72 66 60 62 64 80 86 110 110 103 98 105 100 91 95 88 82 78 70 62 54 49 43,76 74 74 82 84 86 86 86 74 66 54 62 57 64 64 68 66 70 64 54 52 44 39 37,72 72 93 93 84 60 39 29 18 17 19 19 14 13 16 21 31 39 43 49 40 39 33 28,82 91 91 72 40 22 15 10 7 8 9 10 13 15 11 8 10 14 17 26 31 35 24 23,78 86 68 42 23 11 9 19 20 9 15 11 3 13 6 5 6 4 4 6 11 21 22 19,88 91 70 24 16 28 43 88 72 24 25 4 4 39 14 13 13 6 4 3 3 3 6 13,98 88 68 39 47 70 93 134 113 39 34 22 23 34 27 43 55 32 12 7 8 10 15 35,126 118 80 68 84 129 126 161 164 74 38 35 34 37 43 80 86 72 55 40 18 17 24 43,134 123 98 100 108 115 123 152 164 129 80 49 34 52 78 103 88 70 47 38 30 26 30 39,137 137 129 140 115 100 86 84 108 115 108 108 76 72 68 62 52 44 33 33 40 46 52 66,129 134 134 137 118 110 105 66 64 54 44 40 52 55 52 62 64 59 54 50 57 66 76 80,140 134 132 140 134 113 105 103 93 91 68 78 80 80 78 72 74 70 70 72 80 86 95 93,152 152 134 137 137 123 115 93 93 88 78 93 95 86 91 88 86 78 80 80 93 108 110 108,143 143 140 140 140 155 140 129 113 95 95 93 84 84 88 88 95 93 88 98 110 113 121 132,143 143 152 155 155 158 152 155 155 143 123 108 103 93 93 91 98 91 103 108 123 140 126 129,155 158 164 164 161 164 149 161 152 167 158 158 140 129 137 132 121 137 134 132 137 134 132 118,134 143 146 158 170 164 164 155 155 158 167 161 149 152 146 149 146 137 140 132 134 140 126 115,附：,图像举例,7 10 12 16 24 30 25 28 42 40 48 44 37 52 57 45 56 72 72 49 38 23 13 8,9 10 12 18 23 36 48 54 46 38 42 44 35 36 37 37 26 42 51 49 49 45 35 26,22 16 15 16 20 35 41 48 44 32 28 26 21 28 23 22 20 18 20 32 34 34 40 35,48 45 35 22 17 18 27 30 23 20 18 16 19 21 24 25 23 17 12 19 18 17 19 24,62 56 40 29 21 16 15 15 16 17 16 18 24 23 22 31 36 29 22 16 13 13 13 13,54 27 25 17 14 16 12 15 16 16 20 28 32 36 40 40 37 40 35 23 16 10 8 7,42 19 15 13 13 11 12 16 19 29 37 41 45 37 41 44 45 37 35 28 28 24 16 10,26 20 20 13 15 16 22 32 48 56 56 56 56 49 42 38 36 36 35 25 26 24 22 19,32 26 21 20 19 23 36 56 66 74 68 64 57 52 42 46 48 37 30 27 24 18 16 16,19 22 25 31 38 49 54 48 40 30 30 31 29 31 32 34 34 34 29 25 17 15 13 12,22 31 35 42 41 22 13 10 7 10 17 13 9 7 7 10 13 17 18 17 13 11 11 7,32 40 38 30 12 10 6 5 4 7 7 8 11 12 7 6 7 8 7 9 16 11 9 7,34 37 25 11 8 3 3 13 14 8 22 9 2 13 2 3 3 3 2 4 5 10 9 8,42 40 21 7 4 8 28 88 44 23 25 2 11 64 12 10 5 2 2 1 1 1 3 5,54 37 20 9 12 29 54 123 80 31 44 23 24 38 23 37 37 11 3 1 3 4 7 13,84 68 21 18 28 42 86 154 142 44 36 38 42 34 31 64 52 27 18 16 5 4 7 14,80 51 34 31 36 46 68 120 151 112 62 38 31 41 68 66 37 22 20 18 9 7 10 13,78 76 102 76 51 36 32 38 56 64 82 84 51 40 28 24 21 16 10 10 11 18 18 22,72 64 78 72 61 40 36 18 20 14 11 14 19 20 27 32 30 19 14 16 19 24 28 35,80 70 61 61 59 42 36 41 36 32 25 35 29 30 36 30 20 21 20 25 26 29 35 40,76 70 68 74 78 59 42 34 29 26 25 41 35 34 34 36 31 27 26 34 38 41 48 46,70 62 64 68 84 82 84 72 44 34 31 28 28 28 29 34 38 38 28 38 40 48 51 52,62 70 74 78 78 80 95 90 90 80 61 45 37 35 31 31 40 42 44 56 57 56 54 49,66 70 80 82 84 80 78 86 102 97 90 88 84 70 64 62 66 64 66 57 57 62 57 49,56 62 74 80 93 88 76 80 88 95 105 102 95 80 78 78 74 70 62 61 56 59 56 49,附：,图像举例,7 10 11 14 22 31 23 30 44 39 46 52 44 50 57 60 53 82 82 53 40 24 10 7,10 8 15 17 23 35 40 55 43 38 43 43 31 35 47 30 30 40 50 55 50 43 32 23,21 20 19 18 29 35 57 62 46 30 27 32 21 33 23 25 20 15 19 28 35 32 29 39,43 32 30 23 18 14 27 32 18 25 20 17 23 22 25 27 25 19 27 16 22 21 23 26,55 49 39 28 19 20 14 18 15 19 20 22 31 29 23 42 60 32 20 16 19 13 16 16,53 31 34 18 16 16 18 20 18 16 22 30 42 44 52 50 37 49 44 27 22 16 12 11,33 26 18 16 11 13 13 16 23 31 37 42 39 35 42 49 58 47 35 37 35 23 15 12,32 21 21 13 15 18 21 34 52 64 72 58 72 53 49 40 49 43 37 39 30 28 27 15,23 22 22 23 20 23 37 69 71 88 67 72 64 62 58 58 67 37 42 40 31 25 22 23,22 22 29 33 53 50 52 46 34 25 27 30 28 32 40 34 34 34 30 32 24 25 20 18,18 34 44 47 40 22 20 18 11 18 25 20 12 11 12 15 16 18 19 18 25 18 16 12,33 38 34 32 16 14 10 7 7 12 9 9 11 16 10 10 11 12 11 14 21 16 14 13,39 38 23 15 13 7 6 13 14 11 22 6 5 10 3 4 6 6 4 6 9 10 13 11,42 32 18 10 8 12 47 103 46 33 18 2 13 52 17 14 6 4 5 4 3 3 5 8,53 42 20 11 16 37 84 133 75 33 35 17 25 40 26 47 44 14 5 3 5 9 10 15,72 71 18 18 46 42 98 175 168 47 49 39 43 44 49 82 72 44 25 15 9 5 14 21,67 44 30 32 35 52 55 125 158 122 77 42 35 62 80 77 47 28 20 18 11 14 10 15,58 88 108 91 53 43 31 42 65 86 103 96 58 58 31 30 26 20 15 12 18 26 25 22,60 75 103 77 69 52 40 33 24 20 13 23 28 27 33 55 42 32 20 27 29 37 35 37,88 77 69 64 65 49 42 53 43 46 31 40 32 49 43 33 27 32 25 32 31 31 46 43,72 64 69 82 100 84 38 33 35 35 28 37 39 35 40 34 35 27 33 44 43 38 52 40,67 64 72 77 106 84 103 86 58 44 42 34 30 28 28 42 34 34 30 43 42 52 57 53,80 77 93 72 67 75 103 106 100 65 72 57 37 34 33 32 39 42 44 53 77 64 55 50,53 80 69 77 88 80 82 98 111 91 106 103 91 67 64 65 69 67 71 65 49 58 52 55,62 91 77 77 96 77 88 93 96 108 108 100 114 103 80 75 80 62 69 72 62 55 62 47,(,返回,),轻松一下吧,