程概述与随机变量基础.pptx

本次课的教学内容本次课的教学内容u课程发展的历史课程发展的历史u课程学习的必要性课程学习的必要性u课程学习的目标课程学习的目标u课程的教学内容课程的教学内容u课程的教学组织和安排课程的教学组织和安排u教学（学习）策略教学（学习）策略u随机变量基础随机变量基础一、课程发展的历史沿革一、课程发展的历史沿革无线电无线电系统的系统的噪声理噪声理论论统计无线统计无线电理论电理论（60）信号检测信号检测与估计与估计（60）随机信号随机信号分析分析（60）信号检测信号检测与估计与估计（40）随机信号随机信号分析与处分析与处理（理（8080）(60)(60)（70年代末年代末-90年代初）年代初）（50-70年代）年代）（90年代初年代初-2001年）年）（2002年年-）20092009年被评为国家精品课程和军队优质课程年被评为国家精品课程和军队优质课程二、课程的重要性二、课程的重要性1.1.从课程研究对象分析从课程研究对象分析每天我们都要遇到许多各种类型的信号，许每天我们都要遇到许多各种类型的信号，许多信号是不能用解析的表达式（多信号是不能用解析的表达式（Analytical Expression)或者确定的方式或者确定的方式(Deterministic Manner)来建模。来建模。Such as Such as Speech WaveformsCommunication SignalsBiological SignalsSeismological Signals Passive Sonar RecordsTemperature Histories.How do we model them?Random processes are basic in the field ofElectrical and computer science engineering(Especially in Communication,Radar,Navigation,Computer Vision,Digital Signal Processing)Vibrational theorySeismological signal processingEconomic dataBiomedical signal processing and controlSignal in real world can be classified as two typesDeterministic SignalRandom SignalStochastic SignalA Deterministic Signal is a signal in which each value of the signal is fixed and can be determined by a mathematical expression,rule,or table.The future values of the signal can be calculated from past values with complete confidence.A random signal has a lot of uncertainty about its behaviorThe future values of a random signal cannot be accurately predicted and can usually only be guessed based on the averages of sets of signals.正弦信号正弦信号调制信号调制信号周期性脉冲信号周期性脉冲信号雷达接收机的噪声雷达接收机的噪声鸟叫声鸟叫声爆破信号爆破信号实际中的信号实际中的信号移动通信 卫星通信 通信中的随机信号通信中的随机信号信信源源信信宿宿噪声噪声信信道道传传输输发送发送设备设备接收接收设备设备通信系统模型 两个基本问题两个基本问题:如何可靠地传输信息如何可靠地传输信息?如何有效地传输信息如何有效地传输信息?雷达发雷达发射机射机收发转收发转换开关换开关雷达接雷达接收机收机接收机接收机输出输出接收机输出噪声接收机输出噪声两个基本问题两个基本问题:如何检测回波信号如何检测回波信号如何估计信号的参数如何估计信号的参数统计思维方法：从不确定中把握确定性统计思维方法：从不确定中把握确定性大量大量样本样本平均平均展示展示出的出的特征：特征：均值均值方差方差PDF随机信号：随机信号：一类随时间变化的、且变换规律一类随时间变化的、且变换规律带有许多不确定性的信号。带有许多不确定性的信号。随机信号分析随机信号分析分析信号的统计规律分析信号的统计规律分析信号通过系统后分析信号通过系统后统计规律的变化统计规律的变化随机信号的处理随机信号的处理噪声背景下最佳地噪声背景下最佳地提取有用信息。提取有用信息。2.2.从课程体系分析从课程体系分析电磁场系列电磁场系列电路系列电路系列计算机及其应用系列计算机及其应用系列信号处理系列课信号处理系列课电电类类本本科科专专业业基基础础系系列列课课 信号处理系列信号处理系列信号处理与系统（上）（信号与系统）信号处理与系统（上）（信号与系统）信号处理与系统（下）（数字信号处理）信号处理与系统（下）（数字信号处理）随机信号分析与处理随机信号分析与处理 信号与信号与系统系统数字信号数字信号处理处理随机信号分随机信号分析与处理析与处理现代通现代通信原理信原理模式模式识别识别雷达雷达系统系统图像图像处理处理信息论信息论编码编码现代数字现代数字信号处理信号处理自适应信自适应信号处理号处理统计信号统计信号处理处理时频时频分析分析小波小波分析分析我院信号分析与处理课程体系结构专业基础课专业基础课专业课程专业课程研究生研究生课程课程定位于学科专业基础课定位于学科专业基础课军用电子信息技术核心理论基础军用电子信息技术核心理论基础在课程体系中起承上启下的作用在课程体系中起承上启下的作用,对学科支撑作用明显对学科支撑作用明显三、课程学习的目标三、课程学习的目标随机信号分析随机信号分析信号检测与估计信号检测与估计通过课程的学习平台，通过课程的学习平台，掌握一定基本掌握一定基本知识知识；培养基本培养基本能力能力；提高综合提高综合素质素质。知识知识能力能力素质素质掌握知识：掌握知识：n随机过程的概念随机过程的概念,统计描述统计描述n随机过程通过线性和非线性系统分析的理论和方法随机过程通过线性和非线性系统分析的理论和方法n典型随机过程的特征典型随机过程的特征n信号检测的概念、规则和性能分析的理论和方法信号检测的概念、规则和性能分析的理论和方法n最佳检测器的结构和特点最佳检测器的结构和特点n参数估计的概念、规则和性能分析参数估计的概念、规则和性能分析培养能力：培养能力：n要能正确地理解、阐述、解释随机现象要能正确地理解、阐述、解释随机现象n运用概率、统计的数学方法和计算机方法分析与处理运用概率、统计的数学方法和计算机方法分析与处理 随机信号随机信号n初步具备雷达、通信、导航等技术领域的信号处理系初步具备雷达、通信、导航等技术领域的信号处理系 统的分析、设计、仿真的科学研究能力统的分析、设计、仿真的科学研究能力n自主学习能力自主学习能力n 表达能力（论文写作、口头表达）表达能力（论文写作、口头表达）n 协作学习与研究协作学习与研究四、教学内容和教学安排四、教学内容和教学安排按模块组织教学按模块组织教学划分为划分为6个基本教学单元个基本教学单元随机变随机变量基础量基础典型随典型随机过程机过程随机过随机过程基础程基础随机过随机过程变换程变换估计估计理论理论检测检测理论理论基本教基本教学单元学单元自主学习自主学习讲授讲授作业（含计算机作业）作业（含计算机作业）研究研究研讨课研讨课概念测试概念测试实验或课程设计实验或课程设计课堂讲授课堂讲授 5858学时学时6 6次课堂讨论（或测试次课堂讨论（或测试+研讨）研讨）1212学时学时实验与论文报告实验与论文报告 8 8学时学时考试考试 2 2学时学时课时分配课时分配实验内容实验内容1 1 随机过程的产生与特征估计随机过程的产生与特征估计 2 2 随机过程通过系统分析随机过程通过系统分析3 3 检测性能的仿真分析检测性能的仿真分析五五 课程考评方式课程考评方式 课程考评以综合能力为目的，考核方式为：课程考评以综合能力为目的，考核方式为：期终考试期终考试+实验实验+课程论文课程论文+平时成绩平时成绩（50%+15%+15%+20%50%+15%+15%+20%）三个实验，每个实验三个实验，每个实验5%5%平时成绩平时成绩=概念测试成绩概念测试成绩15分分+讨论课表现讨论课表现5分分六、参考书六、参考书（1）、）、随机信号分析随机信号分析、哈尔滨工业大学，赵淑清、哈尔滨工业大学，赵淑清（2）、）、随机信号分析随机信号分析、清华大学，杨福生、清华大学，杨福生（3）、）、“Probability,Random Variables and Stochastic Processes”，Papoulis,(有中译本）有中译本）（4）An Introduction to Statistical Signal Processing with Applications，Srinath M.D.John Wily&Sons INC,1979.（5）Detection of Signals in Noise，Anthony D.Whalen，Academic Press。1995（6）Probability and Random Processes with Applications to Signal Processing and Communications(7)网络课程提供的大量参考文献网络课程提供的大量参考文献七、课程教学（学习）策略七、课程教学（学习）策略How much do learners remember?Teach others/Immediate UsePractice by DoingDiscussion GroupDemonstrationAudio-VisualReadingLectureTraditionalTeaching5%10%20%30%50%75%90%（1）实施研究型教学（）实施研究型教学（Research-Based Teaching）研究型教学的主要特征：研究型教学的主要特征：教师引导、学员教师引导、学员自主学习自主学习，学员是课程学习的主体；，学员是课程学习的主体；要有批判的眼光，要有批判的眼光，发现问题发现问题、提出问题和解决问题、提出问题和解决问题研究、探索与实践研究、探索与实践课程论文课程论文培养科研素养培养科研素养交流交流互动互动，协作学习、基于网络的学习，协作学习、基于网络的学习考核考核:综合综合评定评定（2 2）基于团队的学习）基于团队的学习(TBL,Team-Based Leacturing)目的：培养协作精神目的：培养协作精神分组：分组：4人人1组（固定）组（固定）n 以组的形式完成课程论文以组的形式完成课程论文n 以组的形式参与课堂讨论以组的形式参与课堂讨论n 以组的形式开展自学（互相讲解）以组的形式开展自学（互相讲解）n 按组评定成绩（期终考试除外）按组评定成绩（期终考试除外）概念测试：概念测试：目的是加强对课程概念的理解和评估目的是加强对课程概念的理解和评估随机过程基础（基本概念、统计描述）随机过程基础（基本概念、统计描述）随机信号的变换、典型随机过程随机信号的变换、典型随机过程信号检测与估计信号检测与估计每次测试每次测试=个人测试个人测试+小组测试小组测试（3 3）注意掌握本课程的基础性（基本概念的）注意掌握本课程的基础性（基本概念的理解和表达）、应用性（实际例子、参考文理解和表达）、应用性（实际例子、参考文献的阅读）和综合能力（仿真作业、实验、献的阅读）和综合能力（仿真作业、实验、课题研究、学习的互动交流、协作）培养。课题研究、学习的互动交流、协作）培养。第一章学习内容第一章学习内容n概率的基本术语概率的基本术语n随机变量的定义及分布随机变量的定义及分布n随机变量的数字特征随机变量的数字特征n随机变量的函数随机变量的函数n多维正态随机变量多维正态随机变量nMATLABMATLAB的统计分析函数的统计分析函数*本章学习的目标：本章学习的目标：复习概率与随机变量的理论复习概率与随机变量的理论加深随机变量函数的理论（重点）加深随机变量函数的理论（重点）深化一些重要概念的理解深化一些重要概念的理解加深多维正态随机变量的理论加深多维正态随机变量的理论增加增加MatlabMatlab的统计分析函数的统计分析函数(自主学习）自主学习）第一章讨论课选择主题第一章讨论课选择主题主要参考文献：主要参考文献：【1】Kay，Intuitive Probability and Random Process with MATLAB【2】Probability and Random Processes with Applications to Signal Processing and Communications.本章课堂讨论的主题：本章课堂讨论的主题：（1）已知随机变量）已知随机变量X的概率密度，且的概率密度，且Y=X,求求 如果如果Y=g(X)，其中，其中g()是确定性函数，求是确定性函数，求（3）用仿真方法验证中心极限定理）用仿真方法验证中心极限定理（4）如何用）如何用MATLAB绘制二维正态概率密度和条件绘制二维正态概率密度和条件概率密度。概率密度。（2）习题）习题1.5 1.6 1.7（5）MATLAB有哪些统计函数，举例说明其用法有哪些统计函数，举例说明其用法习题习题1.21和习题和习题1.22的求法的求法（6）如何用）如何用MATLAB求随机变量的统计特性求随机变量的统计特性（参考例（参考例1.11 例例1.12 习题习题1.24）（7）如何用计算机模拟一个随机事件，比如投掷硬）如何用计算机模拟一个随机事件，比如投掷硬币的实验，并估计随机事件发生的概率。（参考币的实验，并估计随机事件发生的概率。（参考【1】第第17-19）应用研究应用研究(1)随机变量的数字特征应用实例：数据压随机变量的数字特征应用实例：数据压缩缩 参考参考【1】pp155-157(2)数字通信数字通信 参考参考【1】pp24-pp26(3)量化噪声分析量化噪声分析 参考参考【2】pp126-134 只需将问题进行描述，详细分析留作课程只需将问题进行描述，详细分析留作课程论文进行研究（同时完成论文进行研究（同时完成【2】的习题的习题4.51）。）。1.1 1.1 概率的基本术语概率的基本术语 随机试验随机试验(Random Experiment):(Random Experiment):满足下列三个条件的试验称为随机试验：满足下列三个条件的试验称为随机试验：(1)(1)在相同条件下可重复进行；在相同条件下可重复进行；(2)(2)试验的结果不止一个，所有可能的结果能事先明确；试验的结果不止一个，所有可能的结果能事先明确；(3)(3)每次试验前不能确定会出现哪一个结果。每次试验前不能确定会出现哪一个结果。例：投掷硬币例：投掷硬币(Toss a coin)The outcome varies in an unpredictable fashion when the experiment is repeated under the same conditions.随机事件随机事件(Random Event):(Random Event):在随机试验中，对试验中可能出现也可能不出在随机试验中，对试验中可能出现也可能不出现、而在大量重复试验中却具有某种规律性的现、而在大量重复试验中却具有某种规律性的事情，称为随机事件，简称为事件。事情，称为随机事件，简称为事件。如投掷硬币出现正面就是一个随机事件。如投掷硬币出现正面就是一个随机事件。投掷骰子出现投掷骰子出现1点点11，2 2，3 3，4 4，5 5，66投掷骰子出现偶数点投掷骰子出现偶数点样本空间样本空间随机事件随机事件基本事件基本事件基本事件基本事件(Elementary Event):(Elementary Event):随随机机试试验验中中最最简简单单的的随随机机事事件件称称为为基基本本事事件件，如如投投掷掷骰骰子子出出现现1 1、2 2、.、6 6点点是是基基本本事事件件，出现偶数点是随机事件，但不是基本事件。出现偶数点是随机事件，但不是基本事件。(简单事件简单事件Simple Event)Simple Event)样本空间样本空间(Sample Space)(Sample Space)随机试验的所有基本事件组成的集合称为样本空间随机试验的所有基本事件组成的集合称为样本空间.Toss a coin：S=Head,Tail=H,TToss a die:S=1,2,3,4,5,6关于样本空间的注释：关于样本空间的注释：离散的样本空间离散的样本空间:Toss a die:S=1,2,3,4,5,6连续的样本空间连续的样本空间:由多次子试验构成的样本空间由多次子试验构成的样本空间:看下例看下例IF we toss a coin three times and let the triplet xyz denote the outcome“x on the first toss,y on the second toss,z on the third toss”,then the sample space of the experiment isS=HHH,HHT,HTH,HTT,THH,THT,TTH,TTTThe event“one head and two tails”is defined byE=HTT,THT,TTH关于样本空间的注释：关于样本空间的注释：离散的样本空间离散的样本空间Toss a die:S=1,2,3,4,5,6连续的样本空间连续的样本空间由多次子试验构成的样本空间由多次子试验构成的样本空间可数无穷的样本空间可数无穷的样本空间S=S1 S1 =HH,HT,TH,TT,S1=H,T频率和概率频率和概率(Frequency and Probability):(Frequency and Probability):n n次重复试验中，事件次重复试验中，事件A A发生的次数发生的次数n nA A称为事件称为事件A A的频数，比值称为事件的频数，比值称为事件A A发生的频率。频率反映发生的频率。频率反映了事件了事件A A发生的频繁程度，若事件发生的频繁程度，若事件A A发生的可能发生的可能性大，那么相应的频率也大，反之则较小。性大，那么相应的频率也大，反之则较小。概率概率1.2 1.2 随机变量的定义随机变量的定义(Definition of a random variable)(Definition of a random variable)设随机试验设随机试验E E的样本空间为的样本空间为S=eS=e，如果对于每一，如果对于每一个个e e S S，有一个实数，有一个实数X(e)X(e)与之对应，这样就得到与之对应，这样就得到一个定义在一个定义在S S上的单值函数上的单值函数X(e)X(e)，称，称X(e)X(e)为随机为随机变量，简记为变量，简记为X X。随机变量是定义在样本空间随机变量是定义在样本空间S S上的单值函数上的单值函数1.1.定义定义Interpretation of random variable:SeReal lineRandom variable is a function that assigns a numerical value to the outcome of the experiment.A coin tossSe1Real line10e2Mapping of the outcome of a coin toss into the set of real numberA discrete random variable is a random variable that can be take on at most a countable number of possible values根据随机变量取值的不同可以分为：根据随机变量取值的不同可以分为：连续型随机变量连续型随机变量(Continuous random variable)(Continuous random variable)离散型随机变量离散型随机变量(Discrete random variable)(Discrete random variable)2.2.概率分布列概率分布列Xx1x2.xnpkp1p2.pnProbability mass function(PMF)(0,1)(0,1)分布分布 随机变量的可能取值为随机变量的可能取值为0 0和和1 1两个值，其概率分布为两个值，其概率分布为PMF:0 1Bernoulli random variableLet A be an event of interest in some experiment,e.g.,a device is not defective.We say that a“success”occurs if A occurs when we perform the experiment.Bernoulli random variable IA is equal to 1 if A occurs and zero otherwise.例：信息传输问题（例：信息传输问题（Message Transmissions）Let X be the number of times needs to be transmitted until it arrivers correctly at its destination.Find the probability that X is an a even number.X is a discrete random variable taking on values from S=1,2,3,.The event X=k occurs if k-1 consecutive erroneous transmissions(failures)followed by a error-free one(success)X is called the geometric random variableExample:Transmission error in a binary communications channel.Let X be the number of errors in n independent transmissions.Find the PMF of x.Find the probability of one or fewer errors0101 1-1-The probability of k errors in n bits transmissions is given by the probability of an error pattern that k 1s and n-k 0sWe call X the binomial random variable泊松分布泊松分布(Poisson distribution)(Poisson distribution)1.3 1.3 分布函数和概率密度函数分布函数和概率密度函数Probability Density Function,（PDF）Distribution Function or Cumulative Distribution Function,(CDF)1.定义定义右连续2.分布函数的性质（分布函数的性质（Properties of the CDF）不减函数分布函数是右连续的不减函数，在负无穷处为分布函数是右连续的不减函数，在负无穷处为零，正无穷处为零，正无穷处为1 1。对于连续型随机变量，取。对于连续型随机变量，取某一特定值的概率是为零的。即某一特定值的概率是为零的。即PX=x=0PX=x=0对于离散型随机变量，分布函数为阶梯函数，阶梯的对于离散型随机变量，分布函数为阶梯函数，阶梯的跳变点出现在随机变量的取值点上，跳变的高度为随跳变点出现在随机变量的取值点上，跳变的高度为随机变量取该值的概率。机变量取该值的概率。对于离散型随机变量，对于离散型随机变量，PMF与与CDF的关系为的关系为概率密度概率密度随机变量落入(x1,x2)的概率 对于离散型随机变量，它的概率密度函数是一串对于离散型随机变量，它的概率密度函数是一串 函数函数之和，之和，函数出现在随机变量的取值点，强度为取该值函数出现在随机变量的取值点，强度为取该值的概率。的概率。Check YourselfSuppose X=c,Where c is constantWhich of following is correct?A.B.C.D.E.None of Above Check YourselfSuppose X=c,Where c is constantWhich of following is correct?A.B.C.D.E.None of Above3.3.常见概率分布常见概率分布 正态分布（正态分布（NormalNormal），也称高斯（），也称高斯（GaussGauss）分布）分布 -4-3-2-10123400.10.20.30.40.50.60.70.8N(0,1)N(0,1)正态分布概率密度正态分布概率密度 标准正态分布函数标准正态分布函数瑞利分布（瑞利分布（RayleighRayleigh）瑞利分布概率密度瑞利分布概率密度 2 2 02468101200.050.10.150.20.250.30.350.4指数（指数（ExponentialExponential）分布）分布指数分布概率密度指数分布概率密度 0123456700.511.5指数分布可以用来表示独立随机事件发生的时间指数分布可以用来表示独立随机事件发生的时间间隔，比如，旅客进机场的时间间隔，维基间隔，比如，旅客进机场的时间间隔，维基（wikipedia)新条目出现的时间间隔，电话呼叫新条目出现的时间间隔，电话呼叫的时间间隔等，的时间间隔等，是一个率（是一个率（Rate)参数。参数。在可靠性理论里，指数分布可以描述一个器件的使用寿命在可靠性理论里，指数分布可以描述一个器件的使用寿命重要特性：无记忆性重要特性：无记忆性重要特性：无记忆性重要特性：无记忆性 对数正态分布（对数正态分布（LogNormalLogNormal）高分辨率雷达杂波分布高分辨率雷达杂波分布01234567891000.10.20.30.40.5对数正态分布概率密度对数正态分布概率密度 为尺度参数为尺度参数 为形状参数为形状参数1.4 1.4 多维随机变量及其分布多维随机变量及其分布 Multiple Random Variables and Distributions Multiple Random Variables and Distributions 1.定义定义Se比如：同时投掷一个比如：同时投掷一个1元硬币和一个元硬币和一个1角硬币，样角硬币，样本空间为本空间为S=HH,TH,TT,HT。HHTHTTHTxy2.2.二维分布函数和概率密度二维分布函数和概率密度 Bivariate CDF and PDF Bivariate CDF and PDF 二维分布函数图解二维分布函数图解 定义：定义：二维分布函数性质：二维分布函数性质：边缘（边缘（MarginalMarginal）分布）分布由二维分布函数可以求出一维分布函数由二维分布函数可以求出一维分布函数 二维随机变量落在某一区域的概率二维随机变量落在某一区域的概率 二维概率密度：二维概率密度：由二维概率密度可以求出边缘概率密度由二维概率密度可以求出边缘概率密度随机变量落在某个区域的概率随机变量落在某个区域的概率 第一章第一章 随机变量基础随机变量基础对于二维离散随机变量，对于二维离散随机变量，定义联合概率质量函数（定义联合概率质量函数（Join PMF)二维概率密度：二维概率密度：3.3.条件分布条件分布(Conditional Distribution)(Conditional Distribution)条件分布函数条件分布函数条件概率密度条件概率密度称随机变量称随机变量X X、Y Y独立独立条件概率质量函数（条件概率质量函数（Conditional PMF):以随机事件为条件的概率密度以随机事件为条件的概率密度:几个重要的贝叶斯公式几个重要的贝叶斯公式:全概率公式全概率公式:贝叶斯公式贝叶斯公式:概率分布与概率密度的全概率公式概率分布与概率密度的全概率公式:Example:Communication Channel with Discrete Input and Continuous OutputThe input X to a communication channel is+1 volt or-1 volt.The output Y of the channel is the input plus a noise voltage N that is uniformly distributed in the interval from-2 volts to+2 volts.Find PX=+1,Y0Solution:1/2When the input X=1,the output Y is uniformly distributed in the interval Therefore本次课小结：本次课小结：（1）概率的基本术语：）概率的基本术语：随机试验随机试验 基本事件基本事件 随机事件随机事件 样本空间，频率与概率样本空间，频率与概率（2）随机变量的定义）随机变量的定义 从样本空间到实轴的映射从样本空间到实轴的映射（3）随机变量的分布）随机变量的分布 PMF CDF PDF 典型随机变量的分布典型随机变量的分布（4）条件分布）条件分布