北邮信息科学原理知识点.doc

一、 科学技术发展四大规律
four major laws of science and technology

辅人律：科学技术如何产生，辅助人类扩展认识世界和改造世界的能力，辅助人类扩展争取更好生存与发展条件的能力
拟人律：产生后按照什么规律发展，科学技术的发展方向跟随着人类能力扩展的需求亦步亦趋，贯彻始终。
共生律：发展的结果与人类形成什么关系，人类的全部能力是自身能力加上科学技术产物的能力。
互动律：科学技术与经济社会的相互作用，信息科学和信息技术的发展无可避免地导致信息经济和信息社会的出现。

二、 信息过程模型和原理
model and principal of information process

信息运动过程有：
1、 信息获取 – 信息和感知和识别
2、 信息传递 – 把事物的运动状态和运动方式从空间或时间上的一点传送到另一点
3、 信息处理 – 对第一类认识论信息进行适当地加工和处理，获得知识，实现认知
4、 信息再生 – 利用已有的信息来产生新信息，即制定决策（第二类认识论信息）的过程
5、 信息施效 – 发挥信息的效用，其中最重要的形式是控制
6、 信息组织 – 对整个系统的优化
原理：
本体论信息 – 外部世界的问题与环境产生本体论信息
信息的获取原理 – 感知与识别，产生第一类认识论信息
信息的传递原理 – 通信与存储，传递第一类认识论信息
信息的认知原理 – 处理与计算，把第一类认识论信息转变为知识
信息的再生原理 – 综合决策，把知识激活为第二类认识论信息
信息的施效原理 – 控制与显示，把智能策略转化为智能行为
信息的组织原理 – 实施系统全过程的优化

三、 本体论信息与认识论信息分别是什么
ontological information and epistemological information

本体论信息：某个事物运动的状态及其变化方式的自我表述，是一种客观的存在，不以主体的存在而转移
认识论信息：主体所感知（或所表述）的关于某事物的运动状态及其变化方式，包括这种状态/方式的形式，含义和效用，是同时计及语法信息、语义信息和语用信息的全信息。

四、 什么是语法信息，语用信息和语义信息？
Syntactic information ,pragmatic information ,semantic information

同时考虑事物运动状态及其变化方式的外在形式，内在含义与效用价值的认识论层次信息称为全信息，其中——
语法信息：只考虑运动状态及其变化方式的外在形式因素的信息部分；
语义信息：只考虑运动状态及其变化方式的含义因素的信息部分；
语用信息：只考虑运动状态及其变化方式的效用因素的信息部分；

五、 信息的特征、性质、功能和分类
characteristics, nature, function, classificaiton of information

信息的特征：
1、 信息来源于物质，又不是物质本身
2、 信息来源于精神世界，但是又不限于精神领域
3、 信息与能量息息相关，但是又与能量有质的区别
4、 信息可以被提炼成知识，但是信息本身不等于知识
5、 信息的具体的，可以被主体所感知、提取、识别，可以被传递、存储、变换、处理、显示、检索和利用
6、 信息可以被复制，可以被共享
7、 语法信息在传递和处理过程中永不增值
8、 在封闭系统中，语法信息的最大值不变

信息的性质：
普遍性、无限性、相对性、传递性、变换性、有序性、动态性、转化性
信息的功能：
信息是一切生物进化的导向资源，是知识的来源，是决策的依据，是控制的灵魂，是思维的材料，是管理的基础，其中最重要的功能是可以通过一定的算法被加工成知识，并针对给定的目标激活成为求解问题的智能策略，进而按照策略求解实际问题。
信息的分类：
信息 – 语用信息
-- 语义信息
-- 语法信息 – 离散状态 – 有限状态 – 模糊状态 – 模糊信息
-- 明晰状态 – 概率信息
-- 偶发信息
-- 确定型信息

六、 全信息与香农信息分别是什么？
Comprehensive information and shanno information

全信息是考虑事物运动状态及其变化方式的外在形式，内在含义与效用价值的认识论层次信息，将客体、符号和主体联系起来形成具体的模型，充分反映信息的本质。
香农信息是凡是在一种情况下能减少不确定性的任何事物，事物状态的变化或事件的发生用概率空间描述，利用不确定性的大小计算其信息量，是一种概率型的语法信息，忽略了通常含有的模糊性因素，其目的是应用于通信系统从而忽略了语义信息和语用信息。

七、 香农信息论对于通信工程与信息科学的意义？
The significance of Shanno information theory to communication engineering and information science

对通信工程的意义：
香农信息论用统计的方法建立了通信系统中信源信息的度量、信道容量的度量以及保障通信系统信息传输有效性和可靠性的编码定理。对通信系统信息规律的揭示和阐释可以说是淋漓尽致，直到今天，通信系统的信息理论仍然没有超出它的框架，通信科学技术工作者至今还享受着它的惠益。 
对信息科学的意义：
全信息理论与香农理论的关系就是一种继承与发展的关系：继承了信息论的成功部分，突破了信息论的重大局限（包括统计方法带来的局限，包括忽视语义信息和语用信息所带来的局限），建立了新的理论体系，即全信息理论。

八、 信息科学、信息理论、通信理论的区别与联系？
differences and relationship between Information science, information theory communication theory

信息科学是指以信息为主要研究对象，以信息的运动规律和应用方法为主要研究内容，以信息科学方法论为主要研究方法，以计算机等技术为主要研究工具，以扩展人类的信息功能为主要目标的一门科学。信息科学面向智能系统，研究全信息，研究信息全过程的规律。
信息理论，通常指经典信息论，以通信系统为研究方向，以扩展信息传递功能为研究目标，以统计语法信息为研究内容，以信息传递过程为研究内容，以统计方法为研究方法，为研究信息传递理论和设计实际通信系统提供提轮指导，是信息科学的一部分，忽略了信息的内容和价值，也回避了扩展人的思维能力的任务。
通信理论以信息理论为基础，以信息在传递过程中所必须遵循的规律和保证高质量、大容量、高速度传递信息所必须采取的方法和原则为研究内容，以准确迅速安全可靠地把第一类认识论信息从空间某一点传到另一点为研究目标，是研究信息在空间中传递的基本原理，中心问题是传递概率语法信息，与信息的内容和价值无关。

九、 信息获取的必要性和充分性？
Necessity and sufficiency of information acquisition

信息获取包括信息感知、信息分类和机器学习。
必要性：世界无时无刻不在产生本体论信息，人们想要认识世界，首先必须能够获得本体论信息，并把本体论信息转化为第一类认识论信息，即需要进行信息获取。 
充分性： 
①一切事物的本体论信息乃是“事物所呈现的运动状态及其变化方式”，而不是事物本身，因而可以脱离开它的“源事物”而被转换和处理。这是信息可以被获取的根据。 
②作为“事物所呈现的运动状态及其变化方式”的本体论信息可以通过该事物与其它事物（人类的感觉器官和机器的传感系统）的相互作用而被后者所感受，条件是后者对前者所呈现的运动状态及其变化方式敏感。

十、 信息感知的基本原理
basic approach of information sensing

l 作为事物运动状态及其变化方式的本体论信息可以通过与其他事物的相互作用而被后者所感知，条件是后者对前者的运动状态及其变化方式敏感
l 信息感知的实质是本体论信息向第一类认识论信息的语法信息的转换，它的技术本质是事物运动状态及其变化方式的载体转换
l 由于具体事物运动状态及其变化速度的有限性，信息感知在理论上有可能做到不丢失本体论信息的基本信息
l 无论怎样精巧的设计信息感知系统，它的第一类认识论信息的信息量都不可能超过本体论信息的信息量

十一、 信息识别的基本方法有哪些？
Basic approach of Information recognition

1、 统计识别法：要求出待识模式的某种统计特征（鉴别函数和判决阈），然后通过类比按决策规则做出分类判决。
2、 语言学识别法：具有明确结构特征的模式可以用适当地形式语言描述，通过检验未知模式能否通过某种文法结构生成，可知道该模式是否与文法对应的模式同类。
3、 非线性映射方法：提取表征求知模式的特征输入到训练好的神经网络中当输出层第k个神经元输出为1其他为0时，未知模式属于第k类

十二、 机器学习、模式识别、神经网络之间的关系
relationship between machine learning , pattern recognition , neural network

机器学习：指计算机利用经验改善系统自身性能的行为，专门研究计算机怎样模拟或实现人类的学习行为，以获取新的知识或技能，重新组织已有的知识结构使之不断改善自身的性能，可以面向信息获取、信息传递、信息加工、信息决策和信息施效等等任务，系统类型包括监督学习系统、无监督学习系统等。
模式识别：把表征某种语法信息的一组形式化参量（特征）提取出来与相应地特征模板进行比较并根据他们之间匹配情况的差别来判断该信息所应归属的类别，其原则是相似而认同，相异而排斥。识别过程可以用概率论方法进行定量分析，也可以用启发式的算法进行推断，还可以利用非线性映射关系进行分类。
神经网络：从信息处理角度对人脑神经元网络进行抽象， 建立某种简单模型，按不同的连接方式组成不同的网络，试图通过模拟大脑神经网络处理、记忆信息的方式进行信息处理和模式识别。
模式识别是在信息感知的基础上进行的操作，它按照一定的模式识别方法将信息感知系统得到的特征与特征模板进行比较，从而得到类别结果，模式识别的方法可以为神经网络方法，具体算法可以通过机器训练学习得到。

十三、 认知的基本功能
basic function of cognition

认知，即由信息生成知识，是人类认识世界活动的核心环节，其功能实现的标识是知识的生成，它实现了由信息到知识（由现象到本质）的质变过程，包括由语法信息生成形态性知识、由语法和语用信息生成效用性知识以及由形态性知识和效用性知识生成内容性知识、由已有知识生成新知识。

十四、 计算机信息处理与人与动物认知的差异
differences of cognition between computer information management and humans ,animals

计算机信息处理包括由敏感单元和表示单元组成的信息感知系统和模式识别系统，在感知过程中只感受事物运动状态及其状态变化方式的形式，即语法信息，而没有语义语用信息，从而模式识别过程只能采用大量统计和随机凑试的技术途径来进行。
人类与动物具有全信息感知过程，由感觉器官实现感知信息，由神经系统实现信息传递，由思维器官完成信息处理和知识生成。

十五、 知识与信息的区别与联系
differences and relationship between knowledge and information

本体论信息是指事物运动的状态和状态变化的方式本身；认识论信息是指主体所表述的事物运动的状态及其变化方式，包括这些状态/方式的形式、含义和价值。
知识是认识论范畴的概念，表述的是事物的运动状态及状态变化的规律，是信息加工的规律性产物，是第二类认识论信息。
知识直接同认识论信息相联系，而不直接同本体论信息相联系，强调的是“事物运动状态变化的规律”，而不是简单的“事物运动状态变化的方式”，信息虽然可以被加工成为知识，但信息却不一定就是知识。

十六、 知识生成的本质机制，能否提出其他的知识生成机制（形态性知识生成，内容性知识生成，效用型知识生成，推理和决策性知识生成）和算法？
Mechanism of knowledge producing, can you propose other mechanism and algorithm of knowledge(concept, content, value, reasoning and decision making knowledge) producing

知识生成有两种途径，一个是从实践中逐步积累，把所观察的现象的共性核心升华成为概念，把所积累经验的精华上升为理论。另一个途径是由已知的知识通过推断产生新的知识。前者是由信息到知识、由具体到抽象的过程，逻辑上称为归纳，后者是从知识到知识、抽象到抽象的过程，逻辑上称为演绎。两者是相辅相成的知识生成手段。

十七、 知识生成十大算法

1、本体论信息 à 语法信息（感知）ontological - syntactic
l 给定一个刺激X={xn|n∈(1,N)}
l 建立一个映射S，{xn} -> {yn}
l 计算映射误差以判断同态或相似关系
l 如果映射误差小于设定值，则认为转换是满意或可以接受的，反之则回到第二步直到满足要求
l X是本体论信息，Y是语法信息
2、语法信息 à 语用信息 syntactic - pragmatic
l 给定问题和相关目标G
l 给出先验知识KB，{Xn <=G=> Zn|n=0,1,2...}
l 输入新的X并与Xn作比较，如果|X-Xn|=emin，则将满足Xn->Zn的Zn分配给X
l 如果X不属于{Xn}，则通过实际经验或计算Z=kCor(X,G)得到Z
3、语法和语用信息 à 语义信息syntactic&pragmatic - semantic
l 给出问题P和目标G
l 利用A.1生成语法信息X
l 利用A.2生成语用信息Z
l 通过对X与Z的推导得到Y，最简单的方法是在X与Z之间建立有与逻辑含义的映射关系Y<=X∩Z
l Y即是Z,X生成的语义信息
4、语法信息 à 形态性知识（概念）syntactic – formal knowledge(concept)
l 观察样本X(1)，提取它的特征f(1)，将X(1)放入集合C
l 观察样本X(2)，提取其特征f(2)并与f(1)作比较，如果f(2)=f(1)，将X(2)放入C，否则舍弃X(2)
l 把步骤2重复n次
l 当n充分大，可能存在一个稳定的k值（k<n）,使k个样本具有共性特征f(x)
l 满足特征f(x)的k个样本构成一个特殊集合，称为C（概念），概念的内涵即特征f(x)，其外延为满足f(x)条件的信息样本全体
5、语法信息 à 形态性知识（关系）syntactic – formal knowledge(relation)
l 信息总数为N，X样本被选中的次数为n(X)，X与Y同时被选中的次数为n(X∪Y)
l X的频率为f(X)=n(X)/N，X∪Y的频率为n(X∪Y)/N，关系X=>Y的支持度为C(X=>Y) = f(X∪Y)/f(X)
l 给定最小值f0和c0，找到满足f>=f0的集合{A}，称为高频繁集
l 找到A的所有非空子集a
l 若有f(A)/f(a)>=c0，则生成关系a=>(A-a)
7、 语用信息 à 效用性知识(状态差异和差异发展趋势判断)
pragmatic - utility
l 给定问题P和目标G
l 假定语法和语用信息样本集合{X}和{Z}是有效的
l 应用A.4和A.5得到形态性知识KF，根据G,{X},{Z}和推理通过A.2得到效用性知识Ku
l 输入新样本X与Z，运行步骤3，如果KF和Ku是稳定的，则算法停止
l 否则跳到步骤2，直到KF和Ku是稳定的
7、语义信息 à 内容性信息 semantic - content
l 利用A..4和A.5得到形态性知识KF
l 利用A.6得到效用性知识Ku
l 基于KF、Ku和语义信息Isem，内容性知识为Kc <= ∩(KF,Ku,Isem)
8、经验信息 à 经验性决策（神经网络 – 权值调整）empirical
l 给定信息，问题的初始状态P，知识和规则库C和问题最终状态或目标G
l 给定必需的先验知识并以合适的形式存于KB
l 基于信息和知识训练系统生成初始决策并将问题的初始状态转为新状态
l 将新状态与目标进行比较，计算两者间距离
l 如果距离足够小则停止，否则转步骤3直到距离可以被接受
9、规范知识 à 规范性决策（专家系统 – 规则序列即控制信息）regular
l 给定信息PCG
l 给定相关知识并以合适形式存于KB
l 通过推理产生初始决策并将问题由初始状态转为新状态
l 将新状态与与目标进行比较，计算两者间距离
l 如果距离足够小、可以接受则停止，否则转步骤3直到距离可以被接受
10、常识知识 à 常识性决策（自动感知系统）commonsense
l 给定一类问题，决策对这类问题的输入模式都有匹配的关系，存储关系{P->A}到KB
l 输入一个问题并识别其模式
l 产生与这个模式相关的动作

十八、 知识生态与进化
knowledge ecology and evolution

知识生态系统表现为两个基本方面：内部生态系统和外部生态系统
知识的外部生态学规律：知识由信息经过归纳而生成；知识在目的的引导下经过演绎而生成为策略。
知识的内部生态学规律：知识内部在本能知识的支持下由欠成熟的经验知识通过完善而生长成为成熟的规范知识、又由规范知识和经验知识通过沉淀而生长成为过成熟的常识知识以及由常识知识通过某种复杂的进化机制而生长成为新增的本能知识。

十九、 智能的生成过程
generating process of intelligence

有针对性地获取问题即环境的信息，恰当地对这些信息进行处理以提炼知识达到认知，然后在此基础上结合主体的目的信息合理地产生解决问题的策略信息即狭义智能，并利用所得到的策略信息转变智能行为，在给定的环境下成功地解决问题，满意地达到主体的目的，概括来讲即信息经加工提炼成知识，知识被目的激活而成智能，包括四方面的要素（信息，知识、策略和行为）和四方面的能力（信息获取能力，认知能力，决策能力和施效能力）。

二十、 信息转换原理及其必要性
principle of information conversion and its necessity

信息转换原理即信息—知识—狭义智能—广义智能。信息是基本资源，知识是对信息进行加工所得到的抽象化产物，策略是由客体信息和主体目标演绎出来的智慧化身，智能是把信息资源加工成知识，进而把知识激活成解决问题的策略，并在策略信息指导下具体解决问题的能力。即信息经加工提炼成知识，知识被目的激活而成智能。人们通过信息认知过程把获得的信息转变为知识，形成对外部世界相关事物运动规律的认知，这一转换十分重要，因为无知可能导致失败导致遭受淘汰，但认知本身不等与解决实际问题，不解决实际问题就不可能改善人类生存和发展的环境和条件，所以需要信息生成策略来告诉人们采取何种运动状态和状态变化方式来达到预期目的。信息转换规律对科学的进步和发展或者是人类生活都有着极其重要的意义。

二十一、 如何使用模式识别、机器学习等智能方法实现信息的转换？
How can we use learning intelligent technology like pattern recognition/machine to realize information conversion?

感知系统感受环境有关事物运动状态及其变化方式得到第一类认识论信息的语法信息之后将响应
输入到模式识别系统，将其中表征这个语法信息的一组特征化参量提取出来与相应地特征模板进行比较，根据他们之间的匹配情况的差别判断信息所应归属的类别。
输入到机器学习系统的学习与决策系统，其中有保存语法信息与语义信息之间对应关系的全信息知识库，根据目的需求从输入中选择适当地信息进行理解和分析，如果存在一对多的情况，则计算语义信息量和语用信息量然后选取最大的那个进行解释，从而将语法信息转化为全信息，形成相应的策略，然后按照策略控制环境的变化或调节自身的状态以便达到预定的目的，如果控制和调节的结果不能达到目的，就要从感知环节选择新的信息并进行与上述相似的加工决策、控制和调节等过程直到达到目的。

二十二、 信息控制的基本施效机制，适应与学习机制
mechanism of control，adaption and learning

控制信息由干扰信息、目标信息和被控对象的信息经控制单元加工出来输入到执行单元，实现对目标的不断优化，并通过闭环反馈让控制单元了解控制效果从而使系统稳定工作。这种控制信息总是负载在一定形式的载体上，这种载体以自己的某种参量的变化来表现所载荷的信息，其中信息在整个过程中不发生改变。此外，控制信息量必须大于等于干扰信息量，即满足信息阈值原则。
系统的环境或系统内部的结构发生变化，如果能够满足性能函数P的要求，则称系统是适应性的，主要的功能部件为被控单元和控制者，仅根据当时瞬间的性能测度或之前某段时间的平均性能来改变控制参量，在计算新的控制参量时不能完全利用前面各次测量的性能结果。
系统的环境发生变化，且经过时间T之后，能够满足性能P的要求，就称系统为学习系统。学习系统把控制参量的改变引起的性能加以分类—好和坏，然后对于好的性能加以鼓励，对于坏的结果加以惩罚，且具有记忆来充分利用过去的结果确定新的行为。

二十三、 信息自组织的优化原理
system optimization of information self-organizing

一个自组织系统的必要条件是这个系统是开放的，同时这个开放的系统能够与外部世界进行物质、能量和信息交换，但这不是系统实现自组织的充分条件，系统获得自组织的基本前提和关键在于能够从外部环境取得必要的信息—负熵，系统的自组织机制就是在系统满足开放和与外部环境进行适当地物质能量与信息交换（表现为外力、序参量）的条件下，系统原有的稳定平衡状态产生“二分支”的突变现象，变为不稳定的平衡状态，在这种情况下，由于随机力作用，可以使系统由不稳定平衡状态转变到稳定平衡状态，从而实现了自组织，在实现自组织的过程中，序参量起到了指挥者作用，其他子系统都在序参量的指挥下协同动作，才产生了高度有序化的集体行动。

二十四、 举用信息科学原理方法进行研究的例子
do you have the experiences in dealing with any kind of information processing: signal, conventional, intelligent? Give one example or more.

研究目的：基于关联规则的商品推荐系统
研究方法：搜集N个用户的交易数据（本体论信息）并进行处理和提取购买项，统计某商品A被购买的次数、和另一商品B一同被购买的次数（信息处理），设置最小支持度和最小置信度并进行关联规则挖掘（信息再生），即得到用户买了某商品或商品集合A也极可能购买的其他商品集合B，为单独购买了A的用户推荐B（信息施效），检验被推荐用户是否进而购买了B，如果推荐的购买转化率高于一定阀值则保留该规则，否则则舍弃（信息组织）。