资源描述
人工智能概述算法技术原理应用场景介绍目 录C O N T E N T S123人工智能概述从模拟人类智能角度而言,人工智能应具备如下能力:具备视觉感知和语言交流的能力。即能够识别和理解外界信息 (计算机视觉研究范畴)、能够与人通过语言交流 (自然语言理解研究范畴)。具备推理与问题求解能力。即基于已有知识,对所见事物和现象进行演绎推理以解决问题。具备协同控制能力。即将视觉 (看)、语言 (说)、推理 (悟)等能力统 一协调,加 以控制,这是常见的机器人研究领域内容。具备遵守伦理道德能力。即模拟人类智能的智能体在社会环境中要遵从一定的伦理道德。阿西莫夫在科幻小说中按照优先级定义了机器人需要遵从的三条伦理原则:不得伤人,或弃人于危难;需服从人;在不违反上述两条原则情况 下,保 护机器人 自 己,具备从数据中进行归纳总结的能力。即需要从数据中进行知识、规律和模式学习的模型和方法,这是机器学习研究范畴。推理与问题求解计算机视觉机器人学人工智能的定义人工智能是以机器为载体所展示的人类智能,因此人工智能也被称为机器智能。自然语言处理特点将概念 (如命题等)符号化,从若干判断 (前提)出发得到新判断 (结论)探寻搜索依据已有信息来寻找满足约束条件的待求解问题 的答案从数据中发现数据所承载语义 (如概念)的内在模 式椒 坭 环 掊 长 供 的 奖 罚 反 馈 来 学 习 所 处 状 太 可根 据 力 7 环 境 /,所 提 医 的 关.乙有 及 喷 术 子 合 ,所 地 V化 芯 r内施加的最佳行 动,在“探 索 (未 知空间)一利用(已有经验)”之 间寻找平衡,完成某个序列化任务,具备自我学习能力从“数据拟合”优 化解的求取向“均衡解”的求取迈进手段与方法以符号主义为核 心的逻辑推理以问题 求解为核 心的探寻搜索以数据驱动为核 心的机器学习以行为主义为核 心的强化学习以博 弈对抗为核 心的群体智能人工智能主要算法与特点人类智能与机器智能的区别大数据、小任务;小数据、大任务见一叶落,而知岁之将暮;见瓶水之冰,而知天下之寒注:看见一片叶子凋落;就知道一年将要结束;看到瓶中的水结冰,就知道天下已经寒冷了。通过细微的征兆便可以看到整个形势的发展。适应能力 常规、按照规则行事有常识 无直觉 逻辑机器智能通过实例学习人类大脑自学习人工智能、机器学习与深度学习的关系从科普角度粗略地说,人工智能涵盖了其他所有概念,而机器学习是人工智能的一个子方向,而深度学习又是机器学习中的一类方法。至于机器学视觉与自然语言处理,它们是人工智能领域的两个具体应用,而且往往会用到深度学习。人工智能机器学习(吵L)深度学习(DL)机器视觉(CV)自然语言处理(NLP)算法技术原理决策树聚类无监音学习主成分分析 (PCA)前馈神经网络卷积神经网络网铬模型循环神经网络生成对抗网络机器学习概述线性回归监督学习算法机器学习概述中心化和标量化数据变换 有偏分布 变量尺度差异大 有离群值的教据进行变换Box-Cox变换检查共线性 。变量选择 稀疏变量 。查找并且删除稀疏变量编码名义变量 。描述统计、假设检验、相关分析、方差分析、回归分析、聚类分析、判别 分析、主成分与因子分析、统计分析方法 。时 间序列分析、决策树、随机森林、支持向量机等SWOT、4P、PEST、SMART、5W2H、User behavior营销 管理分析方法 。等准确定义实际问题评估当前状况问题 到 数据 (5-15%)e 确定数据挖掘 目标 制 定项 目计划现有数据收集数据需要收集数据数据准备 (10-15%)e 描述数据初步确定数据关系模型评估(5-10%)结果交流展示行动计划模型应用(10-15%)模型检测维护项 目评估反馈检查数据 彐 变量分布,是不是存在错误的观测中位数、众数、均 值缺失值填补 0 K-近邻填补boosting、random forest填补机器学习通用建模流程取送于费要售立的模型,对不符合正态分布假设,数据分析流程数据处理(45-55%)了解缺失原因.选择填补方式建模(5-15%)数据清洗)=“你好”)-“嘴”)=“55”(落子位置)=“今天天气真不错”机器映射函数f(“你好”用户输入射到语 义 空间,围 棋 即寻找数据和的关系。对话系统 原始数据中提取特征 学 习映射函数f 通过映射函数 f将原始数据映f(f(f(什么是机器学习机器学习构建一语音识别 图像识别任务 目标之间芒果机器学习如果判断芒果是否甜?从市场上随机选取的芒果样本(训练数据),列出每个芒果的所有特征:如 颜色,大 小,形状,产地,品牌 以及芒果质量(输 出变量):甜蜜,多汁,成熟度。设计一个学习算法来学习芒果的特征与输 出变量之间的相关性模型。下 次从市场上买芒果时,可 以根据芒果(测试数据)的特征,使用前面计算的模型来预测芒果的质量。强化学习智能体和环境交互的轨迹 T 和累积奖励Gr期望总回报E G-策略评估策略改进监督学习训练集(x(n)y 1y=f.x)或p(y|x)期望风险最小化最大似然估计无监督学习训练集x=1p(x)或带隐变量z的 p(x|z)最大似然估计最小重构错误训练样本优化目标学习准则常见的机器学习类型4监督学习的重要元素标注数据:标识了类别信息的数据学习模型:如何得到映射模型损失函数:如何对学习结果进行度量在测试数据集测试映射函数f期望风险:当测试集中存在无穷多数据时产生 的损失。期望风 险越小,学习所得模型越好从训练数据集学习得到映射函数f经验风险:训练集中数据产生的损失。经验风险越小说明学习模型对训练数据拟合程度越好。监督学习:经验风险与期望风险训练集经验风险小(训练集上表现好)经验风险小(训练集上表现好)经验风险大 (训练集上表现不好)期望风险小(测试集上表现好)期望风险大(测试集上表现不好)期望风险大(测试集上表现不好)泛化能力强过学习 (模型过于复杂)欠学习监督学习:“欠拟合”与“过拟合”“神仙算法”或“黄粱美梦”期望风险小(测试集上表现好)经验风险大(训练集上表现不好)期望风险最小化经验风险最小化18Loss(yi,f(xi)+aJ(f)i=1经验风险 模型复杂度n一nfeni结构风险最小化(structural risk minimization):为了防止过拟合,在经验风险上加上表示模型复杂度的正则化项(regulatizer)或惩罚项(penaltyterm):在最小化经验迅险与降低模型复杂度之间寻找平衡监督学习:结构风险最小经验风险最小化:仅反映 了局部数据期望风险最小化:无法得到全量数据19如何减少泛化误差机器学习=优化3过拟合:经验风险最小化原则很容易导致模型在训炼集上错误率很低,但是在未知数据上错误率很高。过拟合问题往往是由于训练数据少和 噪声等原因造成的,正则化 降低模型复杂度优化经验风险最小欠拟合过拟合正常(bias)varianceR(f)错误模型复杂度高偏差低方差如何选择一个合适的模型集成模型:有效的降低方差的方 法(c)(d)(a)(b)最优模型监督学习22线性回归 在现实生活中,往往需要分析若干变量之间的关系,如碳排放量与气候变暖之 间的关系、某 一商品广告投入量与该商品销售量之间的关系等,这种分析不同变量之间存在关系的研究叫回归分析,刻画不同变量之间关系的模型被称为回归模型。如果这个模型是线性的,则称为线性回归模型。一旦确定了回归模型,就可以进行预测等分析工作,如从碳排放量预测气候变化程度、从广告投入量预测商品销售量等。决策树 决策树是一种树型结构,其 中每个内部结点表示在一个属性上的测试 每个分支代表一个测试输出,每个 结点代表一种类别,决策树学习是以实例为基础的归纳学习。决策树学习采用的是自顶向下的递归方法,其基本思想是以信息熵为度量构造一棵熵值下降最快的树,到叶子节点处的熵值为零,此时每个叶节点中的实例都属于同一类。根结点0个子大不会吱吱叫 会吱吱叫可能是长颈鹿可能是松鼠 可能是老鼠可能是大象在陆地上 在水里可能是犀牛 可能是河马鼻子短 鼻子长脖子长个子小脖子短26
展开阅读全文