人工智能和机器学习--PPT01-机器学习概述.pdf

人工智能与机器学习简介王秋月中国人民大学信息学院Some slides are adapted from those of 李宏毅你心目中的人工智能是什么？什么是人工人工智能？Artificial intelligence(AI,also machine intelligence,MI)is intelligence displayed by machines,in contrast with the natural intelligence(NI)displayed by humans and other animals.-from Wikepedia什么是人工智能智能？计算机科学家：“智能体”是任何可以感知其环境，并采取能最大化其目标实现可能性的动作的设备。管理科学家：能正确地解释外部数据，从这些数据中学习，并利用所学，通过灵活的适应，来达到特定的目标和任务的能力。Colloquially,the term artificial intelligence is applied when a machine mimicscognitive functions that humans associate with other human minds,such aslearning and problem solving.人工智能学科 人工智能学科是研究人类智能活动的规律，构造具有一定智能的人工系统具有一定智能的人工系统，研究如何应用计算机的软硬件来模拟人类某些智能行为的基本理论、方法和技术的学科。人工智能学科通常被视为计算机科学的一个分支，但它涉及到计算机科学、神经科计算机科学、神经科学、心理学、认知学、哲学和语言学学、心理学、认知学、哲学和语言学等各种自然科学和社会科学的学科，其范围已远远超出了计算机科学的范畴。人工智能简史（1956）公元前4至前1世纪，亚里士多德，“如果机器在接受命令或是有了意识后能够完成其职责，那么统治者就不再需要奴隶了。”（Politics,1253.6,35）人工智能简史（1956）人脑的思考或推理过程可以机械化 古希腊哲学家亚里士多德（前384-322）给出了形式逻辑的基本规律。德国数学家和哲学家莱布尼兹（1646-1716）提出了关于数理逻辑的思想，把形式逻辑符号化，从而能对人的思维进行运算和推理。英国数学家和逻辑学家布尔（1815-1864）实现了莱布尼兹的思维符号化和数学化的思想，提出了一种崭新的代数系统-布尔代数。1900年德国数学家希尔伯特的问题；1936年图灵提出图灵机模型可以模拟任何机械的形式化算法。1946年第一台电子计算机诞生。人工智能简史（1956）1950，图灵发表论文Computing Machinery andIntelligence，提出了一个标准：如果一台机器通如果一台机器通过了过了“图灵测试图灵测试”，则我们必须接受这台机器具有则我们必须接受这台机器具有智能智能。如果有30%的人类测试者在5分钟之内无法分辨出被测试对象，则认为通过了图灵测试。黄金时代（1956-1974）1956年，麦卡锡和明斯基组织了达特茅斯会议，第一次提出“人工智能”。纽厄尔和西蒙展示了他们的程序：“逻辑理论家”可以独立证明出数学原理第二章的38条定理；到了1963年，该程序已能证明该章的全部52条定理。萨缪尔研制了一个跳棋程序，该程序具有自学习功能，可以从比赛中不断总结经验提高棋艺。1959年，该跳棋程序打败了它的设计者萨缪尔本人。三年后，该程序已经可以击败一个美国州跳棋冠军了。1956年，塞弗里奇研制出第一个字符识别程序，开辟了模式识别这一新的领域。黄金时代（1956-1974）1965年，西蒙：“二十年之内，机器就可以做人能做的任何事情。”1967年，明斯基：“一代之内创造人工智能的问题就会被基本解决。”第一个人工智能冬天（1974-1980）过度的乐观抬高了整个社会对人工智能的期许。机器定理证明领域遇到了瓶颈，计算机推了数十万步也无法证明两个连续函数之和仍是连续函数。萨缪尔的跳棋程序也没那么神气了，它停留在州冠军的层次，无法进一步战胜世界冠军。1974年，人工智能的发展进入第一个冬天。第一个人工智能冬天（1974-1980）知识就是力量。知识就是力量。费根鲍姆，传统的人工智能之所以会陷入僵局，就是因为他们过于强调通用求解方法的作用，而忽略了具体的知识。1968年，第一个成功的专家系统DENDRAL问世，它可以根据质谱仪的数据和核磁谐振的数据，以及有关化学知识推断有机化合物的分子结构。1972年又研制了诊断和治疗细菌感染性血液病的专家咨询系统MYCIN。1977年第五届国际人工智能大会上，费根鲍姆系统阐述了专家系统的思想，并提出了知识工程的概念。繁荣时期（1980-1987）知识库系统和知识工程成为80年代人工智能研究的主要方向。1980年，卡内基梅隆大学为数字设备公司设计了一套名为XCON的“专家系统”。这套具有完整专业知识和经验的计算机智能系统，在1986年之前能为公司每年节省四千多美元。1981年，日本经济产业省拨款八亿五千万美元支持第五代计算机项目。其目标是造出能够与人对话，翻译语言，解释图像，并且像人一样推理的机器。受到日本的刺激，其他国家纷纷制定了相应的计划。第二个人工智能冬天（1987-1993）随着专家系统应用的不断深入，知识获取成为其进一步发展的主要瓶颈。1982年，物理学家John Hopfield证明了一种新型的神经网络（现被称为“Hopfield网络”）能够用一种全新的方式学习和处理信息。Geoffrey Hinton和David Rumelhart推广了反向传播算法。20世纪80年代末，一些研究者提倡一种基于机器人的全新人工智能方法。他们认为，要展示真正的智能，机器需要有一个身体来感知外部世界并与之交互。这些感觉运动技能对产生更高层次的技能如常识推理是必不可少的，提倡“自下而上”地建设智能。第二个人工智能冬天（1987-1993）因为整体上解决智能问题存在巨大的困难，所以在模仿大脑功能功能的研究上，出现了符号主义；在模仿大脑结构结构的研究上，出现了连接主义；在模仿人类行为行为的研究上（反馈机制），出现了行为主义。符号学派符号学派，认为人工智能源于数理逻辑，试图通过形式化的符号表示和逻辑推理系统来描述智能行为。代表性成果为最早期的自动定理证明，后来又发展了启发式搜索、专家系统和知识工程的理论与技术。连接学派连接学派，认为人工智能源于仿生学试图通过仿真大脑神经网络的活动来实现智能。擅长解决模式识别、聚类、联想等非结构化的问题，但却很难解决高层次的智能问题（如机器定理证明）。行为学派行为学派，认为人工智能源于控制论。认为智能是在与环境的交互过程中表现出来的，即感知-动作，无需知识表示，无需推理。代表作首推Rodney Brooks设计的六足行走机器人，一个基于感知-动作模式模拟昆虫行为的控制系统。平稳发展期（1993-2010）人们对于为什么人工智能未能实现人类智能的梦想的原因没有达成一致意见，从而大分裂：自动定理证明 模式识别 机器学习 自然语言理解 计算机视觉 自动程序设计 1997年5月，IBM的深蓝（Deep Blue）战胜国际象棋世界冠军卡斯帕罗夫 2011年2月，IBM的沃森（Waston）在电视节目“Jeopardy！”中战胜两个优秀的人类冠军选手人工智能简史（2010-）大数据和更快更强的计算机硬件 大规模知识库/知识图谱 深度学习 图像分类 语音识别 同声传译 下围棋 精准医疗 深度学习引领了连接主义的复兴，同时，以强化学习为代表的行为主义也在兴起。以深度学习和强化学习为代表的第三次人工智能浪潮。https:/.tw/2016/07/whats-difference-artificial-intelligence-machine-learning-deep-learning-ai/什么是机器学习？Machine learning is the field of study that gives computers the ability to learn without being explicitly programmed.-Arthur Samuel,1959 A computer program is said to learn fromexperience E with respect to some task T andsome performance measure P,if its performanceonT,asmeasuredbyP,improveswithexperience E.-Tom Mitchell,1997机器学习无处不在垃圾邮件过滤网页搜索网页搜索商品推荐商品推荐欺诈检测欺诈检测电影推荐电影推荐医疗助手医疗助手网络广告网络广告社交网络社交网络语音识别语音识别什么是机器学习？“Hi”“How are you”“Good bye”你说“Hello”大量的音频数据你编写的学习程序学习.“monkey”“cat”“dog”什么是机器学习？这是“cat”大量的图片你编写的学习程序学习.机器学习 寻找一个函数 语音识别：图像识别：下围棋：人机对话：()=f()=f()=f()=f“Cat”“How are you”“5-5”“Hello”“Hi”(用户说)(系统回应)(下一步落子)学习框架一组函数21,ff()=1f“cat”()=1f“dog”()=2f“monkey”()=2f“snake”模型()=f“cat”图像识别:学习框架一组函数21,ff()=f“cat”图像识别:模型训练数据函数的优度Better!“monkey”“cat”“dog”函数输入:函数输出:学习框架一组函数21,ff()=f“cat”图像识别:模型训练数据函数的优度“monkey”“cat”“dog”*f挑选最优的函数应用f“cat”训练测试第一步第二步第三步第一步:定义一组函数第二步:评价函数的优度第三步:选择最优函数机器学习很容易就好像把大象放进冰箱 有监督学习回归线性模型结构化学习半监督学习迁移学习无监督学习强化学习分类深度学习SVM,决策树,K-NN 非线性模型场景方法任务学习导图学习导图学习理论学习导图回归目标函数 的输出是“标量”f今天上午 PM2.5昨天上午PM2.5.明天上午PM2.5(标量)9/01 上午 PM2.5=63 9/02 上午 PM2.5=659/03 上午 PM2.5=100训练数据:9/12 上午 PM2.5=309/13 上午 PM2.5=259/14 上午 PM2.5=20输入:输入:输出:输出:預測PM2.5学习导图回归分类分类 二分类 多分类函数 f函数 f输入输入“Yes”或“No”类别1,类别2,类别N二分类垃圾邮件过滤垃圾邮件过滤函数Yes/NoYesNo训练数据多分类函数政治體育經濟體育政治財經训练数据文档分类文档分类学习导图回归线性模型分类深度学习非线性模型分类 深度学习 图像识别函数“monkey”“cat”“dog”“monkey”“cat”“dog”训练数据每个可能的类别层次结构分类 深度学习 下围棋函数(19 x 19 类)下一步每个位置是一个类别一堆棋谱训练数据黑:5之五白:天元黑:五之5Input:黑:5之五Output:天元Input:黑:5之五、白:天元Output:五之5学习导图有监督学习回归线性模型半监督学习分类深度学习SVM,决策树,K-NN 非线性模型训练数据：函数的输入输出对函数输出=类别标签很难收集到大量的标注数据半监督学习标注数据无标注数据catdog(猫和狗的图像)例如，识别猫和狗：学习导图有监督学习回归线性模型结构化学习半监督学习迁移学习分类深度学习SVM,决策树,K-NN 非线性模型迁移学习标注数据catdog和被训练任务无关的数据(标注的或未标注的)elephantHaruhi例如，识别猫和狗：学习导图有监督学习回归线性模型结构化学习半监督学习迁移学习无监督学习分类深度学习SVM,决策树,K-NN 非线性模型无监督学习 文档聚类：将一大堆文档自动分成几组，相关的文档聚成一组。无监督学习画点什么吧！学习导图有监督学习回归线性模型结构化学习半监督学习迁移学习无监督学习分类深度学习SVM,决策树,K-NN 非线性模型结构化学习“机器学习”“大家好，欢迎大家來选修机器学习”“Machine Learning”f语音识别f机器翻译長門春日實玖瑠人脸识别学习导图有监督学习回归线性模型结构化学习半监督学习迁移学习无监督学习分类深度学习SVM,决策树,K-NN 非线性模型强化学习监督学习和强化学习 监督学习 强化学习Hello AgentAgent.Bad“Hello”说“Hi”“Bye bye”说“Good bye”跟老师学从评价中学监督学习和强化学习 监督学习：强化学习：下一步：“5-5”下一步：“3-3”第一步 许多步Win!Alpha Go 是监督学习+强化学习有监督学习回归线性模型结构化学习半监督学习迁移学习无监督学习强化学习分类深度学习SVM,决策树,K-NN 非线性模型场景方法任务学习导图学习导图学习理论课后练习 请在实际生活中找出以下各类问题（各两例）：回归 二分类 多分类 聚类