AI建模师素养手册：理解AI生成(AIGC)_从AE模型出发.pdf

AI建模师手册 理解AI生成-从AE模型出发 目录 1.复习：AE模型 2.AE的预测与生成 3.AE的补值的原理 4.AE的生成的计算 5.AE的潜藏空间容纳经验直觉 本文发表于 台湾AIC产业联盟 技术分享大会(2022.2.17)PyTorch+耐能AI芯片 应用开发技术 1 复习：AE模型(Autoencoder)从AE的补值(Imputation)说起 善用AE模型 补值：寻找一个合理的值来替换缺失的值。(to find a plausible value to replace one that is missing.)AE模型可以学习具有缺失特征值的资料，并生成合理的新数据来替代它们。善用AE(AutoEncoder)模型 learning from corrupted data.善用AE模型 AE模型可以学习具有缺失特征值的资料，并生成合理的新数据来替代它们。the model is able to learn from incomplete data and generate new plausible values for imputation.善用AE(AutoEncoder)模型 善用AE模型 Encoder在降维时，也过滤掉不显著的特征。X H Encoder Decoder Y X Encoder是过滤器 善用AE模型 X H Encoder Decoder Y X X*Wh+Bh=H 基于潜藏空间的显著特征，Decoder生成所期待的面貌。复习AE模型 X H Encoder Decoder Y X Decoder是生成器 X H Encoder Decoder Y X H*Wo+Bo=Y X Encoder Decoder Y X 过滤 H X Encoder Decoder Y X 过滤 H 生成 有招 无招 千变万化 善用AE模型 X H Encoder Decoder 无招(Latent Space)有招 Y X 生成 千变万化 X H Encoder Decoder 无招境界 有招世界 Y X 千变万化 过滤 生成 X H Encoder Decoder Y X 归纳 推论 X H Encoder Decoder Y X 学习 预测 AE像瑞士刀 善用AE模型 AE像瑞士刀 善用AE模型 当谈到在一个充满机器学习问题的世界中生存时，有一种算法可能像瑞士刀一样通用，它是一种自动编码器。(When it comes to survival in a world full of machine learning problems there is one algorithm which may be as versatile as Swiss Knife,and it is an autoencoder.)2 AE的预测与生成 X H Encoder Decoder Y X 学习 预测 AE的学习和推论 AE模拟人类：从所阅历的现象(以X表示)中学习。X H Encoder Decoder Y X AE的学习和推论 AE像人类：当阅历多了，就会在心中沉淀、过滤、进而归纳出其内涵的规律或法则。过滤 生成 AE的学习和推论 请看一个范例 这是一个水果店，记录了3位客人的满意度(即对 各水果的评分值。H Encoder Decoder 其为典型的3 x 2 x 3 AE架构：AE的学习和推论 首先进行正规化(Normalization)例如，将 X值传换成为介于0 1之间的数值。现在，请按下按钮，得出：AE的学习和推论 现在，请按下，就开始训练这个AE模型了。同时，也设定目标值T=X。如下：经过约1分钟，就训练完成了。也就得出其Encoder(即Wh&Bh)，以及Decoder(即Wo&Bo)，如下：同时，也由 X*Wh+Bh=H公式，计算出H值：同时，也由 H*Wo+Bo=Yo公式，以及 Sigmoid(Yo)=Y公式，计算出Y值(预测值)：最后，按下。就将Y值乘以10，得到：AE的学习和推论 这AE模型训练完成了 以上展示了AE模型的训练流程。AE的学习和推论 Encoder会过滤掉不显著的特征 再H空间里的群聚情形愈加明显。X H Encoder 过滤 愈相似的资料，在H空间里 会更群聚 AE的学习和推论 范例：更多笔资料 AE的学习和推论 请您先看看输入资料，依据其资料的相似度(Similarity)而观之，可以明显地看出来，可分为3群(Cluster)。例如，其中第0笔和第2笔，相似度较高：依据相似性而分群 AE的学习和推论 依据相似性而分群 相似性高 归为同一群 AE的学习和推论 依据相似性而分群 相似性高 归为第2群 AE的学习和推论 依据相似性而分群 单独 归为第3群 AE的学习和推论 然后按下学习，就开始训练AI了。得出了：AI并不让人们失望，看看上图的H值，就是5笔输入数据，在这平面上的对应点坐标。如下图：然后按下学习，就开始训练AI了。得出了：群 X H Encoder 过滤 经由Encoder过滤之后，各群的主要特征更为明显，意谓着各群的共同特征更为明显着。H 然后基于H空间里各点的向量(更具群共性)，由Decoder来生成其外貌(含有群共性)。生成 Decoder Y 3 AE生成(补值)的原理 AE生成的原理 Encoder会过滤掉不显著的特征 不显著特征 AE生成的原理 Encoder会过滤掉不显著的特征 显著特征 显著特征 AE生成的原理 Encoder会过滤掉不显著的特征 例如，这两笔的主要(显著)特征很接近(很相似)，在H空间里，更加聚集在一群里。两者 相似性高 AE生成的原理 AE生成的原理 接续上述的范例 然后按下学习，就开始训练AI了。得出了：AE生成的原理 X H Encoder Decoder Y AE生成的原理 于是，就得到Encoder和Decoder。实际操作 AE生成的原理 准备输入Missing Data，如下图：实际操作 AE生成的原理 按下，出现：X H Encoder Missing Data X H Encoder Missing Data 三者 相似性高 X H Encoder Missing Data X H Encoder 特征值&群共性 X H Encoder 呈现 群共性 然后按下补值，就开始训练AI了。得出了：AE生成的原理 X H Encoder Decoder Y Imputed Data Missing Data 请在看一项补值范例 AE生成的原理 准备输入Missing Data，如下图：实际操作 AE生成的原理 按下，出现：X H Encoder Missing Data X H Encoder Missing Data 三者 相似性高 X H Encoder Missing Data X H Encoder 特征值&群共性 X H Encoder 呈现 群共性 X H Encoder Missing Data X H Encoder Missing Data H向量 X H Encoder 特征值&群共性 X H Encoder 呈现 群共性 X H Encoder 呈现 群共性 然后按下补值，就开始训练AI了。得出了：AE补值的原理 X H Encoder Decoder Y Imputed Data Missing Data 4 AE生成的 计算过程 AE生成的计算过程 接续上述的范例 建立一个AE模型，准备从5笔数据中来学习：然后按下学习，就开始训练AI了。得出了：AE生成的计算过程 X H Encoder Decoder Y Imputed Data Missing Data y1 y2 h0 h1 y0 2.68-0.15-1.73-0.50 1.67 x0 x1 x2-0.47 得出W值如下图：y1 y2 h0 h1 y0 2.68-0.15-1.73-0.50 1.67 x0 x1 x2-0.47 得出W值如下图：1.63-0.17 0.28-1.83-0.79-2.83 y1 y2 h0 h1 y0 2.68-0.15-1.73-0.50 1.67 x0 x1 x2-0.47 得出W值如下图：1.63-0.17 0.28-1.83-0.79-2.83-1.3-0.4-0.75 1.07 0.59 基于Encoder和Decoder来进行补值(Imputation)：关键时刻：进行补值 AE生成的原理 请按下，就输出预测值：AE生成的原理 Imputing 请仔细看第0笔，看看它是如何计算的?AE生成的原理 关键时刻：进行补值 Missing特征不参与 Encoder的计算：y1 y2 h0 h1 y0 2.68-1.73-0.50 1.67 x0?x2 1.63-0.17 0.28-1.83-0.79-2.83-1.3-0.4-0.75 1.07 0.59 y1 y2 h0 h1 y0 2.68-1.73-0.50 1.67 0.8?x2 1.63-0.17 0.28-1.83-0.79-2.83-1.3-0.4-0.75 1.07 0.59 y1 y2 h0 h1 y0 2.68-1.73-0.50 1.67 0.8?0.1 1.63-0.17 0.28-1.83-0.79-2.83-1.3-0.4-0.75 1.07 0.59 y1 y2 h0 h1 y0 2.68-1.73-0.50 1.67 0.8?0.1 0.28-0.79-2.83-1.3-0.4-0.75 1.07 0.59 计算出潜藏空间向量：-0.17 1.63-1.83 Z=Sigmoid(Y)*10 z0=7.9 z1=1.8 z2=0 y1 y2 h0 h1 y0 0.28-0.79-2.83-1.3-0.4-0.75 1.07 0.59-0.17 1.63-1.83 Round X H Encoder Decoder Y Imputed Data Missing Data Missing特征不参与 Encoder的计算：y1 y2 h0 h1 y0-1.73 1.67?x2 1.63-0.17 0.28-1.83-0.79-2.83-1.3-0.4-0.75 1.07 0.59 y1 y2 h0 h1 y0-1.73 1.67?0.7 1.63-0.17 0.28-1.83-0.79-2.83-1.3-0.4-0.75 1.07 0.59 y1 y2 h0 h1 y0-1.73 1.67?0.7 1.63-0.17 0.28-1.83-0.79-2.83-1.3-0.4-0.75 1.07 0.59 Z=Sigmoid(Y)*10 z0=0 z1=1.1 z2=8.4 y1 y2 h0 h1 y0 0.28-0.79-2.83-1.3-0.4-0.75 1.07 0.59-0.17 1.63-1.83 Round 5 AE的潜藏空间(Latent Space)容纳 经验直觉 新西兰科学家 Valerie Mulukom 指出，在心理学中，直觉(Intuition)通常被理解为分析推理(Analytic Reasoning)之外的思考方式。直觉：是自动、快速、潜意识(Subconscious)。分析推理：后者刻意、缓慢、逻辑性和有意识。认识直觉(Intuition)AE的经验直觉 AE的经验直觉 国际象棋大师、职业棒球运动员、获奖作家和作曲家就说不清自己是如何完成工作的。许多技能是不能用语言描述的。你可能也有过这样的一种体验当你在某一领域里经历了长期的训练后，你会发展出某种常人没有的直觉。这就是所谓的：专家(经验)直觉。认识直觉(Intuition)AE的经验直觉 国际象棋大师：认识直觉(Intuition)AE的经验直觉 人们透过无意识的直觉做出的判断，有时比慎思熟虑更为有效。但从生物演化的角度看来，任何事情在等到完全确定后再行动，反而是极其危险的当原始人在森林中漫步时听到怪声，他应该立刻提高警惕，而不是等到野兽扑面而来时才做出反应。当我们身处于自身具有丰富经验的领域里时，应该相信自身的直觉，而不是刻意思考。认识直觉(Intuition)AE的经验直觉 当今的ML(机器学习)可以学习 例如，您打电话向自助餐老板订购，老板问您：今天想吃什么？您说：今天吃排骨。老板接着问您：要配什么菜？您回答：都可以。中午吃饭时，打开便当，发现便当里有一个鲁蛋。想一想，这老板如何预测：1颗鲁蛋呢?请您欣赏一下 冯彦霖小姐的4格漫画(摘自她的)：1 2 3 4 兹说明如下：AE的经验直觉 当今的ML(机器学习)可以学习 请看看AE(自编码器)，也能学习一些历史数据中，学习一些专家直觉了。于是AE也能具备像这位餐厅老板的 直觉智慧。未来能拥有更丰富、精湛的直觉。首先建立一个 3 x 2 x 3 的AE模型：y1 y2 h0 h1 y0 x0 x1 x2 AE的经验直觉 X H Encoder Decoder Y X 过滤 生成 首先建立一个 3 x 2 x 3 的AE模型：AE的经验直觉 范例：这家餐厅的历史资料 这家餐厅收集了6位客人的订餐历史资料，如下表：AE的经验直觉 建立一个 3 x 2 x 3 的AE模型：AE的经验直觉 展开学习：请按下，就训练出Encoder和Decoder，并且计算出H和Z值。已经学到了直觉，并记录于Encoder和Decoder里：AE的经验直觉 X H Encoder Decoder Y 发挥AE的经验直觉，如下：AE的经验直觉 具有专家直觉的AE，可以代替餐厅老板来接受新客人的订餐了。X H Encoder Decoder Y Imputed Data Missing Data 现在来实际操作，如下：AE的经验直觉 具有专家直觉的AE，可以代替餐厅老板来接受新客人的订餐了。请按下，AE就运用其专家直觉，将客人没有填写的(遗失)数据，填补起来：AE的经验直觉 于得到满意的结果：AE的经验直觉 下一集预告：AE如何从Missing Data学习呢?AE的经验直觉 在刚才的范例里，AE都是从完整的历史资料中学习智能(如经验直觉)。现在，就来想一想：如果这些历史资料有所缺失，那么AE也可以从这些Missing Data中学习其智能吗?下一集预告：AE如何从Missing Data学习呢?AE的经验直觉 例如，下表里的客人数据中，有些特征值是遗失的：AE的经验直觉 现在来实际操作，如下：这也是一个 3 x 2 x 3 架构的AE模型：AE的经验直觉 展开学习：请按下，就训练出Encoder和Decoder，并且计算出H和Z值。AE的经验直觉 按下，就把遗失的数据填补起来了：呈现 群共性 未来发展之路 AE的经验直觉 这是对Keras之父 Francois Choollet的访问及交流内容。https:/ 未来发展之路 AE的经验直觉 In In summary,I expect AI to increasingly blend summary,I expect AI to increasingly blend intuitive pattern intuitive pattern recognition modules with formal recognition modules with formal reasoning modules.reasoning modules.总结一下，我们认为未来AI模型将会融合直觉模式识别模块与形式推理模块。科技产业信息室-Kyle 发表于 2020年9月29日 AE的经验直觉 未来发展之路 AI是有史以来最强大的科技之一，但已经历经四次的演变。实际上，自1950年代问世以来 第一代AI是属于描述性分析。第二代是诊断性分析。第三代也是最近的这一代AI是预测性分析，主要是基于已经发生的事情进行预测将来。而未来第四代是能够模仿人类直觉(Artificial Intuition)的AI。未来人工直觉标志着AI将成为真正“智慧”的关键的一步。上述文章里提到 AE的经验直觉