2023预训练大模型与医疗：从算法研究到应用.pdf

预训练大模型与医疗：从算法研究到应用闾海荣 博士|清华大学自动化系20230525福州，CHIMA2023CHIMA 2023Page 2Tsinghua Confidential|1.预训练大模型概述2.理解大模型的内在机理3.赋予模型精准性与可解释性4.医疗领域应用5.清华探索：数基生命CONTENTSCHIMA 2023Page 3Tsinghua Confidential|预训练：从大数据到小数据 精 准 可 解 释 医 疗 应 用 数 基 生 命 剖 析 大 模 型 关 于 预 训 练预训练大模型（学习共性）大数据（低成本无标注）少量特定领域标注数据（成本高）微调小模型（学习特性）1.模型角度：模型参数不再是随机初始化，而是通过一些任务（如语言模型）进行预训练；2.数据角度：将训练任务拆解成共性学习和特性学习两个步骤。CHIMA 2023Page 4Tsinghua Confidential|以英文电子病历后结构化为示例 精 准 可 解 释 医 疗 应 用 数 基 生 命 剖 析 大 模 型 关 于 预 训 练ABC英文英文英文电子病历后结构化电子病历后结构化电子病历后结构化不懂英文懂英文懂英文的医生CHIMA 2023Page 5Tsinghua Confidential|Transformer架构：预训练的基石 精 准 可 解 释 医 疗 应 用 数 基 生 命 剖 析 大 模 型 关 于 预 训 练从 word2vec 到 Transformer从 context-free 到 context-awareCHIMA 2023Page 6Tsinghua Confidential|BERT和GPT 精 准 可 解 释 医 疗 应 用 数 基 生 命 剖 析 大 模 型 关 于 预 训 练 两类典型的大语言模型 BERT：Bidirectional Encoder Representations from Transformers 双向模型，同时考虑前文和后文 采用掩码语言模型（masked language model）和下一句预测任务（next sentence prediction）进行预训练，使得模型能够学习到上下文关系和词汇语义 通常用于文本分类、序列标注、问答等任务 GPT：Generative Pre-trained Transformer 单向模型，只考虑前文，不考虑后文 采用自回归（autoregressive）的方式生成文本，即逐个生成下一个词 通常用于生成文本、对话、问答等任务CHIMA 2023Page 7Tsinghua Confidential|BERT训练 精 准 可 解 释 医 疗 应 用 数 基 生 命 剖 析 大 模 型 关 于 预 训 练BERT主要采用掩码语言模型（masked language model，对应图Mask LM）和下一句预测任务（next sentence prediction，对应图NSP）进行预训练，使得模型能够学习到上下文关系和词汇语义。预训练好的BERT可以用于对输入文本进行编码，得到具有语义的向量表示。预训练好的BERT也可以通过微调（fine-tuning）方式适配各类NLP任务：The Stanford Question Answering Dataset问答（SQuAD）、命名实体识别（NER）、MNLI任务（大规模分类任务，目标是预测第二个句子相对于第一个句子是包含，矛盾还是中立）CHIMA 2023Page 8Tsinghua Confidential|BERT表示能力 精 准 可 解 释 医 疗 应 用 数 基 生 命 剖 析 大 模 型 关 于 预 训 练Represented IntoSymbolic SpaceLatent SpaceCHIMA 2023Page 9Tsinghua Confidential|BERT类模型 精 准 可 解 释 医 疗 应 用 数 基 生 命 剖 析 大 模 型 关 于 预 训 练2018年10月 Google AI提出BERT模型参数量1.15 亿,3.4亿数据量约 16GB.2020年2月 Google AI提出的轻量化BERT模型参数量0.2亿，0.61亿，2.4亿数据量约 16GB2019年7月 Facebook AI基于BERT模型的扩展参数量1.15 亿,3.4亿数据量约 160GB2021年10月 Microsoft AI在BERT模型上引入解码与注意力解耦参数量3.4亿数据量约 78GB2019年8月 清华大学提出知识注入BERT模型，后由Baidu AI 更新迭代到3.0版本参数量1.15亿，1.25亿，100亿数据量约 12GB，22.9G，4TB2020年3月 Google AI在BERT模型引入GAN参数量3.4亿数据量约 16GBCHIMA 2023Page 10Tsinghua Confidential|GPT发展史 精 准 可 解 释 医 疗 应 用 数 基 生 命 剖 析 大 模 型 关 于 预 训 练2017年6月Google提出Transformer模型解码器部分为GPT发展奠定基础2017年6月OpenAI提出Few-shot GPT-1模型参数量1.17 亿数据量约 5GB赋予GPT预测下一个字符串能力2019年2月OpenAI提出One-shot GPT-2模型参数量15亿数据量40GB增加GPT解释翻译能力2020年5月OpenAI提出Zero-shot GPT-3模型参数量1750亿数据量40TB赋予GPT处理多任务的能力2022年1月OpenAI提出GPT-3.5模型参数量13亿,60亿，1750亿数据量40TB赋予GPT推理能力多模态生成2023年第一季度OpenAI提出GPT-4模型百万亿级别参数量CHIMA 2023Page 11Tsinghua Confidential|GPT训练过程 精 准 可 解 释 医 疗 应 用 数 基 生 命 剖 析 大 模 型 关 于 预 训 练Unsupervised Pre-trainingExpensive training on massive datasetsDatasets:300 billion tokens of textObjective:Predict the next wordExample:arobotmust?GPTUntrainedGPTCHIMA 2023Page 12Tsinghua Confidential|GPT应用 精 准 可 解 释 医 疗 应 用 数 基 生 命 剖 析 大 模 型 关 于 预 训 练GPT具有搜索引擎的功能2021年12月赋予GPT理解人类 指令的能力2022年2月GPT在编写代码上的应用2021年12月使GPT具有与人类对话的能力2022年11月CHIMA 2023Page 13Tsinghua Confidential|模型内部本质上是基于统计的文字生成器 精 准 可 解 释 医 疗 应 用 数 基 生 命 剖 析 大 模 型 关 于 预 训 练通过对海量文本的学习，自动构建了一个含有1750 亿参数的大模型，建立了对这个世界基本的逻辑认知，由此产生了基于逻辑的推理能力实际上是根据对话中的最近 4095 个记号，算出紧接着最可能是哪个记号但，ChatGPT 模型模型负责把最近的对话内容翻译为一张概率表ChatGPT 负责根据这张表选出下一个记号，再让模型算再下一个记号的概率表CHIMA 2023Page 14Tsinghua Confidential|可以理解为高阶的马尔可夫链 精 准 可 解 释 医 疗 应 用 数 基 生 命 剖 析 大 模 型 关 于 预 训 练ChatGPT根据前 4095 个记号猜下一个记号，所以是一个 4095 阶的马尔可夫链后续状态按一定概率取决于过去状态的随机过程，被称为马尔可夫链m 阶马尔可夫链模型可以根据前 m 个记号算出下一个记号的概率分布如果ChatGPT遇到它在训练时从没见过的记号串怎么办？1 阶马尔可夫链3 阶马尔可夫链神经网络能很好解决这个问题CHIMA 2023Page 15Tsinghua Confidential|概念：嵌入向量（embedding vector）精 准 可 解 释 医 疗 应 用 数 基 生 命 剖 析 大 模 型 关 于 预 训 练嵌入向量：在GPT里面，把一个记号作为一个 N 维浮点数向量来表示。这种用一个向量来表示一个单词或记号的方法按神经网络的术语就叫做嵌入一个单词对应的向量叫这个单词的嵌入向量把每个单词或记号（token）在 GPT 内部都会通过一层简单的神经网络映射层对应到一个嵌入向量，这个向量代表了记号的语言特征GPT-3 是 1600 维，GPT-3.5 2048 维CHIMA 2023Page 16Tsinghua Confidential|位置信息的引入 精 准 可 解 释 医 疗 应 用 数 基 生 命 剖 析 大 模 型 关 于 预 训 练第一步：将离散的顺序号转换成一个与嵌入向量长度相同的向量，称为位置编码（positional encoding）第二步：将位置编码与嵌入向量相加（即对应的元素相加），结果作为后续处理的输入向量第三步：输入向量会被送到多层Transformer进行后续处理，每层Transformer的参数不同，但都会让输入先经过一个线性投影层第四步：线性投影层将输入向量投影到另一个维度空间，剔除不重要的维度，将高维向量简化为低维向量使用Transformer摆脱了人工标注数据集的缺陷，模型在质量上更优、更易于并行化，所需训练时间明显更少CHIMA 2023Page 17Tsinghua Confidential|ChatGPT待优化的部分 精 准 可 解 释 医 疗 应 用 数 基 生 命 剖 析 大 模 型 关 于 预 训 练可信性可信性无法保证，还不能提供合理的证据进行可信性验证01成本高成本高、部署困难、每次调用花费不菲，对工程能力有很高的要求，GPT-3 模型的训练成本在875万-1093.75万美元之间03因为数据的偏见性偏见性，很可能生成有害内容05时效性时效性差，无法实时地融入新知识，知识范围局限于基础大规模语言模型使用的预训练数据时间之前02反映的是标注人员的偏好，在标注标注人员分布不均的情况下，可能会引入新的偏见偏见问题06在特定的专业领域上表现欠佳专业领域上表现欠佳，训练数据是通用数据，没有领域专业数据04CHIMA 2023Page 18Tsinghua Confidential|如何让ChatGPT更靠谱 精 准 可 解 释 医 疗 应 用 数 基 生 命 剖 析 大 模 型 关 于 预 训 练两个关键参数：temperature 参数top_p参数ChatGPT 不是每次都选概率最大的记号CHIMA 2023Page 19Tsinghua Confidential|temperature参数 精 准 可 解 释 医 疗 应 用 数 基 生 命 剖 析 大 模 型 关 于 预 训 练控制语言模型输出的随机性或创造性的参数temperature 参数=0，模型每次都挑最佳候选字，从不偏离temperature 参数越大，生僻的选择变得更容易被选中openAI 试验场（playground）限制 temperature 参数在 0 到 1 的区间t=0t=0.4t=2CHIMA 2023Page 20Tsinghua Confidential|top_p参数 精 准 可 解 释 医 疗 应 用 数 基 生 命 剖 析 大 模 型 关 于 预 训 练限制 top_p 参数在 0 到 1 的区间拿到候选字的原始概率分布后，先把这些字按概率从高到低排序，按顺序依次选取，选到总概率超过 top_p 值的时候即停止，剩下的候选字彻底放弃top_p=0，只保留最高频的一个字top_p=0.5，考虑总概率占 50%的那些最高频的字top_p=1，全部候选字都考虑top_p=0top_p=0.1top_p=1CHIMA 2023Page 21Tsinghua Confidential|大模型精确性提升思路：知识嵌入 精 准 可 解 释 医 疗 应 用 数 基 生 命 剖 析 大 模 型 关 于 预 训 练大模型语言本身具有很强的语言理解或生成能力，然而为了提高其叙述内容的真实性和严谨性，需要采用特定的技术路线，例如将知识图谱中的事实描述融入大模型的训练过程中。知识嵌入：Zhang等人通过将知识图谱的表示向量加入到BERT中对应的tokens编码内，从而使得模型学习到与知识相关的事实信息，增强了模型在相应知识领域的准确性。1相关模型在FewRel和TACRED上的表现参考：1 Zhang,Zhengyan,et al.ERNIE:Enhanced language representation with informative entities.arXiv preprint arXiv:1905.07129(2019).CHIMA 2023Page 22Tsinghua Confidential|大模型精确性提升思路：知识预测 精 准 可 解 释 医 疗 应 用 数 基 生 命 剖 析 大 模 型 关 于 预 训 练参考：1 Liu,Jiacheng,et al.Generated knowledge prompting for commonsense reasoning.arXiv preprint arXiv:2110.08387(2021)知识图谱应用于大模型训练后阶段：Liu等人提出了知识生成式大模型提示方法，让模型进行知识预测，通过将知识图谱的三元组形式转化成Question and answer的形式，让模型生成一些知识，然后将这些知识进行聚合，从而得到最终的更为精确靠谱的结果。模型在数值常识（NumerSense）、一般常识（CommonsenseQA 2.0）和科学常识（QASC）基准测试中进行实验，得出了将外部知识融入到大模型中能够提升其常识推理任务的精度的结论。1CHIMA 2023Page 23Tsinghua Confidential|大模型精确性提升思路：少样本提示 精 准 可 解 释 医 疗 应 用 数 基 生 命 剖 析 大 模 型 关 于 预 训 练参考：1 https:/ https:/www.promptingguide.ai/zh/techniques/fewshotChatGPT作为一种生成模型，存在一些问题。其中最主要的问题是不确定性和预训练语料库中存在的某些局限性，这可能导致ChatGPT在回答一些问题时存在时效性、事实性以及内容不合规等情况。1少样本提示：尽管大型语言模型展现出惊人的零样本能力（泛化能力），但在复杂的任务中使用零样本设置时仍然表现不佳。为了提高模型的性能，我们可以采用少样本提示技术来启发上下文学习。这种技术可以通过给模型提供示例演示来引导其生成更好的响应。演示作为后续示例的条件，可以有效地提高模型的准确性和可靠性。2CHIMA 2023Page 24Tsinghua Confidential|大模型精确性提升思路：自我一致性 精 准 可 解 释 医 疗 应 用 数 基 生 命 剖 析 大 模 型 关 于 预 训 练参考：1 https:/www.promptingguide.ai/zh/techniques/cot2 https:/www.promptingguide.ai/zh/techniques/fewshot由于ChatGPT的训练机制主要专注于“单字接龙”，其在涉及算术和常识推理的任务中的精确性仍有待提升。自我一致性：由Wang等人提出，其核心思想是在链式思考的prompt1基础上，通过采样适量的多个不同推理路径，根据这些方案的一致性情况得出最合理的结果，从而提高模型的准确性和可靠性。2CHIMA 2023Page 25Tsinghua Confidential|大模型精确性提升思路：提示语工程 精 准 可 解 释 医 疗 应 用 数 基 生 命 剖 析 大 模 型 关 于 预 训 练参考：1 Ma,Chong,et al.ImpressionGPT:An Iterative Optimizing Framework for Radiology Report Summarization with ChatGPT.arXiv preprint arXiv:2304.08448(2023).2 Wang,Sheng,et al.Chatcad:Interactive computer-aided diagnosis on medical image using large language models.arXiv preprint arXiv:2302.07257(2023).通过适当的Prompt engineering，可以提升ChatGPT在相应任务上的精确性。ImpressionGPT：使用“动态prompt”来构建具有相似诊断报告的“动态上下文”环境；对生成的报告进行评估，利用评估结果来指导ChatGPT 生成增强的响应，让ChatGPT能够从好样本和坏样本中学习到相关内容。1ChatCAD：设计了三种不同的Prompt，将视觉模型得到的结果通过Prompt更好的让语言模型理解，通过ChatGPT与CAD结合，得到了诊断的性能提升。2CHIMA 2023Page 26Tsinghua Confidential|大模型可解释性 精 准 可 解 释 医 疗 应 用 数 基 生 命 剖 析 大 模 型 关 于 预 训 练机器学习模型的可解释性 传统模型的可解释性思路 模型相关 模型无关 大模型的可解释性思路 基于attention机制：大模型如BERT和ChatGPT等大都基于attention机制构建，但随着模型参数量不断增大，通过attention机制也无法进行模型内部的解释 Prompt Engineering思路：对话中的post-hoc（事后）可解释性CHIMA 2023Page 27Tsinghua Confidential|传统可解释性思路 精 准 可 解 释 医 疗 应 用 数 基 生 命 剖 析 大 模 型 关 于 预 训 练参考：1 Wang,Junlin,et al.Gradient-based analysis of NLP models is manipulable.arXiv preprint arXiv:2010.05419(2020).2 Meng,Kevin,et al.Locating and editing factual knowledge in gpt.arXiv preprint arXiv:2202.05262(2022).2 Clark,Kevin,et al.What does bert look at?an analysis of berts attention.arXiv preprint arXiv:1906.04341(2019).4 Dai,Damai,et al.Knowledge neurons in pretrained transformers.arXiv preprint arXiv:2104.08696(2021).白箱算法的可解释性与模型构造本身高度相关，因此对于大模型可以根据相关思路设计更具有针对性的可解释性方法。主流的模型相关可解释性方法：基于梯度显著性1基于因果启发2基于注意力机制3基于神经元分析4CHIMA 2023Page 28Tsinghua Confidential|针对大模型的可解释性思路：多层注意力机制 精 准 可 解 释 医 疗 应 用 数 基 生 命 剖 析 大 模 型 关 于 预 训 练参考：1 Clark,Kevin,et al.What does bert look at?an analysis of berts attention.arXiv preprint arXiv:1906.04341(2019).BERT、GPT等大预言模型的基础框架为transformer，因此对于此类大模型的可解释性多与transformer 模型的架构与机制有关。多层注意力机制：在Transformer模型中，通常包含大量的attention层。因此，每个attention层对于模型最终输出的影响很难用单层的热力图来解释。如果想要探究这类大型模型的可解释性，就必须从多层注意机制入手，并深入探究多个层之间以及同一层中不同multi-head之间的关系，以及它们对最终结果的影响。1注意力中的表层模式注意力模块的相对位置分隔符标记集中注意力与广泛注意力注意力头探查探查个别注意力头探查注意力头组合注意力聚类CHIMA 2023Page 29Tsinghua Confidential|针对大模型的可解释性思路：信息流解析 精 准 可 解 释 医 疗 应 用 数 基 生 命 剖 析 大 模 型 关 于 预 训 练参考：1 Lu,K.,et al.Influence Patterns for Explaining Information Flow in BERT.(2020).信息流解析：注重模型处理过程中，过程信息流的可视化，这样做的意义和价值在于模型的使用者能够非常清晰的找出模型的输出结果与哪些输入有关，以及这些关联机制在模型的内部是怎样提现的。由于Transformer中注意力层的数量众多，其黑箱特性使得信息在其中的传递变得错综复杂。通过追踪tokens在Transformer内部结构中的信息流向，能够帮助追溯预测结果的依据来源，从而增加模型的透明度并提高其可信度。1CHIMA 2023Page 30Tsinghua Confidential|针对大模型的可解释性思路：Prompt Engineering（ChatGPT时代）精 准 可 解 释 医 疗 应 用 数 基 生 命 剖 析 大 模 型 关 于 预 训 练参考：1 https:/www.promptingguide.ai/zh/techniques/cot通过Prompt engineering，ChatGPT能够对相关的结果做出一定的事后解释，这样的解释以自然语言的形式给出，让人更易理解。链式思考：Wei等人引入链式思考（CoT）提示通过中间推理步骤实现了复杂的推理能力，这样的方法不仅可以提升任务结果的准确性，同时也能使得模型的推理过程一定程度上透明化，从而平衡其黑箱特性带来的过程不可见性，增加结果的可行度。CHIMA 2023Page 31Tsinghua Confidential|针对大模型的可解释性思路：Prompt Engineering思路 精 准 可 解 释 医 疗 应 用 数 基 生 命 剖 析 大 模 型 关 于 预 训 练参考：1 Liu,Jiacheng,et al.Generated knowledge prompting for commonsense reasoning.arXiv preprint arXiv:2110.08387(2021)背景生成知识提示：大模型精准性的板块所讲到的生成式知识大模型提示方法，实际上，这种方法类似于链式思考方法，它让大模型针对一个问题生成特定的知识，并以这些知识作为其思考过程的基础。然后将这些知识进行聚合，最终得出一个答案。这样的过程也是一种可解释性。通过生成式知识提示，我们可以了解大模型在推理和生成答案时所参考的具体知识，从而更好地理解其决策过程。这种方法可以帮助我们发现模型可能存在的偏见或错误，并进一步优化模型性能。同时，由于知识的结构化特点，它还可以为人们提供更加结构化的模型解释，增强模型的可解释性。CHIMA 2023Page 32Tsinghua Confidential|医疗领域应用场景 精 准 可 解 释 医 疗 应 用 数 基 生 命 剖 析 大 模 型 关 于 预 训 练参考：1 Qiu,Jianing,et al.Large AI Models in Health Informatics:Applications,Challenges,and the Future.arXiv preprint arXiv:2303.11568(2023).CHIMA 2023Page 33Tsinghua Confidential|ChatGPT应用于自动印象生成 精 准 可 解 释 医 疗 应 用 数 基 生 命 剖 析 大 模 型 关 于 预 训 练参考：1 Ma,Chong,et al.ImpressionGPT:An Iterative Optimizing Framework for Radiology Report Summarization with ChatGPT.arXiv preprint arXiv:2304.08448(2023).背景在标准的放射学报告中，印象部分是对整个报告描述的总结。自动印象生成（Automatic impression generation，AIG）成为医学领域NLP研究的重点。挑战：对放射科医生来说，写下大量“印象”既费力又容易出错。尽管最近的研究中基于预训练和微调预训练模型在医学文本领域中的自动印象生成方面取得了不错的效果，但此类模型通常需要大量的医学文本数据并且泛化性能较差。思路：ImpressionGPT1使用动态提示（dynamic prompt）和迭代优化（iterative optimization）来增强 ChatGPT 对放射学报告摘要的适应性。ImpressionGPT技术流程图CHIMA 2023Page 34Tsinghua Confidential|ChatGPT应用于自动印象生成 精 准 可 解 释 医 疗 应 用 数 基 生 命 剖 析 大 模 型 关 于 预 训 练最近的研究表明，设计prompt以引导模型关注输入的相关方面，可以产生更精确和一致的输出。因此prompt engineering对自动印象生成非常重要。首先使用标签器对报告的“发现”部分进行分类并提取疾病标签，然后基于疾病类别，在现有的诊断报告语料库中搜索相似的报告。使用“动态提示”来构建具有相似诊断报告的“动态上下文”环境，以便 ChatGPT 可以学习总结与当前疾病相关的诊断报告。CHIMA 2023Page 35Tsinghua Confidential|ChatGPT应用于自动印象生成 精 准 可 解 释 医 疗 应 用 数 基 生 命 剖 析 大 模 型 关 于 预 训 练参考：1 Qiu,Jianing,et al.Large AI Models in Health Informatics:Applications,Challenges,and the Future.arXiv preprint arXiv:2303.11568(2023).ImpressionGPT在AIG任务的两个经典数据集MIMIC-CXR和OpenI上取得了不少的性能提升。对生成的报告进行评估，利用评估结果来指导ChatGPT 生成增强的响应：采用“Instruction+Response”的形式，让ChatGPT能够从好样本和坏样本中学习到相关内容。CHIMA 2023Page 36Tsinghua Confidential|ChatGPT应用于医学图像辅助诊断 精 准 可 解 释 医 疗 应 用 数 基 生 命 剖 析 大 模 型 关 于 预 训 练参考：1 Wang,Sheng,et al.Chatcad:Interactive computer-aided diagnosis on medical image using large language models.arXiv preprint arXiv:2302.07257(2023).背景用于医学图像的计算机辅助诊断(CAD)网络通过使用先进的深度学习算法来支持临床决策，在医学领域取得了重大成功。大型语言模型(LLM)最近展示了在临床应用中的潜力，其提供了宝贵的医学知识和建议。挑战：LLM目前难以从这些医学图像中解释和提取信息，从而限制了他们全面支持临床决策过程的能力。思路：ChatCAD1将 LLM 的医学领域知识和逻辑推理的优势与现有医学图像 CAD 模型的视觉理解能力相结合，为患者提供了一个更加用户友好和易于理解的系统。ChatCAD技术流程图CAD与ChatGPT结合后的交互式问答系统示例CHIMA 2023Page 37Tsinghua Confidential|ChatGPT应用于医学图像辅助诊断 精 准 可 解 释 医 疗 应 用 数 基 生 命 剖 析 大 模 型 关 于 预 训 练使用了三种不同的prompt设计，prompt作为tensor到text的纽带从医学图像得到prompt的策略：1)将检查图像（例如X射线）输入经过训练的 CAD 模型以获得输出2)Prompt#1 将这些输出（通常是张量Output tensor）翻译成自然语言（LLM的提示句）3)Prompt#2 将使用评分系统设计，将Output tensor中的分数分为四类，并用每类对应的自然语言描述五个观察值中每一个的可能性4)Prompt#3 是一个简洁的prompt，报告在Output tensor中诊断分数高于0.5的疾病，如果五种疾病都没有预测，则提示“未发现”CHIMA 2023Page 38Tsinghua Confidential|ChatGPT应用于医学图像辅助诊断 精 准 可 解 释 医 疗 应 用 数 基 生 命 剖 析 大 模 型 关 于 预 训 练CHIMA 2023Page 39Tsinghua Confidential|ChatGPT应用于医学图像辅助诊断 精 准 可 解 释 医 疗 应 用 数 基 生 命 剖 析 大 模 型 关 于 预 训 练基于视觉模型的结果和语言模型中预训练的医学知识，交互式ChatCAD可以进行有关症状、诊断和治疗的对话交互式ChatCAD的两个示例ChatCAD利用ChatGPT与三种不同的prompt设计生成的报告CHIMA 2023Page 40Tsinghua Confidential|团队目前在医疗领域的探索与工作 精 准 可 解 释 医 疗 应 用 数 基 生 命 剖 析 大 模 型 关 于 预 训 练医学影像报告中的所见-影像学报告中的印象1）构建并融合知识图谱+LLaMa（Meta公司开源的生成式大模型）利用知识图谱直接显式的进行形式化拼接，引入预训练语料，通过微调的开源大模型，得到精确性与可解释性更好的模型。2）知识图谱在prompt engineering中的应用方法知识图谱的引入可以使其上下文环境更符合现有领域知识，比如用知识图谱来构建不同疾病之间的关系。通过知识图谱引入专家知识，在prompt前进行一定约束，可以提供更可靠、有效的prompt。大模型：参数化的知识库知识图谱：形式化的知识库promptPrompt是两类知识相互融合的桥梁知识图谱本身具有可读性和一定可解释性，在大模型中引入知识图谱使得模型的输入更可靠CHIMA 2023Page 41Tsinghua Confidential|提出了新的模型架构：EnhancedBERT 精 准 可 解 释 医 疗 应 用 数 基 生 命 剖 析 大 模 型 关 于 预 训 练1.使用密集连接的方式可以连接不同层的表示到最顶层，有助于增强BERT表示的能力。2.融合图结构，一方面可以使大模型编码图结构信息，另一方面有助于提升大模型建模序列中的精确语义信息。使用BookCorpus和WikiPedia训练4层的tiny BERT和tiny EnhancedBERT，结果显示EnhancedBERT相较于原始BERT有较大的提升。CHIMA 2023Page 42Tsinghua Confidential|医疗领域应用实践与探索 精 准 可 解 释 医 疗 应 用 数 基 生 命 剖 析 大 模 型 关 于 预 训 练参考：1 Qiu,Jianing,et al.Large AI Models in Health Informatics:Applications,Challenges,and the Future.arXiv preprint arXiv:2303.11568(2023).一些问题仍待探索1）在多机构场景中所涉及的数据隐私和安全问题2）知识图谱（KG）在prompt design中的使用，以使其更符合现有领域知识（如不同疾病之间的关系）3）“人在回路”在prompt优化迭代的过程中的重要作用4）更丰富的数据集和基准（如包含患者主诉信息的基准数据集）5）多模态数据6）CHIMA 2023Page 43Tsinghua Confidential|清华大学数基生命交叉创新群体 精 准 可 解 释 医 疗 应 用 数 基 生 命 剖 析 大 模 型 关 于 预 训 练群体顾问戴琼海中国工程院院士李衍达中国科学院院士董家鸿中国工程院院士Wing H.Wong美国科学院院士群体骨干张静群体带头人张学工生物信息与机器学习专家清华大学自动化系教授国际计算生物学学会会士魏磊闾海荣谢震古槿江瑞汪小我CHIMA 2023Page 44Tsinghua Confidential|智能医疗的关键：信息获取、理解与呈递 精 准 可 解 释 医 疗 应 用 数 基 生 命 剖 析 大 模 型 关 于 预 训 练科学发现生命机理科学发现未能转化为应用临床患者可用技术错失的机会、浪费的资源损失的生命CHIMA 2023Page 45Tsinghua Confidential|解决思路：数基生命-医疗行业研究与产业发展的新范式 精 准 可 解 释 医 疗 应 用 数 基 生 命 剖 析 大 模 型 关 于 预 训 练机理模型化在数字化实体中，实现贯穿人体分子、细胞、组织、器官和系统的数学模型，让数字实体“活起来”，模拟生老病死各种生命过程，形成人体“数字孪生”。通过模拟个体健康演化和疾病发生发展过程,推演各种因素作用,定量评估重要生命过程,提供精准的动态健康指导和疾病治疗方案。通过全方位、多尺度、多模态生物医学数据感知，把人体表征为数字化实体。应用智能化生命数字化CHIMA 2023Page 46Tsinghua Confidential|通过模型化重构应用生态 精 准 可 解 释 医 疗 应 用 数 基 生 命 剖 析 大 模 型 关 于 预 训 练应用智能化全场景智能化精准医健机理模型化数据-知识双驱动构建大模型智能健康管理智能精准医疗智能公共健康数基生命实验数基设计靶向治疗数碳耦合组织工程生命机理数基重现生命数字化全方位跨尺度数据感知群体-个体-系统-器官-组织-细胞-分子宏观-微观共性平台技术CHIMA 2023Page 47Tsinghua Confidential|数据-知识双驱动的数基生命大模型 精 准 可 解 释 医 疗 应 用 数 基 生 命 剖 析 大 模 型 关 于 预 训 练人体全方位定量数据感知数基生命大模型从基因、细胞到系统的数字画像数基-碳基融合生命系统调控数基智能精准医健数基孪生推演优化医健全场景数字化CHIMA 2023Page 48Tsinghua Confidential|临床预训练模型与知识图谱 精 准 可 解 释 医 疗 应 用 数 基 生 命 剖 析 大 模 型 关 于 预 训 练医学知识图谱百万级医学知识图谱海量医学文献/数据积累（10TB+）多家顶级医院合作构建权威知识图谱语音识别/合成语言大模型+NLP智能交互机器人全自研语音技术基于GPT的语言模型高精度医疗语音识别高噪声低采样率语音识别预训练语言大模型垂直场景小模型深度优化迁移学习+提示学习快速落地复杂多轮对话推理技术智能外呼机器人可视化运维医学知识管理集结湘雅50+权威专家