智能质检白皮书（2023）.pdf

目 录一、发展趋势：AI 语义质检 04质检业务的 4 个主要发展阶段为什么说“AI 语义”模式是未来趋势？基于深度学习的“AI 语义”模式的优势“AI 语义”模式的技术原理基于“大模型”的新一代解决方案二、新实践：双模质检 10“关键词+正则”模式的适配场景“AI 语义”模式的适配场景“双模”质检，各司其职三、新实践：流程质检 14什么是“流程质检”？流程质检的常见使用场景四、企业微信质检 18离线质检：企业微信需开通“会话存档”实时质检：支持 PC 客户端和手机客户端微信质检的常见问题 FAQ五、Compliance 产品七大亮点 22关联质检：全面提升“多通会话”成组质检的能力流程质检：灵活配置，适配各种复杂业务场景自定义字段：让质检与业务结合更紧密会话详情页改版：提升用户体验一键对接质检工单系统：快速在线生成质检报告10000+质检业务模板更新：可即插即用全自研核心 AI 技术：保障更高检出率、更快优化能力六、保险行业的实践 30实践一：从“关键词”升级到“一段话的语义”实践二：引入自定义字段和复杂流程&逻辑配置七、多行业案例 35银行：中信银行保险：大都会人寿证券：招商证券教育：火花思维八、质检项优化 41-4-一、未来趋势：AI 语义质检市面上有很多面向销售和客服人员的语音、文本质检系统，其他绝大部分产品使用的是基于“关键词+正则表达式”实现方式。由于漏检和错检问题严重，单纯地依靠这类质检方式，越来越难以满足企业的实际需求。-5-2023 智能质检质检业务的 4 个主要发展阶段很多企业拥有中大型电销或客服中心，每天与客户产生成千上万次沟通。沟通的质量，决定了企业的收入或客户满意度。企业监督业务人员的沟通质量和执行力的过程，被称为质检。在未引入机器质检（系统质检）之前，以呼叫中心场景为例，质检人员只能依靠人工抽听录音的方式进行质检，后来企业引入“语音转写”技术，质检员可以边听边看，效率得到提升。引入初代的机器质检系统之后，通过设置关键词和简单正则质检项，机器可以帮助质检员做一轮全量的初筛，质检员则复检机器质检的结果。引入新一代机器质检系统之后，机器可识别上下文语义，帮助质检员更快更高效地找出所有违规对话。5%左右100%质检覆盖率人工抽听人工抽听+语音转写初代机器质检（关键词+简单正则）新一代机器质检（复杂正则+AI 语义）-6-为什么说 AI 语义模式是未来趋势？市面上有很多面向销售和客服人员的语音质检系统、文本质检系统，绝大部分产品实际使用的是基于“关键词+正则表达式”的机器质检系统。这种方法的主要优点是部署和上手使用都比较快，主要缺点是存在非常严重的漏检和错检情况。就像一个漏孔很大的筛子一样，难以满足企业对质检的需求越来越精细、对质检效率要求越来越高的发展趋势。因此，在“关键词+正则表达式”之外，我们开始越来越多地为客户提供基于深度学习模型的 AI 语义方案，并且在实际使用中能够多发现210倍的问题。对于企业而言，采用“AI 语义”方案意味着他们可以全面地提升服务质量或者实现合规升级。“关键词和正则的方法，难以满足企业对质检的需求越来越精细、对质检效率要求越来越高的发展趋势。-7-2023 智能质检基于深度学习的“AI 语义”模式的优势语音和文本质检的主要任务是找出业务人员“说了什么不该说的内容”或者“该说的什么内容没有说”。前者通常被称为负向质检；后者通常被称为正向质检，企业可以设置为“做得不好就减分”的惩罚制，也可以设置为“做得好就加分”的奖励制。传统基于“关键词+正则表达式”的产品做质检，所遇到的最主要问题是“找不全”，通常会漏掉很多不合格、不合规之处，导致质检效率大打折扣。看一个实际对比的例子。某互联网公司的基础质检项“服务态度问题”，在我们的实际应用中：使用传统“关键词+正则”方案，一天的数据中能找出13条，100%是正确的；使用新的“AI 语义”方案，能找出134条，其中78%是对的。从最终结果看，新的“AI 语义”方案多找出了 8 倍的问题。原因其实很简单。如果使用基于“关键词+正则”的方案，方法是用关键词的组合来涵盖每个质检项的不同表达方式但是你可以写 10 个关键词，100 个关键词，却永远不可能穷尽，因为语言的表达方式是非常多样的、千变万化的，必须通过整个句子的上下文语义才能做出更准确的判断。质检项“服务态度问题”系统找出量（一天）正确率问题检出量问题检出率传统关键词+正则方案13 条100%13 条1x新一代AI 语义方案134 条78%104 条8x-8-“AI 语义”模式的技术原理AI 语义方案，目标是训练一个深度学习算法模型，使之能够判断关键词未覆盖的句子是否命中了质检项。我们以另一个贷后资产管理领域常见的质检项“暴露客户隐私”为例。从标注到训练模型，再到最后上线使用，“AI 语义”方案大致分为三个步骤。第一步，使用我们的“标注工厂”产品，通过人工的方式，将是“暴露客户隐私”的句子标记为“正例”，将不是“暴露客户隐私”的句子标记为反例。第二步，将一定规模的经过标注的正例和反例都“喂”给训练器，让训练器学习到一个算法模型，这个算法就能用来判断新句子是不是涉嫌暴露客户隐私。第三步，在质检产品中，系统就可以标记出所有命中“暴露客户隐私”语义点的句子，复检员可以快速定位到该质检项所处的位置，迅速进行核实。此外，复检员每一次复检的操作，都相当于对算法模型进行了一次反馈，会帮助算法模型变得更准。最终，比”关键词+正则“方案多找出数倍的不合格、不合规之处，达到召回率（找的全）、准确率（找的准）均在80%以上的效果。-9-2023 智能质检基于“大模型”的新一代解决方案2021 年 4 月，循环智能联合华为云发布了全球首个千亿参数的中文语言预训练大模型“盘古”，发布时盘古大模型打破了权威评测榜单 CLUE 的三项记录。经过一年多的研发和进化，循环智能把零样本技术推向落地，建成了零样本 NLP 平台。盘古零样本 NLP 平台搭载了，经过极致优化的 15 亿参数可落地模型，性能显著超越原版的千亿模型。零样本学习是全新的 NLP 生产范式，在大部分场景下无需标注样本，只需要人类提供指令（Prompt）即可完成建模，大幅度地降低生产门槛；在少部分场景下，仅需通过少量样本（通常 10-50 条数据）进行微调，即可完成建模。从模型效果的角度看，通过盘古零样本平台生产的 NLP 模型，跟原来的标注几百条样本得到的模型，可以做到效果相当；从生产周期的角度看，大部分 NLP 模型生产可以从传统方法的几天降至几分钟，少部分需要微调的模型也仅需要一两个小时即可完成生产，生产效率提升 10 到 1000 倍。-10-二、新实践：双模质检随着自然语言处理（NLP）领域技术的发展，以“AI 语义”质检模式为主、“关键词+正则”模式为辅的方案已成为未来发展趋势。两种模式将长期共存，因为它们各有其更擅长做的事情、更适配的场景。-11-2023 智能质检“关键词+正则”模式的适配场景在实际应用中，“关键词+正则”作为一种基础质检模式，越来越难以满足企业在质检效果和效率上的精细化需求。但是，这种模式也有它的优势：上手快。当企业提出一个新的、此前从未用过的质检项时，质检项的标准尚未完全确定，因此可以用“关键词+正则”模式先跑起来，快速进行探索和迭代。其后根据初步探索和迭代的结果，再判断是否可以升级到基于深度学习技术的“AI 语义”模式。这是适配“关键词+正则”模式的第一种场景。第二种场景：当一个质检项命中的目标通话量比较少，只有几百甚至几十条，就无法产生足够的“正例”给机器学习模型进行训练，只能继续采用“关键词+正则”模式。这是一种被动场景，也是比较常见的场景。还有一种场景比较特殊：有些质检项命中的目标通话比较多，原则上可以用来训练机器学习模型，但是因为“关键词+正则”已经得出不错的结果，既找得全（术语叫召回率高），又找得准（术语叫准确率高），两个值都超过90%，那么暂时就不迫切需要升级到“AI 语义”质检模式了。比如很多企业需要的正向质检项“礼貌问候”，因为可以穷举出大部分“礼貌问候”的用词，用“关键词+正则”模式就能得到双90%的结果。不过，这种场景非常少见。大部分情况下，“关键词+正则”质检模式相比基于深度学习技术的“AI 语义”质检模式，在找全率和找准率上有很大差距。-12-“AI 语义”模式的适配场景在实际应用中，传统“关键词+正则”模式，很难找得全和找得准目标通话，大大影响工作效率如果找不全，就意味着会遗漏很多目标通话；如果找不准，就意味着在人工复检时会浪费大量人力。“AI语义”质检模式，可更好地解决上述痛点。考虑到在实际使用中，质检项与命中的目标通话量之间的关系也存在“二八法则”20%的质检项贡献了 80%的质检量，所以将质检量大的少数质检项升级到“AI 语义”模式，往往可以大幅提升整个质检任务的找全率和找准率。这是“AI语义”质检模式主要的适配场景。第二种场景：某些质检项，虽然从某一家企业的角度看，所命中的目标通话量不算大，但是这个质检项是整个行业中较为成熟的、通用的质检项，其他企业也都在用，那么就可以采用基于深度学习技术的“AI语义”模式进行模型训练。因为其他企业都可以比较快速的复用，所以“AI 语义”模式带来的收益就更高。与“关键词+正则”质检模式相比，“AI 语义”模式，不再需要既懂业务又懂正则的稀缺人才编写规则和迭代规则，只需要普通人快速进行数据标注即可训练算法模型，而且通常能得到更好的效果。“AI 语义模式，只需要普通人快速进行数据标注即可训练算法模型。”-13-2023 智能质检“双模”质检，各司其职当前阶段，质检项应该采取哪种模式，主要取决于该质检项产生的目标通话量大小通常数量大，才能快速标注数据、训练出更好的算法模型，采用“AI 语义”模式，否则仍需要继续使用“关键词+正则”模式。其次也要考虑到质检项的成熟度太新的、标准尚不明确的质检项，适合先用“关键词+正则”模式迭代起来，再决定何时升级到“AI语义”模式。综合来看，在实践中采用“双模”方案，让两种模式各司其职，可最大程度提升质检效率。双模质检，各司其职。“AI 语义”质检方式通过引入深度学习算法模型，能够更好地利用上下文语义来判断一个句子是否命中了质检项，显著提升找全率（术语“召回率”）和找准率（术语“准确率”）。同时，由于深度学习算法模型对训练数据量有要求，因此“AI 语义”方式更适合目标通话量较多的质检项，而目标通话量过少的质检项，无法训练出好的算法模型，需要继续使用“关键词+正则”的方式。综合来看，在实践中采用“双模”方案，让两种模式各司其职，可最大程度提升质检效率。-14-三、新实践：流程质检如何监督业务人员在遇到特定场景或客户的特定问题时，有没有执行标准流程，有没有按要求进行回复？-15-2023 智能质检什么是“流程质检”？最常见的全局质检项，是只要在通话中命中了某个语义点，就判定为违规。例如员工在对话中“过度承诺”在几乎任何场景下都是违规的“流程质检”则适用于有前置判定条件、需要进行逻辑判断或者需要多个“语义点”组合来判断是否合规的场景。简而言之，就是稍微复杂一些的场景。具体来看，流程质检的质检项，首先需要判断一个对话是在讲什么事情，然后再判断针对这件事情，业务人员的回答是否满足一个或多个规范条件。先判断对话在讲什么事情，有时候是通过语义点来判断，有时候可以通过企业上传的自定义字段。有时候企业会要求某个 SOP（标准作业流程）需要在对话开始的前几分钟内完成，有时会要求某个 SOP必须执行几次接下来，我们看一些比较场景的流程质检实例，应该很快就可以了解流程质检的作用了。-16-实例：判断开场白是否完整实例：判断是否完成“销户”场景 SOP如下所示，有些企业会要求坐席在首次联系客户时，确认客户身份后报出完整的开场白包括：问候语、公司名称、工号及姓名。如下所示，有些企业会要求坐席在遇到客户需要“销户”的场景时，首先询问客户销户原因，然后挽留客户，最后在挽留失败时再指引办理。-17-2023 智能质检实例：验证自定义字段信息实例：判断是否提前核实了客户身份如下所示，当坐席未询问客户的联系方式，但是编辑了自定义字段中的“联系方式”，质检系统也可以用来验证人工填写的字段是否有效。如下所示，按照规定坐席人员在谈及合同中的隐私信息时，需要先核实客户的身份。也就是，如果未核实身份，就谈及合同详情，即是违规。-18-四、企业微信质检企业与客户沟通的渠道处于不断变革中。当前，企业微信被越来越多企业采用。因此，我们在电话录音质检和在线 IM 文本质检的基础上，新增了对企业微信的支持，包含离线的存档会话质检和实时质检（实时违规提醒）功能。-19-2023 智能质检离线质检：企业微信需开通“会话存档”当前，企业微信被越来越多企业采用，员工采用企业微信可与客户的个人微信进行消息互通，同时可展示企业认证员工的身份，有助于赢得客户的信任。例如:银行的理财顾问使用企业微信，向高净值客户推荐理财产品;婚恋平台的红娘使用企业微信，为会员提供一对一服务；高端品牌商的导购员使用企业微信，向顾客推荐新到的商品。对企业而言，员工通过任何渠道与客户进行的沟通，都应该保证沟通的质量和规范性。因此，我们在电话录音质检和在线 IM 文本质检的基础上，新增了对企业微信的支持。使用企业微信的客户，为员工开通“会话存档”功能之后，即可调用官方接口，将会话内容接入循环智能的质检产品中，对沟通中的文本和语音（循环智能会将语音转写为文本）进行质检。需要注意的是，就像电话录音需要提醒客户一样，开通了企业微信的“会话存档”功能之后，企业员工在与客户沟通时会自动出现“服务须知”的提示。开通“会话存档”后，对话中会出现相关提示-20-实时质检：支持企业微信 PC 客户端和手机端企业越来越多采用企业微信的一个重要原因是，相比于个人微信，企业微信可以更好的留存客户的资源员工的工作变动或离职后，无法带走客户。为了保障服务质量，降低聊天沟通中出现的违规对话。开通了企业微信的“会话存档”功能之后，可以设置敏感词，出发敏感词的信息无法发送，例如财富管理行业中，会设置“保本”等关键词，避免财富顾问对客户做出错误的承诺。不过，人与人的沟通对话，同样的意思通常有很多种表达方法，仅仅依靠敏感词设置，依然会遗漏大量的风险。借助企业微信开放的“侧边栏”自定义功能，循环智能可以帮企业集成一套实时的质检和违规提醒功能。质检系统除了支持常规的正则表达式，还支持 AI 语义质检，通过识别对话上下文的语义，来判断对话内容是否涉及违规。借助 AI 语义质检，企业可以减少漏检的情况，从而更好地提醒员工，更好地保障业务的合规性。企业微信的 PC 版和手机版均支持。企业微信的侧边栏，可集成循环智能的实时质检模块，在沟通中实时提醒销售人员，对话可能触及了违规项，从而及时修正。-21-2023 智能质检微信质检的常见问题 FAQ问：微信聊天中的图片和表情可以质检吗？答：目前仅针对文本和语音，图片和表情暂不处理。问：支持群聊、企业微信与企业微信之间的会话质检吗？答：支持群聊会话质检，暂不支持企业微信之间的会话质检。问：跨越多天的会话内容，可以每天只质检增量部分吗？答：循环智能的系统支持仅质检每日增量部分，也支持将多天内容整合在一起进行质检。问：语音是微信转写的，还是循环智能转写的？答：循环智能提供短语音转写为文本的服务，可支持对专有领域内容做算法优化。FrequentlyAskedQuestions-22-五、Compliance 产品七大亮点一、关联质检：全面提升“多通会话”成组质检的能力二、流程质检：灵活配置，适配各种复杂场景三、自定义字段：让质检与业务结合更紧密四、一键对接质检工单系统：快速在线生成质检报告五、会话详情页改版：提升用户体验六、10000+质检业务模板更新：可即插即用七、全自研核心 AI 技术：保障更高检出率、更快优化能力-23-2023 智能质检关联质检全面提升“多通会话”成组质检的能力亮点一关联质检作为 Compliance 的核心功能，是指将多次沟通产生的多通会话（包含电话、APP、IM、企微等不同渠道的文本和语音数据）关联在一起，成组进行质检，输出质检结果。关联维度可按照成功单的客户维度关联成组、会话 ID 关联成组、业务单据关联成组等多种方式，并支持对质检结果通过客户和坐席的相关字段进行查询和检索的功能。以保险行业的“成功单质检”场景为例，企业可以通过匹配客户和坐席 ID 等方式配置“多会话”的成组规则，快速检查销售人员“跨渠道会话”的 SOP 执行情况和违规情况，保证销售人员与客户沟通的全流程都是合规的。健康险的电网销“成功单”质检场景，一条质检规则是：如果在销售特定的健康险产品时，未确认被保险人药物使用情况，那么销售过程就是不合规的。但由于保险顾问与客户通常在进行了多次沟通后才会成单，为了更好的客户体验，质检规则并不要求保险顾问每次与客户沟通时都询问客户是否使用成瘾药物，而是仅需在任意一次沟通得到客户确认即可，因此需要将保险顾问与客户的多通对话进行关联质检（把多通会话当成一通长会话）。“多会话”关联质检的真实场景示例-24-流程质检可灵活配置，适配各种复杂业务场景亮点二流程质检是一种以业务人员更容易理解的方式，灵活配置各种复杂场景质检规则的创新方案。可用于售前、售中、售后中一线人员的话术质检（例如教育行业，课程产品介绍中是否过度承诺）、业务流程（SOP）执行情况质检（例如理财产品销售签约过程中，一线坐席是否有按规定完成核身等），也可以根据自身业务需要，按照特定场景配置的不同质检规则（例如为不同产品设置不同的质检规则等）。可灵活配置，是流程质检的一个关键特征。在设置“前置条件”和“质检要求”时，不仅可以组合多个“标签（语义点）”，便捷地设置不同“标签（语义点）”之间的逻辑关系（与或非），而且支持对“标签（语义点）出现的位置、出现的次数、参照点进行灵活的设置，也支持与自定义字段进行结合，满足各种不同的质检场景需求。流程质检的另一个关键亮点是，让负责质检业务的人员更容易理解和使用，企业无需依靠会写代码（逻辑代码或“算子”）的专门技术人员，业务人员经过培训后，就可以自行实现各种复杂逻辑和场景下的质检项配置。“流程质检”的真实场景示例流程质检支持需要复杂逻辑判断的场景。例如金融领域的一个流程质检项，要求判断坐席人员在与客户沟通时是否提前核实了客户身份因为按照规定，坐席人员在谈及合同中的隐私信息时，需要先核实客户的身份。将这个要求，转换成一个机器质检规则，就需要使用流程质检项：如果未核实身份（未命中“核实身份”的标签），就谈及合同详情（命中了“泄露隐私”的标签），即是违规。-25-2023 智能质检自定义字段让质检与业务结合更紧密亮点三在新的质检系统升级中，自定义字段功能也得到了加强，数据类型也扩展可支持单选、多选、文本、日期、小数、整数、URL等字段类型。自定义字段功能是指在会话或客户的基础信息（会话 ID、会话类型、客户 ID 等）之外，支持用户通过 API 接口调用自身数据库中关于会话或客户的补充信息，补充信息都是与自身业务密切相关的，例如会话所涉及的产品、所处的销售阶段等等。通常质检系统对企业自定义字段的支持程度越高，质检系统与业务的贴合度以及质检的精细化程度才能越高。自定义字段不仅支持质检人员在会话搜索中作为筛选条件使用，更准确地查找会话，同时还能灵活配置各流程质检项，实现特定场景下更加细颗粒度的质检规则配置。除此之外，借助自定义字段，企业也可以实现沟通内容与线下行为相结合的质检。例如，质检人员在复检中发现一线人员与客户承诺赠送优惠券，但沟通结束后一线人员并未有任何相关行为，质检人员可将这一违规行为直接通过自定义字段进行记录，并自动快速生成报告。“自定义字段”的真实场景示例在车险的电网销领域，因每位车主车险的到期时间不同，保险公司根据到期时间将客户进行分类，不同类别的客户设定了不同的销售 SOP流程。保司只需要使用循环智能 Compliance的自定义字段功能就可上传每通录音中的到期时间字段，这样质检人员即可基于到期时间，对通话录音/对话按照不同的 SOP 执行要求，实现更加精细化的质检分析。-26-一键对接质检工单系统快速在线生成质检报告亮点四在循环智能的新版智能质检产品 Compliance 中，我们新增了“评价单”功能，质检管理员可以根据自定义设置评分项（违规项），输入或选择对应的“正确用语”“严重等级”等信息，就可以将相应的质检结果同步到工单系统中，质检/复检人员一键就可在线选填生成完整质检报告，免去了在两个系统之间切换和手动记录信息的烦恼。此外，本次升级我们还优化了 Compliance的报表时效性，从T+1（每日更新前一日数据）升级到 T+0（当日数据分时段更新），同时新的质检报表新增了人机对比结果报表等多个新场景，企业可随时按需查看和导出质检报表。质检评价单对接企业质检工单系统-27-2023 智能质检会话详情页改版提升用户体验亮点五会话详情页是人工复检员最常使用的操作界面。本次智能合规质检更新之后，对于老用户来讲，最容易注意到的变化也是会话详情页的全新改版。首先，顶部播放器的外观设计更加简洁，更加机器质检结果的呈现，帮助人工复检员快速定位违规项的关键位置。其次，机器质检结果的呈现更加清晰，可以按质检明细、按评分项、按语义标签快速查看机器质检的结果。然后，最右侧的质检单、会话信息、质检快照侧边栏，支持快速折叠或展开，减少空间占用，让人工复检员可以集中精力于更重要的会话内容本身。经过全新设计的会话详情页-28-10000+质检业务模型更新可即插即用亮点六循环智能的行业专家团队根据我们服务过的银行、保险、证券、房产、汽车、航空、教育、电商、培训等行业的经验和专业知识沉淀了超过 10000 个可即插即用的质检模型和质检业务模版，我们将这些模版内置产品中，企业质检和业务部门可快速复用，极大地缩短了系统上线时间。“语义点（质检模型）”市场-29-2023 智能质检全自研核心 AI 技术保障更高检出率、更快优化能力亮点七智能质检系统涉及到对语音的转写和语义的分析，底层核心技术主要包括 ASR 语音识别（以及说话人分离、语音降噪等）和 NLP 语义理解两大类。循环智能拥有专业 AI 建模团队，自研完整的底层核心技术，提供端到端业务相关的 AI 能力优化。其中语音识别 ASR 模型采用了业界领先的完全端到端底层算法模型Transformer-XL，支持灵活高效地优化企业专业用语和热词，可快速响应业务需求变化；语义理解 NLP 模型基于原创的大规模预训练语言模型XLNet，可以识别超长上下文的语义，可保障更高的检出率。为了进一步提升语义建模的效率，本次 Compliance 产品还整合了循环智能零样本 NLP 平台“盘古”的超强能力。相比传统的 AI 分类器建模方法需要标注数百甚至上千条样本，“盘古”零样本平台仅需要少量，甚至不需要任何语料的标注就可以完成语义模型的建模工作，建模更快速，也更省人力。而与传统的“正则”生产方式相比，以销售过程中的“承诺可以退费”质检项为例，盘古零样本平台生产语义模型的时间仅需传统“正则”生产方式的50%，而召回率可达80%以上，准确率可达 90%以上，极大地提高了 AI 质检的落地效率和应用效果。-30-六、保险行业的实践在服务保险客户的过程中，循环智能逐渐形成了保险质检的“三级火箭“解决方案。-31-2023 智能质检传统机器质检效果不佳为了满足政府监管和企业自身提升服务质量的需求，过去几年，各大保险公司、保险中介机构纷纷部署了机器质检系统、双录质检系统，以期能够及时发现和纠正，销售员与客户沟通过程的不规范之处，降低企业被投诉带来的合规风险。但保司和保险中介机构渐渐发现，过去部署的机器质检系统效果无法令人满意。其中关键原因有二：第一，人与人沟通时讲的话是高度个性化的、表达方式是复杂多样，仅仅依靠“关键词和正则”进行穷举的传统机器质检方案，很难识别出真正的句子语义。例如，在质检项“夸大陈述”中，保司发现销售员夸大重疾险保障范围的方式是穷举不完的；在质检项“不当对比”中，保司发现销售员通过将保险与其他同业产品对比，以及与储蓄、基金、股票等金融产品对比来强调产品优势情况也非常多，用规则穷举的效果很差。第二，保险销售的业务流程、逻辑是复杂的，对销售员的要求非常精细化，传统的机器质检方案，无法对包含复杂场景和精细化要求的质检项进行监督。例如，在质检项“意外医疗告知不严谨”中，需要先筛选出涉及到意外医疗的会话，再监督销售员是否明确告知是意外导致，以及是否明确告知意外医疗适用的保障范围。传统机器质检很难处理这种需要对业务流程规范进行监督的情况。为了破解这两大难题，一些领先的保司和保险中介机构，率先落地了新的解决方案，通过将基于 AI 技术的新一代合规质检产品部署到业务流程中，大大提升了质检的效果和效率。具体来看，他们采用了两种新的实践。-32-实践一：从“关键词”升级到“一段话的语义”从工作原理上看，保司和保险中介机构部署的初代机器质检系统，通过将录音和微信语音转写成文本，然后借助“关键词和正则表达式”进行穷举，以查找其中可能涉及违规的会话。而新一代的 AI 机器质检方案则与之不同。新方案通过“喂”给机器足够多的违规实例片段和不违规实例片段（即经人工判断属于某项违规或不属于某项违规的对话语句片段，这个过程在AI领域被称为“人工标注”），训练机器算法去“学习”违规对话片段的隐含特征，然后用“训练”出的模型识别更多对话片段的语义，看看是否命中这个“AI语义点”。质检项可能包含一个“AI 语义点”，也可能包含多个“AI 语义点”的组合。保险质检项的特点是专业程度很高，例如质检项“现金价值描述违规”由单个 AI 语义点组成，但其定义需要高度依赖保险专业知识和行业经验，只有仔细检查了超长的上下文对话之后，才能准确得知一段对话是否命中了“现金价值描述违规”。这也是循环智能（RecurrentAI）在服务多家头部保司的质检项目时，学到的第一条经验：在“质检项”生产过程中的人工标注环节，需要保险企业的人员直接参与进来，与 AI 质检供应商内部的保险行业专家合作进行生产（标注数据），才能更快提升模型的准确性。第二条重要的经验是，保司和提供新一代 AI 合规质检解决方案的公司，要花很多精力来对齐质检项的定义，这部分的工作越完善，后续的工作效率就越高。-33-2023 智能质检实践二：引入自定义字段和复杂流程&逻辑配置保险销售过程的合规质检，至少包含了两种基本的情况：第一种，发现销售员“说错话”的情况，例如“夸大陈述”这样的质检项，通常只包含单个 AI 语义标签（AI 语义点、AI 语义画像），只要说了就算违规；第二种，发现销售员不严谨或不规范的地方，例如“产品介绍遗漏”这样的质检项，通常会涉及多个标签（AI 语义点或正则语义点），因为先要判断当前对话的场景是否涉及某个长期险或短期险，然后再判断是否讲到了相应保险产品的所有五项或七项特点。事实上，第二种情况还可能涉及到多种复杂场景，有时候需要引入企业的自定义字段，有时候需要判断对话内容上下文的逻辑，才能判断对话是否存在不严谨或不规范的地方。例如：1）不同产品的“责任免除”范围是不同的：因此需要引入企业的自定义字段，先判断这通对话是在介绍哪个产品，然后再判断相应的“责任免除”范围是否准确陈述。2）一些违规项是由多个语义点的逻辑关系组成的：例如，保单递送场景，提及电子保单或纸质保单其中一个都算合规。但是关于“保单生效日”陈述的要求是，必须讲到生效日，同时提到“扣款不成功不生效”，才符合要求。3）先后顺序：在投保确认前，不允许核对客户的个人信息（信用卡号等）。循环智能的新一代合规质检系统，支持企业自定义字段，以及复杂多样的质检项场景逻辑配置，对于复杂逻辑质检项的支持更加精细化、更加完善。-34-银保场景的质检难题破解由于保险公司、银行和质检系统供应商对质检规则的理解和定义不一致，银保场景的质检面临一个很大的难题：难以专业地将银行要求的“质检点”准确拆解转化为机器质检系统细颗粒度的“质检项”。解决方案：质检点的定义对齐和精细化拆解是一项复杂的工作，循环智能建议银行、保险公司、质检系统供应商三方合作，将银行对质检点的要求、保险销售流程的开展与机器质检系统的能力三者进行协调和结合，高效地将人工总结的质检点转化为机器可以配置的质检项（注：同一质检点需要多个质检项才能满足需求）。此外，保险公司在银行渠道开展业务时，有时候无法直接在银行内网部署机器质检系统。循环智能带来了专门设计的解决方案，可以将质检结果报表通过 API 接口的形式，将信息传递到银行内网，从而更快确认订单销售过程是合规的，保单是有效的。-35-2023 智能质检七、多行业案例来自循环智能（RecurrentAI）服务的银行、保险、证券、教育行业的最新使用案例和效果。-36-基本质检流程（步骤）全景图质检配置质检项管理质检规则配置任务分配规则任务配置复检评价配置申诉规则配置开单申诉配置语义点质检项评分评级质检结果明细质检单管理会话质检多会话质检机器质检会话调听会话浏览查看质检结果语义点修改质检项修改结果修正人工复检复检评价配置质检评价开单申诉管理复检统计开单统计申诉统计复检报表质检结果统计命中项统计人机差异统计质检报表业务配置机器质检人工复检统计分析-37-2023 智能质检中信银行的远程经营中心有超过 1000 名坐席人员负责零售、个贷等业务的电话营销服务。在营销沟通过程中，坐席人员可能会出现“信息误导”、“夸大宣传”等服务品质违规行为，从而引发客户投诉或监管部门的介入。过去，质检工作依靠人工听录音，效率低下，亟需升级。从传统的人工质检（盲听录音）升级到人机结合，先机器质检过滤违规通话再转人工复检的高效模式。从人工只能覆盖成功单，到全量覆盖，质检员工作产出（听单量）提升 50%-100%，过滤更多风险。从只有录音播放功能，到专业化的质检软件平台，借助字幕和语义标签，快速定位可疑录音位置，提升效率。项目背景使用效果中信银行助力远程经营中心质检员工作产出提升 50%1000+坐席人员数量50%质检员工作产出提升-38-大都会人寿的业务中有相当大的比重是与银行合作，但由于保险公司、银行和质检系统供应商对质检规则的理解和定义不一致，难以专业地将银行要求的“质检点”，准确拆解转化为机器质检系统细颗粒度的“质检项”，导致机器质检系统难以充分发挥作用。三方合作准确对齐质检点定义，高效地将人工总结的质检点转化为机器可以配置的“质检项”。引入针对多通对话的“关联组”质检，支持将质检结果报表通过API 接口的形式，将信息传递到银行内网，更快确认有效订单。支持复杂多样的质检项场景逻辑配置，对于包含多通对话、复杂流程逻辑质检项的支持更加精细化、更加完善。项目背景使用效果大都会人寿保险成功单复检的一次通过率达到 90%以上多通对话关联组质检90%+复检一次通过率-39-2023 智能质检招商证券在全国各地拥有超过 5000 名财富顾问人员，除了电话之外，企业微信是他们与客户沟通另一个关键渠道。为了保障财富顾问与客户客户沟通过程中的业务合规性，保障消费者权益，招商证券与循环智能合作，开发了针对企业微信的实时质检功能，实现在对话过程中实时的违规提醒。在财富顾问使用的企业微信的 PC 客户端和手机客户端，侧边栏/底栏集成实时质检功能，可在监测对话中涉及“预测收益”、“返还佣金”等违规项时，弹出醒目的违规提醒。已上线 25 个实时质检项，覆盖所有主要的违规点。不仅支持关键词和正则表达式模型，而且支持语义模型，可以更好地基于上下文内容进行判断，降低复杂语义下的漏检情况。项目背景使用效果招商证券企业微信客户端集成实时质检提醒模块降低合规风险5000+财富顾问人员数量25+实时质检违规项-40-火花思维是专注于少儿逻辑思维的在线教育品牌，主要产品包括逻辑思维、中文素养、编程等。火花思维有数百名课程顾问负责联系客户，解答课程购买等问题，但课程顾问在与客户沟通中，为了更快达成业绩目标，很容易出现“过度承诺”等违规情况，导致纠纷和客户投诉增加。在部署循环智能的质检产品之前，火花思维主要是通过人工听录音的方式进行通话质检，仅能覆盖成单录音，无法全量覆盖。部署了智能质检产品之后，通过机器质检辅助人工的方式，每月找出的违规量是使用前的1.5倍。循环智能的质检系统提供良好的使用体验，对于临时需要质检项情况，可快速搜索关键词来找到相应的对话。项目背景使用效果火花思维每月发现的违规通话量是使用系统之前的 1.5 倍100%通话覆盖范围1.5X使用系统后查出的违规量-41-2023 智能质检八、质检项优化为了使机器质检和人工复检协同工作，提升整体质检工作的效率，我们需要对不同的质检项，采取不同的优化策略。-42-召回率和准确率的关系我们希望每个质检项所命中的目标通话又全又准。这也是循环智能的质检产品引入“AI 语义”模式的原因。但在优化质检项的命中效果时，当召回率和准确率都达到了一定的高度，想要继续提升，难免会遇到“二选一”的问题：召回率和准确率互相影响、此消彼长，一个指标增长，另一个指标通常就会下降。在实际应用中，大部分企业的业务流程是“机器质检+人工复检”：将机器质检的结果交给人工做复检。因此，机器质检的召回率和准确率变化，会影响到人工复检的成本：提升召回率（适当牺牲准确率），意味着降低“漏检”的风险，但可能会增加“误检”带来的人工复检成本；提升准确率（适当牺牲召回率），意味着降低“误检”带来的人工复检成本，但可能会增加“漏检”的风险。那么对于不同的质检项而言，如果碰到“二选一”的问题，该如何做出选择？-43-2023 智能质检负向质检项：通常“召回率”优先在销售、客服质检中，负向质检，通俗地讲，是指找出业务员“说了什么不该说的内容”。负向质检是企业比较常见的需求，尤其是在受监管比较严格的领域。在贷后资产管理（催收）领域，质检项以负向为主，例如恐吓威胁、疑似私收钱款等。负向质检项通常有两个特征，第一是违规量通常都不太大（大部分通话不会违规），第二是漏检之后的风险相对比较大。因此，针对负向质检项，我们通常应该通过调整算法模型的参数或规则代码，保证“召回率”优先，将更多涉嫌违规的通话都找出来，然后增加人工成本去做复检，“宁可错杀一片，不可放过一个”。宁可错杀一片不可放过一个-44-正向质检项：通常“准确率”优先在销售、客服质检中，正向质检，通俗地讲，是指找出业务员“该说的什么内容没有说”。企业可以选择不同的管理理念，可以是“惩恶”理念，对业务员做得不好的地方进行减分；也可以是“扬善”理念，对业务员做得好的地方进行加分。最近几年，“扬善”理念越来越受到企业重视，这种方式可以用来激励业务员变得更加专业、更加规范，更有利于形成正向循环。例如客服领域的规范性用语：“标准开场白”、“标准结束语”、“服务延伸用户（请问还有什么可以帮您）”以及“确认客户预留信息”等。这类正向质检项，通常目标通话量比较大，如果错误率较高，复检成本就会很高。面临二选一的时候，我们通常应该通过调整模型参数或规则代码，优先提升准确率，降低人工复检成本，“宁可漏掉几个，不可错杀一片”。宁可漏掉几个不可错杀一片-45-2023 智能质检实际场景更复杂需要重申，我们在优化质检项命中效果的时候，最好的情况是，能找到同时提升召回率和准确率的方法，或者能找到大幅提升其中一个指标，而另一个指标不会明显下降的方法。如果这两条路都走不通，为了继续提升效果，才需要结合漏检的风险高低以及人工复检的成本，进行“二选一”。通常，因为负向质检项的漏检风险比较高，所以“召回率优先”，降低漏检风险；而正向质检项的目标通话量比较大，所以“准确率优先”，降低复检成本。不过，也有少量例外。比如有的负向质检项，目标通话量不算少，而且风险也比较低，那可以考虑“准确率优先”；有的正向质检项，目标通话率非常少，而且重要性比较高，那就应该考虑“召回率优先”。此外，在实际应用中，还要将其他因素综合考虑进去，比如不同质检项的召回率和准确率提升难度不同，比如不同企业的复检员数量是不同的我们才能更好地制定不同质检项的优化策略。“通常，因为负向质检项的漏检风险比较高，所以召回率优