银行内部评级体系验证办法(试行)模版.doc

x银行内部评级体系验证办法（试行）第一章总则第一条为规范x银行内部评级体系验证工作，提高内部评级体系的准确性与稳健性，根据我国银监会监管要求和x银行有关规定，参照巴塞尔新资本协议内部评级法对商业银行的要求，制定本办法。第二条本办法所称验证是指按照规定的流程和方法，对内部评级体系进行持续检验和评价的过程。按照内容的不同，验证分为内部评级数据验证、评级模型验证、信息系统验证、政策流程验证、评级治理结构验证及评级应用验证等六个方面。按照开展时间的不同，验证分为投产前验证、定期持续监控和投产后验证等三个阶段。第三条验证主要实现以下目标：（一）评估内部评级体系的准确性、稳健性和可靠性。（二）建立纠正机制，促进内部评级方法和体系的持续改进。第四条验证是内部评级体系持续、稳健运行的前提和保障。验证结果应作为运用内部评级体系进行实际业务管理的重要依据。第五条验证遵循以下原则：（一）独立性原则。验证团队应在职能上独立于模型开发、应用团队，利益不受模型表现好坏的影响；验证工作的开展应不受外界因素的约束、影响和干扰，以确保验证结论的独立、客观、真实。（二）统一性原则。验证工作应基于统一的数据采集标准，并采用统一的验证方法和流程，确保模型验证结果的客观、一致。（三）持续性原则。验证应作为模型管理的一项日常性工作，贯穿于内部评级体系投产、运行、优化的全过程，需根据外部环境和自身经营的变化，及时发起验证工作。（四）审慎性原则。验证工作要运用科学的方法、标准和流程，结合可靠的数据和专家经验进行，既不高估模型预测能力，也不低估模型风险。第六条本办法适用于x银行非零售风险暴露内部评级初级法体系和零售风险暴露内部评级体系的验证。非零售、零售风险暴露是指x银行银行账户信用风险暴露分类办法（试行）规定的内部评级法下金融机构、公司及零售风险暴露。第二章职责分工第七条验证在高级管理层的统一领导下，由风险管理、信贷管理、科技部门以及各客户部门分工负责，共同实施。第八条高级管理层是x银行验证的最高决策机构，主要职责包括：（一）审批验证相关政策，配备足够的人力和信息科技资源，确保验证工作的独立性。（二）定期听取验证报告，并根据验证结果就内部评级体系重大修改或重新开发进行决策，推动内部评级模型的优化。第九条风险管理部门是验证的主管部门，主要职责包括：（一）制定并修订验证相关政策，统一验证工作的框架和理论方法，规范验证工作流程。（二）明确各阶段的验证主体，组织开展全行的验证工作。（三）定期撰写验证报告并向高级管理层汇报，向评级体系的开发和使用部门反馈验证信息，并根据验证结果提出改进建议。第十条客户部门、信贷管理部门是验证的主要参与部门，主要职责包括：（一）观测内部评级体系在业务领域的应用情况和结果表现，并进行文档记录。（二）向验证团队反映内部评级体系运行中存在的问题，并提出意见和建议。第十一条审计部门负责对验证进行审计，主要职责包括：（一）每年开展一次对验证工作的审计。（二）对验证工作进行监督，评估验证政策、流程和报告机制等的适用性、独立性和有效性。第十二条信息技术管理部和软件开发中心是验证的支持部门，主要职责包括：（一）提取、导入验证所需数据，确保验证数据的持续可获得性、准确性和全面性，及时通知验证团队数据标准的变化情况，保持数据前后定义的一致性、连续性。（二）开发并维护能够有效支持验证的信息系统，提高验证的自动化程度，提升验证的效率和准确性。第三章内部评级体系验证内容第一节对数据的验证第十三条对数据的验证包括对模型开发样本数据和评级运行实际业务数据的验证。第十四条对数据的验证内容包括但不局限于：完整性、全面性、准确性、一致性、数据质量和数据缺陷处理。（一）完整性。重点评估样本数目和观察期是否满足建立评级模型基本要求，分析样本数据的选取数量、选取时间段和采集频率对模型估计值准确性的影响。（二）全面性。重点评估样本选取方法与步骤对样本数据代表性的影响，评估样本数据反映本银行信用风险暴露特征、信贷政策及外部经营环境的能力。（三）准确性。审核模型输入数据是否真实、可靠，是否存在重大偏差；审核数据清洗方法与过程对数据准确性的影响，并全面校验非零售违约客户和违约债项的标识情况和零售“好、坏”贷款和违约债项的标识情况。对于需采用抽样方法验证准确性的风险暴露，应分析抽样方法的代表性。对输入数据的例外情况，应详细记录并进行审查。（四）一致性。审核模型自动输入数据和人工补录数据的采集范围是否适当，采集标准是否一致；对评级体系所使用数据和会计数据进行对账，评估数据一致性程度。（五）数据质量。要运用勾稽检查、横向比较和趋势分析等方法进行数据质量分析与检查，验证数据在单一时点上经受逻辑检验的能力，以及多时点上连续性和一致性经受业务检验、统计检验与逻辑检验的能力。验证过程中应重点关注数据中的缺失值、异常值和极端值及其处理方法。（六）数据缺陷处理。审核模型开发团队对样本数据集主要缺陷的理解和处理方法，评估上述处理对模型开发的影响。第十五条使用外部数据进行内部评级体系设计及验证时，应重点检验内、外部数据之间的可比性、相关性和一致性。每年对继续使用外部数据的恰当性进行评估。第二节对非零售内部评级模型的验证第十六条对非零售内部评级模型的验证内容包括关键定义、模型细分、评级方法论、模型参数和基本假设、建模过程、模型结果、模型使用、文档记录等。第十七条对关键定义的验证主要包括：违约定义、主标尺定义、长期中心违约趋势等。（一）审查违约定义是否符合监管要求和我行实际，是否清晰、合理、细致，便于全行层面统一执行。（二）审查主标尺定义的评级级别和标准是否合理、明确、直观、便于理解，且能够有效区分风险。（三）审查长期中心违约趋势的计算方法和实际结果是否真实地反映了我行的历史违约情况和目前的违约状况，是否反映了经济周期的特点。第十八条对模型细分的验证主要包括：评估模型细分的依据和合理性，能否准确、稳定反映风险暴露风险特征。第十九条对评级方法论的验证主要包括：审查模型的形式、指标框架及关键技术方法等，评估所选模型的内在逻辑、合理性、适用性与局限性，以及所选评级模型方法能否准确反映评级对象的风险特征和周期特征。第二十条对模型基本假设的验证主要包括：评估模型基本假设是否与实际资产组合的风险特征和外部经营环境持续保持一致，在经济环境发生改变时，相关假设是否持续合理。第二十一条对建模过程的验证主要包括：检查建模过程的合理性，包括样本选取逻辑和依据、数据清洗方法与过程、模型参数选择、单变量分析、分数转换、多变量分析和样本与总体的映射依据等。第二十二条对模型结果的验证主要包括：模型输出结果与人工干预最终结果的关系，以及等级与违约概率对应的合理性，根据实际业务数据检验评级模型的区分能力、准确性、稳定性和审慎性。第二十三条对模型使用的验证主要包括：检查是否按照模型使用规则正确使用模型，得到合理的结果，检查并文档记录模型的使用测试结果与实际业务的吻合性。第二十四条对文档记录的验证主要包括：检查建模及优化过程是否有专门文档，确保能被第三方复制。第三节对零售内部评级模型的验证第二十五条对零售内部评级模型的验证内容包括关键定义、模型细分、模型方法论、模型参数和基本假设、建模过程、模型结果、模型使用、文档记录等。第二十六条对关键定义的验证主要包括：“好坏”定义、违约定义等，审查“好坏”定义是否符合业务实际需要，违约定义是否符合监管要求，是否清晰、合理、细致，便于全行层面统一执行。第二十七条对模型细分的验证主要包括：评估模型细分的依据和合理性，确保模型能够准确反映风险暴露风险特征。第二十八条对模型方法论的验证主要包括：评估所选模型的内在逻辑、合理性、适用性与局限性，同时应能证明所选建模方法能够准确反映评分对象的风险特征和周期特征。第二十九条对模型参数和基本假设的验证主要包括：评估模型参数和基本假设是否与实际资产组合的风险特征和外部经营环境持续保持一致，在经济环境发生改变时，相关假设和参数是否持续合理。第三十条对模型建模过程的验证主要包括：检查评分卡建模过程的合理性和风险参数分池过程的合理性。第三十一条检查评分卡建模过程的合理性包括：数据清洗方法与过程、样本选取逻辑和依据、模型参数选择、单变量分析、多变量分析、分数转换和样本与总体的映射依据等。第三十二条检查风险参数分池过程的合理性包括：数据清洗方法与过程、样本选取逻辑和依据、分池变量处理、高层细分、低层细分、细分变量是否满足建模要求等。第三十三条对模型结果的验证主要包括：评分与风险参数对应关系，实际结果与风险参数估计值的合理性，风险分池的逻辑、结构是否合理，基于风险划分的风险参数计量结果是否准确，资产池是否符合池内同质性和池间异质性要求。第三十四条对违约概率估值的验证内容包括违约概率估值准确性、违约概率估值稳定性、成熟性效应的影响、估值审慎性的检验等。第三十五条对违约概率估值准确性的验证应基于实际违约频率。第三十六条对违约概率估值稳定性的验证应基于实际业务数据，检验违约概率估值在时间和客户群变动情景下是否具有稳定性，主要包括以下内容：（一）对不同时间段模型区分能力的稳定性进行验证，确保模型的区分能力至少在三年中满足内部设定的稳定性要求。（二）评估新增客户在不同资产池之间的分布比例与原有客户的分布比例的一致性。（三）评估经济和法律环境等模型使用前提条件发生变化对违约概率估值稳定性的影响。第三十七条对存在成熟性效应的零售风险暴露，验证成熟性效应对违约概率估值稳定性的影响包括：（一）债项的成熟时间是否发生了变化。（二）债项的账龄分布比例是否发生了较大变化。（三）未成熟零售风险暴露的违约概率调整参数是否恰当。第三十八条对违约概率估值应根据实际业务数据对估值的审慎性进行验证，可采用统计方法对违约概率估计值与实际违约频率进行比较，分析结果是否审慎。第三十九条对违约损失率估值的验证包括违约损失率估值的准确性和稳定性、违约损失率的计算方法、估计程序的合理性等。第四十条对违约损失率估值准确性和稳定性的验证应参照违约概率验证的相关要求进行，并验证违约损失率估值考虑经济衰退的方法和程度。第四十一条对运用清收违约损失率方法估算违约损失率的验证时主要包括对清收结束时间、可收回金额评估方法、成本评估方法和折现率选择等的验证，应重点评估下列内容：（一）账龄分布是否发生了变化，折现率是否包含了对于回收现金流波动性所采取的溢价。（二）折现率是否与回收现金流之间存在期限错配。（三）清收过程中发生的直接费用和间接费用是否得到了合理考虑。第四十二条对违约损失率估计过程合理性的验证包括是否按照构建开发数据集、评估违约债项的已实现违约损失率和估计非违约债项的违约损失率等过程进行。（一）对开发数据集的验证包括：违约样本是否有偏、是否包含违约情况相对较多和已实现违约损失率相对较高的年度数据、风险因素与分池时所用风险因素是否有实质性差异、是否与违约概率所用违约定义保持一致。（二）计算样本违约债项的实际违约损失率时，应评估经济衰退对违约损失率的影响。（三）估算非违约债项的违约损失率时，应基于实证研究分析与其类似的违约债项已实现违约损失率的分布情况。第四十三条对违约风险暴露估值的验证包括违约风险暴露估值的准确性和稳定性、估计程序的合理性等。对违约风险暴露估值的准确性和稳定性的验证应参照违约概率验证的相关要求进行。第四十四条对违约风险暴露验证应侧重于对估计过程的评估。（一）评估违约风险暴露估值样本数据时，应关注数据的完整性，包括违约后被收回的债项。（二）应审核违约风险暴露估算的驱动因素的合理性。第四十五条对非衍生工具的表外资产项目使用的信用转换系数，且对表内项目使用当前未偿还余额时，可不验证准确性，但应评估风险暴露估计值的保守程度。第四十六条对模型使用的验证主要包括：检查是否按照模型使用规则正确使用模型，得到合理的结果，检查并文档记录模型的使用测试结果与实际业务的吻合性。第四十七条对文档记录的验证主要包括：检查建模及优化过程是否有专门文档，确保能被第三方复制。第四节对信息系统的验证第四十八条对信息系统的验证内容包括系统数据、系统功能、系统测试情况、系统性能等。第四十九条对系统数据的验证主要包括：审核内部评级信息系统数据内容的全面性、完整性和有效性，建立的数据仓库与风险数据集市是否满足监管要求，内部评级信息系统与其他信息系统是否达到有效整合、数据口径是否达到统一。第五十条对系统功能的验证主要包括：审核内部评级信息系统能否有效支持评级运作、评级模型开发、评级模型的验证与优化、内部评级数据管理和风险报告等，数据采集、清洗、存储、备份、业务数据的定期加载、数据取样和数据分析等功能是否完善。第五十一条对系统测试情况的验证主要包括：审核内部评级信息系统是否经过单元测试、集成测试以及业务验收测试。第五十二条对系统性能的验证主要包括：审核内部评级信息系统是否具有可靠性与安全性，对系统的安全性与稳定性是否进行过测试，是否具有相关政策与措施控制数据的存取，是否有完整备份、恢复以及业务持续性计划；审核内部评级信息系统是否具有灵活性及可扩展性，能否根据需要及时改进并升级，满足内部评级体系以及模型开发、运行对信息不断增加的需求。第五节对政策和流程的验证第五十三条对政策和流程的验证内容包括对内部评级体系相关政策和流程的定性验证、定量验证、评级推翻等。第五十四条对政策和流程的定性验证包括：（一）审查政策和流程的合规性，评估相关政策是否符合监管要求。（二）审查政策和流程设置的依据和合理性，确保正确获取风险参数估计值。（三）审查政策和流程是否合理界定了风险计量和风险管理的关系。（四）审查“好坏”定义、违约定义的完整性和维护及时性，模型使用中的违约定义是否和建模阶段保持一致。重点审查违约定义是否在集团层面被一致地执行。（五）审查评级发起、认定、推翻和更新等政策和流程的依据和合理性，检查推翻政策执行过程中是否主要依据模型未涉及的相关信息，是否有对同一风险因素重复考虑的情况等。（六）评估集团客户评级政策的合理性。第五十五条对政策和流程的定量验证包括：（一）通过实际数据分别检验模型计量结果和评级体系认定结果的吻合程度，评估政策和流程对风险计量区分能力的影响程度。（二）验证政策执行的一致性，评估和计算同一政策在商业银行内部不同部门和人员的理解、执行差异，特别关注基于专家判断的评分卡在执行中的一致性。结合对准确性和区分能力的验证结果，评估政策在不同区域和层次中的效果。（三）评估政策和流程对模型计量结果的影响程度，对于发生高相关性情况时，应特别关注政策和流程制定的合理性。第五十六条对评级推翻的验证包括：（一）审查不同推翻环节的推翻决定和程度对评级体系的影响，包括评级人员推翻模型结果、评级认定人员推翻评级发起人员评级结果等。（二）分析推翻比例是否过高，检验推翻幅度过大的现象在所有推翻中所占比例是否过高。第六节对评级治理结构及评级应用的验证第五十七条对评级治理结构的验证内容包括内部评级职责分工、评级报告、评级文档等。审查相关部门在内部评级体系中的职责设置是否明确，是否符合独立性要求；是否建立评级报告体系，是否持续开展评级报告工作；是否建立完善的内部评级文档体系，对内部评级开发、运行、更新等进行完整的文档记录。第五十八条对评级应用的验证内容包括：审查内部评级和风险参数量化结果是否在银监会规定的核心应用领域和高级应用领域发挥重要作用。第四章验证方法第五十九条x银行采用定量、定性或两者相结合的方法，对内部评级体系的不同内容开展验证。（一）对于评级模型本身，主要采用返回检验和基准测试等方法，对评级模型的区分能力、准确性、审慎性和稳定性进行定量验证。（二）对于数据、信息系统、政策流程、评级治理和评级应用等模型支持体系，主要采用专家评估等方法进行定性验证。第六十条对于评级模型，根据内外部数据的充足程度和模型开发方法，采用不同的定量验证方法。第六十一条对于非零售内部评级模型，当违约数据量充足（不少于个），采用统计模型法开发的评级模型，主要采用返回检验的定量验证方法，可采用的定量验证方法包括：（一）区分能力验证。可采用的方法包括值、等。（二）准确性和审慎性验证。可采用的方法包括二项检验、卡方检验等。（三）稳定性验证。可采用的方法包括、值等。第六十二条对于非零售内部评级模型，当违约数据量不足（少于个或低违约组合），采用外部基准法开发的评级模型，主要采用基准测试的定量验证方法。可采用的定量验证方法包括：（一）区分能力验证。可采用的方法包括秩相关系数、等。（二）准确性和审慎性验证。可采用的方法包括与外部评级违约概率进行对比等。（三）稳定性验证。可采用的方法包括、值等。第六十三条对于零售内部评级评分卡模型主要采用返回检验的定量验证方法。（一）区分能力验证。可采用的方法包括值、值等。（二）稳定性验证。可采用的方法包括值等。第六十四条对于零售内部评级风险参数模型主要采用返回检验的定量验证方法。（一）区分能力验证。对于违约概率可采用的方法包括值、值等。对于违约损失率、违约风险暴露可采用的方法包括值、秩相关系数等。（二）准确性和审慎性验证。对于违约概率可采用的方法包括二项检验、卡方检验等。对于违约损失率、违约风险暴露可采用的方法包括秩和检验、复相关系数等。（三）稳定性验证。可采用的方法包括值等。第六十五条基准测试可选择的“基准”包括：（一）外部评级结果。对于非零售内部评级采用包括标普、穆迪、惠誉、中诚信等x银行认可外部评级机构的评级结果。（二）内、外部专家对客户的排序结果。内部专家包括x银行内部评级专家、其他信贷专家；外部专家包括国内外权威研究机构、同业金融机构的专家。（三）“替代模型”的计量结果。“替代模型”包括本行采用其他方法建立的专家判断模型、市场上公开的评级模型产品、其他金融机构的评级模型等。第六十六条非零售违约概率模型定量验证结果评价的参考标准。（一）区分能力评价参考标准。值高于为“优秀”，值高于为“良好”，值高于为“一般”，值低于为“差”；高于为“优秀”，高于为“良好”，高于为“一般”，低于为“差”。（二）审慎性评价参考标准。以下的评级级别数未通过单边二项检验为“良好”，以下的评级级别数未通过单边二项检验为“一般”，以下的评级级别数未通过单边二项检验为“差”。（三）稳定性评价参考标准。值低于为“良好”，值低于为“一般”，值高于为“差”。第六十七条零售模型定量验证结果评价的参考标准。（一）区分能力评价参考标准。值高于为“优秀”，值高于为“良好”，值高于为“一般”，值低于为“差”。（二）审慎性评价参考标准。以下的评级级别数未通过单边二项检验为“良好”，以下的评级级别数未通过单边二项检验为“一般”，以下的评级级别数未通过单边二项检验为“差”。（三）稳定性评价参考标准。值低于为“良好”，值低于为“一般”，值高于为“差”。第六十八条在实际验证过程中，应针对不同的情况和问题，对定量验证结果进行详细分析。要以上述参考标准为基准，同时结合专家经验，得到最终的评级模型验证结论。第六十九条对于模型支持体系，针对不同内容采用不同的专家评估方法。可采用的形式包括但不限于：文档审阅、调研访谈、抽查测试等。第五章组织与管理第七十条验证工作是一个持续、循环进行的过程，贯穿于内部评级体系投产、运行、优化的全过程。每一阶段验证结果作为启动下一阶段验证以及内部评级体系改进的重要依据。第七十一条在不同的验证阶段，验证内容的侧重点均有所不同。投产前验证的重点包括内部评级体系的设计、开发；定期持续监控的重点包括内部评级体系的实际运行情况；投产后验证的重点包括对内部评级体系进行全面评价、检验。第七十二条新的内部评级体系建设完成后、投入使用前，应开展投产前全面验证。投产前全面验证的内容包括但不限于：（一）对评级体系进行开发阶段验证，包括模型开发数据准备、模型开发、政策流程设计、信息系统配套、评级治理结构及评级应用方案设计等。（二）在实施内部评级法初期，如果缺乏足够的数据进行结果分析，应主要采用评估开发依据、过程核查以及基准测试等手段进行验证。第七十三条内部评级体系正式投入使用后，若后续开发新的风险参数量化模型且需要投入使用，应开展模型投产前验证。重点对模型开发进行验证，包括开发样本数据、方法论、模型参数和基本假设、建模过程、模型结果等。第七十四条内部评级体系正式投入使用后，应对内部评级体系进行定期持续监控。根据不同资产特点结合客户履约表现更新情况，可设置不同的监控频率。第七十五条定期持续监控的内容包括但不限于：（一）评级体系的整体运行情况，包括评级治理、评级系统运作、评级政策执行和调整等情况。（二）评级模型使用环境的变化情况，包括经济环境的变化、建模数据对实际资产组合的代表性等。（三）关键定义的合规性和持续有效性，违约客户数是否显著变化，模型指标或风险变量的稳定性。（四）评级分布和评级迁徙情况。（五）数据存储、管理、维护情况和数据质量。（六）模型的使用情况和评级结果的应用情况。（七）前一次验证发现的风险点。第七十六条验证团队应至少一年开展一次返回检验。当定期持续监控发生评级模型出现异常情况时，应及时对模型开展返回检验或基准测试。内容包括但不限于：（一）基于实际业务数据，对评级模型的区分能力、准确性、审慎性、稳定性等进行验证，对评级推翻进行验证。（二）选择适当方法对低违约资产组合的评级模型进行验证。第七十七条当出现以下情况，且依靠定期持续监控不足以得出结论时，应适时开展内部评级体系投产后全面验证：（一）内部评级体系监控指标显著恶化，如非零售评级体系整体值连续两年出现显著下降、零售内部评级体系整体值连续两年显著下降等。（二）内部评级体系运行出现重大异常情况，如评级结果大幅迁徙。（三）我行资产组合、授信政策及流程发生实质性变化，对内部评级体系运行产生重大影响。（四）经济周期等外部环境因素发生重大变化，影响内部评级体系运行环境。（五）高级管理层或银监会要求开展投产后全面验证。第七十八条投产后全面验证的内容包括但不限于：（一）基于实际业务数据，运用统计方法，对模型结果进行返回检验和基准测试。（二）对模型及其支持体系进行全面验证，包括本办法对数据、评级模型、信息系统、政策流程、评级治理及评级应用的验证要求。（三）对评级体系的运作、监控和更新进行评估。第七十九条各阶段验证主体的确定。（一）内部评级体系全面验证由验证团队组织，聘请独立第三方咨询公司共同实施。（二）新开发的评级模型投产前验证、内部评级体系定期持续监控，由验证团队负责实施。第八十条内部评级体系全面验证流程。（一）验证发起。全面验证由验证团队发起，聘请独立第三方咨询公司开展，全面验证应提请高级管理层审批。其中，投产前全面验证需由开发部门提出验证申请；投产后全面验证由验证团队主动发起。（二）验证实施。验证主体具体开展验证工作。（三）验证报告。验证结束后，验证团队形成专门的验证报告，向高级管理层汇报。（四）验证审批和应用。验证报告经高级管理层审批后，反馈开发、使用等部门。第八十一条新开发评级模型投产前，应由开发部门提出申请，验证团队具体开展验证工作，并形成验证报告。评级模型投产使用后，验证团队应进行定期持续监控，并形成专门报告。第八十二条验证实施过程中，验证团队应与内部评级体系开发、使用部门以及验证支持部门进行充分沟通，确保验证评价和验证结论的准确性、合理性。第八十三条验证团队应定期对验证的工具和方法进行评估。当验证的工具和方法不能有效实现验证目标时，应当及时进行更新。第八十四条验证团队应对验证工作进行文档化管理，以文档的方式详细记录验证工作的全流程。验证文档包括但不局限于：（一）内部评级体系开发、运行相关文档。（二）验证过程文档，包括验证范围、内容、方法、步骤、结果、报告、已识别的缺陷以及整改措施和改进情况评估等。（三）向高级管理层的汇报材料。（四）相关部门参与验证工作的记录。第六章附则第八十五条本办法由x银行总行制定、解释和修订。第八十六条本办法适用于x银行境内、外机构。第八十七条本办法自印发之日起试行，试行期两年。