阿里数字商业知识图谱构建及开放.pdf

阿里数字商业知识图谱构建及开放陈强（拉普）阿里巴巴业务中台商品智能负责人消费电商加速进化：内容、兴趣电商兴起?010203040506070809010045%?010203040506070809010044%?010203040506070809010025%?010203040506070809010022%?010203040506070809010020%?010203040506070809010016%?消费电商加速进化：消费观念的变化?当下商品面临的挑战：标准化程度不够问题诊断类目庞杂，商家无从选择类目CPV管理跟不上变化对商品管理来代替商品定义市场管理差异导致商品信息差当下商品面临的挑战：商品信息结构化不够精准丰富，商家的商品运营困难商家为了经营需要，可能存在如下的商品信息质量问题：标题堆叠/sku主品不符/图片牛皮癣/类目错放/SKU营销关键词堆叠，可读性较差平台结构化不够丰富精细?当下商品面临的挑战：特性和个性缺乏结构化表达123?下一代商品模型概述以“机制+模型”升级为基座，以数据智能为驱动，实现商品全面能力及全链路应用的更新换代图片品牌类目条码产品标签图像视频人群场景评价POI内容时间浏览加购搜索属性收藏下单知识图谱卖家品牌商商家体验提升商家体验提升消费者消费者体验提升体验提升消费者质量分价格力趋势力口碑力精品优品中品潜力品差品机制1：类目属性标准化&智能化机制2：商品信息BC联动机制2：商品信息BC联动机制1：类目属性标准化&智能化杭州成功获得2022亚运会举办权杭州2022亚运会主体体育馆竣工杭州亚运会天猫旗舰店上线下周冷空气席卷华东华为正式发布P40新机会员域门店域商品域内容域张三李四耐克旗舰店华为旗舰店王品城西银泰店老王商品:华为P40包邮商品:欧莱雅复颜玻尿酸水光充盈导入面霜产品:欧莱雅玻尿酸导入面霜品牌:华为/HUAWEI冬天保暖应该知道的注意事项皮肤干性人群爱美有钱人吃辣人群西溪园区附近情侣七夕官旗约会玻尿酸保湿送女朋友礼物护肤杨幂代言5G手机冬季意图生活意图体育关键词保暖关键词充值女装美妆3C数码性别年龄连衣裙针织衫衬衫香水护肤霜手机男笔记本女老年人中年人年轻人本体层概念层实体层事件层时序时序关联具有需要属于售卖属于浏览模型升级：数字商业知识图谱概览点击 一般由领域专家建设，规模在千、万级别本体层1 有相同属性的一类实体称之为概念，具备一定的泛化性、可解释性，规模在几十万到百万级别 知识图谱中的实体、实例，规模在千万、亿级别 结构化的刻画某一个真实事件，规模在千万、亿级别概念层2实体层3事件层4本体层：类目属性标准化&智能化淘宝类目属性盒马类目管理本地生活类目属性新市场.相互独立关联互通共享+个性定制新市场.淘宝类目属性盒马类目管理本地生活类目属性集团标准类目属性集团标准类目属性淘宝类目属性盒马类目管理本地生活类目属性新市场.?概念层：消费决策过程分析?5?4?3?2?1?满足某个生活场景的购物需求人群：20-30岁、0-1岁宝妈事件：滑雪、游泳、聚会将购物需求分解为细分品类品类：滑雪服款式：双层内胆、两件套品类下产品优劣对比品牌：哥伦比亚、北面货号：MY1020、4R52-918948选择信任的商家及合适的价格、服务店铺：官方旗舰店、百年老店服务：顺丰包邮、花呗分期使用评价客服服务：售后服务特别好品质：品质真、防寒效果特别好藏经阁项目总体框架图知识建模：该模块核心任务主要是从不同类型的多源数据中，构建生成领域知识体系。领域知识体系的构建是对领域分类、属性以及分类之间关系的定义知识获取：该模块核心任务主要是从各种多源异构的数据源中结构化出各种知识知识融合：该模块核心任务主要是发现碎片化及异构知识之间的关联，获得更完整的知识描述和知识之间的关联关系，实现知识的互联、互补和融合知识推理：该模块核心任务主要是构建面向大规模知识图谱的推理与计算引擎，基于已有知识、背景知识推理和发现未知的知识知识建模：关键属性树构建模型整体框架异质信息融合模块关键属性树推理模块Interpretable and Low-Resource Entity Matching via Decoupling Feature Learning from Decision MakingC ACL Anthology 2021知识获取：基于半监督局部标注学习模型研究策略由于词典自身的不完备性，训练数据中会存在一定程度的漏标。为缓解漏标数据对训练过程的影响，我们在训练中引入局部标注(Partial Annotation)的思想引入Self-training，训练交叉标注完成对训练数据的迭代标注基于阅读理解的大规模属性识别：句子和属性分别编码，再利用注意力机制权重生成新表达A Distantly-Supervised Self-Training Method for Low Resource Named Entity Recognition（在投）挑战点实体类型规模大（上千种实体类型）增强新实体发现能力（NER OOV）知识融合：多模态表征模型CAPTURE三种transformer网络架构来编码，同时结合单流式架构和双流式架构先对齐后融合，跨模态对比学习融合部分，基于2个无监督遮掩mask任务，MLM和MRP相关成果已经发表在ICCVICCV 20212021上Product1M:TowardsWeakly Supervised Instance-Level Product Retrieval via Cross-Modal Pretraining阿里数字商业图谱实践分享1：商品智能发布利用知识图谱理解商品信息，自动化补全商品信息，助力商家商品智能发布，提升商品发布效率和质量条码图片智能链接标准产品,辅助智能回填产品信息。标准产品量1.6亿覆盖品牌商品50%+类目回填比例100%,识别准确率98.6%;根据商品蓝海词库优化标题关键字,推荐准确率90%+智能识别重点决策属性,优先推荐卖家回填和诊断信息准确性、提供智能回填一键自动扣图、合成白底图、透明图、长图算法辅助详情生成。推荐商品搭配组合,支持模特图搭配生成前置输入条码+图片智能回填类目+属性商品标题诊断，蓝海词推荐详情智能模板6白底图、透明图、长图合成5决策属性前置4321图片待找总计帮助商家优化商品近2亿，为社会累积节省了20万人日工作量阿里数字商业图谱实践分享2：精准购物引导覆盖淘系商品近20亿商品，支持淘宝/天猫搜索、猜你喜欢、榜单等31个核心流量场基于知识图谱沉淀一套围绕场景的商品决策树体系，辅助实现基于场景的商品导购，重构供需关系品类标签“篮球鞋相关”跨品类标签“送给爱人的礼物”跨品类标签“喂奶必备”阿里数字商业图谱实践分享3：商品实时管控商品管理智能管控商品信息审核每秒审核5000条商品信息商品图片审核每秒扫描2.2万张商品图片在线商品巡检6小时扫描全网近20亿+商品标题识别出多个品牌词判断出”真皮”和”含量30%及以下”描述有冲突通过图像算法、文本识别算法、形式化的管控知识、商品事实类知识 实现实时管控监控商 家平 台峰值亿级别 实时拦截率达 90%每周拦截问题商品1500万商品上架商品售卖阿里数字商业图谱实践分享4：跨渠道商品流通铺货利用知识图谱链接跨渠道商品信息，自动化映射转换对齐商品信息，助力商家多渠道商品运营，提升商品流通效率和质量基于概念图谱，挖掘沉淀商机库1000w+，指导商家多渠道商品运营基于标准类目属性，和淘宝、猫超、盒马、饿了么、考拉、1688、ICBU等13个渠道建立了映射关系，覆盖新零售GMV 90%跨渠道差异化供给分析类目映射关系配置属性映射关系配置智能回填类目+属性5商品同款预测4321图片待找累计帮助商家多渠道铺货经营商品17亿+，帮助商家节省了3500万人日工作量基于1.6亿标准产品，利用实体对齐技术，实现跨渠道商品同款预测识别，覆盖率80%+，准确率90%+，利用同款帮助回填类目+属性阿里数字商业图谱开放开放促进互联，连接创造价值，开放知识图谱是激活数据要素潜力的有力技术手段已开放数据集 类及属性个数：46万+核心概念数：67万+标准产品数：306万+总实体数：1600万+总三元组数：18亿+近期准备开放数据集 常识知识推理数据集 跨渠道商品同款数据集 商品类目错放数据集 商品短标题生成数据集?