2023跨模态信息检索平台市场厂商评估报告.pdf

1|跨模态信息检索平台市场厂商评估-蜜度2|跨模态信息检索平台市场厂商评估-蜜度目录1.研究范围定义12.跨模态信息检索平台市场分析43.厂商评估：蜜度104.入选证书15关于爱分析16研究与咨询服务17法律声明183|跨模态信息检索平台市场厂商评估-蜜度研究范围定义1|跨模态信息检索平台市场厂商评估-蜜度1.研究范围定义人工智能是指运用机器学习/深度学习、自然语言处理、计算机视觉、知识图谱等技术，并结合业务场景形成解决方案，以辅助、增强或替代人工来制定决策或执行任务。爱分析从产业链角度，把人工智能市场划分为基础设施层、AI 平台层和应用层，具体市场划分详见下图。2|跨模态信息检索平台市场厂商评估-蜜度本评估报告聚焦应用层的跨模态信息检索平台市场，爱分析遴选出具备成熟解决方案和落地能力的厂商，为企业选型提供参考。同时，在该市场下，爱分析重点选取了跨模态信息检索平台厂商蜜度进行能力评估。3|跨模态信息检索平台市场厂商评估-蜜度跨模态信息检索平台市场分析4|跨模态信息检索平台市场厂商评估-蜜度2.跨模态信息检索平台市场分析市场定义：市场定义：跨模态检索平台是指以一种类型的数据作为查询输入，检索另一种类型数据的平台，主要应用于舆情分析、口碑分析、视频溯源、智能预警等领域。甲方终端用户：甲方终端用户：企业营销部门、市场部门；媒体编辑；政府宣传部门、内容监管部门甲方核心需求：甲方核心需求：随着数据规模膨胀、类型逐渐丰富，数据的存储方式也呈现出多模态形式。当企业、媒体和政府部门用户出于舆情管理、内容监管等原因进行信息检索时，对于不同模态的相同信息，往往有同样的检索需求，跨模态信息检索平台应运而生。各类用户对于跨模态信息检索平台的基础需求包括快速、全面和准确。近年来，随着信息数量和隐蔽性的增加，粗颗粒度的跨模态检索结果逐渐难以满足用户要求，细颗粒度检索需求也逐渐显现。图 1 甲方对跨模态信息检索平台的核心需求5|跨模态信息检索平台市场厂商评估-蜜度企业需要跨模态检索结果覆盖全面。企业需要跨模态检索结果覆盖全面。互联网数据规模持续扩张，信息分布呈现多模态、多渠道的特点。一方面，短视频的兴起使得视频类信息数量激增，关键信息可能作为某一帧画面的一部分出现，具有更强的隐蔽性，传统检索方式很难准确识别。另一方面，随着网络信息渠道的多元化，相同的信息可能出现在多个网站，容易产生“漏网之鱼”。以上因素对企业和政府部门的舆情管理提出更高要求。为保证信息获取的完整性和舆情管理的有效性，企业和政府部门需要对互联网公开信息进行跨模态全面检索，不遗漏关键信息。企业需要具备跨模态信息监测能力企业需要具备跨模态信息监测能力，快速发现多模态舆情信息快速发现多模态舆情信息。舆情和品牌风险管理是跨模态信息检索平台的重要应用场景。以企业品牌风险管理为例，公关事件对企业响应速度提出很高要求，企业需要及时发现舆情，迅速做出回应。如果应对速度缓慢，会导致网络舆情发酵，对企业声誉乃至业务产生更严重的影响。为此，企业需要具备跨模态品牌风险监测能力，快速发现多模态舆情信息。企业需要提高跨模态信息检索准确性，保障搜索效率。企业需要提高跨模态信息检索准确性，保障搜索效率。用户通过关键词、图片、视频等搜索方式，从跨模态信息检索平台获取信息后，还需要从中筛选出满足需求的结果。如果检索结果中包含过多与搜索目标不相关的内容，用户会浪费大量时间进行二次筛选。为此，企业需要提高跨模态信息检索准确性，从而保障用户信息搜索效率。企业需要细化跨模态检索信息颗粒度企业需要细化跨模态检索信息颗粒度，一步获取关键信息一步获取关键信息。随着信息数量和隐蔽性的增加，粗颗粒度的检索结果逐渐难以满足用户需求。以视频检索为例，常见的跨模态检索只能筛选出特定的视频片段，需要用户自行从中筛选所需信息。以图片检索为例，当用户输入“海滩”时，只能得到带有“海滩”关键字的图片，需要二次筛选出包含海滩场景的图片。如今企业对跨模态检索结果的颗粒度要求逐渐细化，需要从视频中抽取特定的片段甚至关键帧，一步获取关键信息。厂商能力要求：厂商能力要求：企业对跨模态信息检索平台的需求为厂商提出多项能力要求。为实现检索全面性，厂商需要扩展产品的信息识别范围、提高识别准确性，并根据用户反馈及时迭代；为保障检索时效性，厂商需要优化底层配置和搜索能力，并为高时效性要求的应用场景提供快速查询服务；为保障检索准确性，跨模态信息检索平台需要具备高效数据清洗能力，并通过标签选项提供信息快速筛选功能。此外，跨模态信息检索平台需要通过细化特征表示、集成各类信息编辑技术，满足用户细颗粒度的检索需求。6|跨模态信息检索平台市场厂商评估-蜜度厂商需要扩展产品的信息识别范围厂商需要扩展产品的信息识别范围、提高识别准确性提高识别准确性，并根据用户反馈及时迭代并根据用户反馈及时迭代。为满足企业和政府部门对跨模态信息检索的全面性要求，跨模态信息检索平台需要扩展信息识别范围、提高识别准确性，具体要求如下：表 1 跨模态信息检索平台扩大识别范围、提高识别准确性要求同时，厂商需要及时收集用户对跨模态信息检索平台的使用反馈，对检索结果的全面性进行评估，用评估结果指导检索系统迭代。厂商需要优化底层配置和搜索能力厂商需要优化底层配置和搜索能力，并为高时效性要求的应用场景提供快速查询服务并为高时效性要求的应用场景提供快速查询服务。为满足舆情和品牌风险管理等需求对信息时效性的要求，厂商首先需要从底层配置、任务分发机制和搜索方式等途径提高跨模态信息检索速度：7|跨模态信息检索平台市场厂商评估-蜜度图 2 部分提高跨模态信息检索速度的方式在此基础上，部分头部厂商已经针对信息检索时效性需求，定制跨模态信息检索平台的产品功能。以舆情管理为例，跨模态信息检索平台可以监控热门视频平台信息，实时搜集热搜数据，并利用 AI 技术识别出其中的关键语义信息，快速识别视频中可能存在的风险。跨模态信息检索平台需要具备高效数据清洗能力跨模态信息检索平台需要具备高效数据清洗能力，并通过标签选项提供信息快速筛选功能并通过标签选项提供信息快速筛选功能。为保障跨模态信息检索的准确性，厂商需要提高跨模态信息检索平台的数据清洗能力，包括不重复采集已经采集过的内容，以及将已采集的内容通过语义相似度比对，进行相似合并和重复内容清洗。此外，厂商应将用户常用的搜索关键词提炼成标签，以知识图谱的形式存储为结构化标签体系，为用户提供定向检索功能。在信息采集、清洗完毕后，用户可通过定向检索功能实现信息过滤。在此基础上，厂商需要通过情感识别等 AI 技术丰富标签数量，涵盖更多领域、主题和细节信息，从而提供更精准的检索结果。跨模态信息检索平台需要细化特征表示跨模态信息检索平台需要细化特征表示，并集成各类信息编辑技术并集成各类信息编辑技术，为用户提供细颗粒度的检为用户提供细颗粒度的检索结果。索结果。传统的图像和文本跨模态检索将每张图片视为一个整体，使用全局特征表示，而每个文本标签只用一个向量表示。为满足用户对检索颗粒度的要求，跨模态信息检索平台需要细化特征表示。在图像表示方面，可以利用目标检测算法或实例分割算法，从图片中提取出物体，并用每个物体的特征向量来表示图像。在文本表示方面，可以将文本标签分解成单词或短语，并用预训练的词向量来分别表示。以上方式能准确捕捉图片和文本之间的语义关系，提高跨模态信息检索的准确性，如当用户查询“海滩”时，可以直接得到拥有“海滩”场景或物体的图片。同时，跨模态检索平台需要融入各类信息编辑技术，直接将细颗粒度检索结果呈现给用户。在视频检索中，厂商可通过关键帧提取技术将视频关键帧以图片的形式呈现。在图片检索中，平8|跨模态信息检索平台市场厂商评估-蜜度台识别出重点物体或场景的特征向量后，可标记对应图片像素区域。用户无需进行重复筛选，即可获取所需信息。入选标准说明：入选标准说明：1.符合跨模态信息检索平台的厂商能力要求；2.近一年厂商在该市场的营收不低于 500 万元；3.近一年厂商在该市场的付费客户不低于 10 个。9|跨模态信息检索平台市场厂商评估-蜜度厂商评估：蜜度10|跨模态信息检索平台市场厂商评估-蜜度3.厂商评估：蜜度厂商介绍：厂商介绍：上海蜜度信息技术有限公司（简称蜜度）是一家以人工智能技术为核心的语言智能科技企业，专注于多模态多语言智能科技，为政府和企业各类办公场景提供智能应用软件。公司创立于 2009 年，致力于为数字政府、数字营销、数字媒体、数字城市的建设提供全方位的智能应用解决方案。蜜度利用先进的跨模态检索（CMR）、多语言校对（MLC）、计算机视觉（CV）、自然语言处理（NLP）、内容生成（AIGC）、知识图谱（KG）等人工智能技术为企业和政府机构提供智能校对、智能生成、智能检索等应用软件产品，赋能企业和政府的办公场景数字化、智能化转型升级。产品服务介绍：产品服务介绍：蜜度索骥是一款集图片检索、视频检索和跨模态检索为一体的信息检索智能软件，基于 CV、OCR 等人工智能技术，对图片、音视频中的场景、字幕、弹幕、背景、商标等元素进行识别，并使用跨模态对比学习、多模态语义融合等跨模态技术，实现对文本、图片、音频、视频的跨模态信息检索、分析与应用。厂商评估：厂商评估：作为一款跨模态多语言智能检索平台，索骥具备高精度跨模态信息检索能力，实时检索文字、图片和音视频信息。在此基础上，蜜度还为政企客户提供视频监测、视频热搜、风险识别、智能预警等核心功能，使得索骥的功能更好地赋能网信、公安等机关部门及品牌企业。此外，蜜度与产品使用者建立了正向反馈闭环，基于用户使用体验迭代 AI 能力，提高智能检索水平，并将政企领域丰富项目经验沉淀为索骥的检索能力，为客户提供定制化部署方案。索骥具备高精度跨模态检索能力，能实现实时信息检索。蜜度获得新浪微博官方数据支持，以互联网公开数据，积累了大量训练集。蜜度在训练多模态语义对齐模型时，先使用超过 2 亿图文对训练索骥的多模态泛化能力，再结合具体场景，使用大量图文对，对模型进行增强训练。海量数据的泛11|跨模态信息检索平台市场厂商评估-蜜度化和增强训练使索骥具备高精度跨模态检索能力，可准确解析视频中的字幕、背景、封面、音频等特征元素。其中，索骥的字幕识别率达 94%-95%，音频识别率达 92%-95%。此外，索骥还具备实时信息检索能力。蜜度拥有新浪微博官方数据支持，且能对目前市面上热门的短视频平台进行分钟级视频内容轮巡，实时了解多个视频平台的热搜数据，保障短视频信息检索全面、及时。蜜度将知识图谱、NLP 等 AI 能力与产品结合，通过打造用户反馈闭环，不断优化索骥的智能化检索水平。作为一家语言智能科技企业，蜜度十分重视跨模态检索的智能化发展，并在 AI 领域展开长期布局。深度学习兴起初期，蜜度便与高校、学界开展多个 AI 项目合作，并成立了由专业团队组成的微热点研究院开展技术研究，多年来积累了完备的 AI 研发和工程实践能力。蜜度将 AI 能力与产品结合，不断优化索骥的跨模态多语言智能检索能力：图 3 跨模态多语言智能检索能力考虑到测试场景与用户实际搜索场景的差异，蜜度积极推动建立用户反馈闭环。以情感判断为例，索骥在上线后，还会不断跟进客户在特定使用场景中的精确度反馈，对每一个情感识别问题归类、12|跨模态信息检索平台市场厂商评估-蜜度分析，再进行下一轮增强训练，使得 AI 情感判断能力“越用越智能”。图 4 蜜度打造用户反馈闭环机制蜜度以需求为导向拓展索骥产品功能，满足政企多元场景的跨模态检索需求。索骥的客户主要来自政务和媒体领域，需求以信息检索、文化传播和品牌风险防范为主。针对此类客户的核心需求，蜜度在索骥跨模态检索功能的基础上，开发了一系列政企领域核心功能，如视频监测、风险识别等。图 5 索骥核心功能13|跨模态信息检索平台市场厂商评估-蜜度在此基础上，蜜度定期收集客户反馈，为索骥开发出智能预警、可视化图表等辅助功能，高效解决客户使用痛点。以某知名国产汽车品牌为例，近年来其品牌口碑维护转向新兴的视频社交平台。但由于短视频的传播速度快、信息量大、生产及传播门槛低，品牌口碑监测难度更大。为此，蜜度提供索骥视频监测系统、人工预警服务，解决客户短视频监测的短板，及时准确的将客户需要的短视频信息分发给各负责人。这些功能保障了企业能够及时预估可能造成的风险，包括可能引发的媒体关注话题，及可能对企业造成的影响、整体传播情况，有效提高了客户工作效率。图 6 索骥辅助功能蜜度将政企领域丰富项目经验沉淀为索骥的检索能力，并能为客户提供定制化部署方案。索骥自推出以来，为大量政企用户提供跨模态多语言智能检索服务。为保证检索精度，蜜度不断优化索骥的搜索标签库。目前，索骥能够提供超过 100 个筛选条件，用户可以快速通过地域圈定、内容来源选择、情感倾向等标签，精准筛选所需信息。此外，针对国企、政府部门等类型的客户，蜜度可以提供索骥私有化部署。蜜度可以将索骥的语义特征的抽取等模块部署到客户内网，用于内部的多模态数据检索。针对不同客户的使用场景差异，蜜度还能提供模型特化或者再训练服务。14|跨模态信息检索平台市场厂商评估-蜜度入选证书15|跨模态信息检索平台市场厂商评估-蜜度4.入选证书16|跨模态信息检索平台市场厂商评估-蜜度关于爱分析爱分析是中国领先的数字化市场研究与咨询机构，成立于中国数字化兴起之时，致力于成为决策者最值得信任的数字化智囊。凭借对新兴技术和应用的系统研究，对行业和场景的深刻洞见，爱分析为数字化大潮中的企业用户、厂商和投资机构，提供专业、客观、可靠的第三方研究与咨询服务，助力决策者洞察数字化趋势，拥抱数字化机会，引领中国数字化升级。17|跨模态信息检索平台市场厂商评估-蜜度研究与咨询服务技术研究新兴技术研究，厂商能力调研，助力数字化最优决策客户洞察企业用户需求及实践调研，辅助制定业务与市场策略行业研究行业数字化趋势与实践研判，辅助业务与战略决策品牌&营销权威背书，树立行业地位；教育市场，精准触达客户投资研究成熟方法论，一手数据，助力研判机会、稳健投资商业研究基于研究、数据和案例调研积累，辅助业务可靠落地20|跨模态信息检索平台市场厂商评估-蜜度