创业邦&成都高新融媒体：数之联发表通用深度视觉模型可解释性工具，助力破解人工智能模型“黑箱”
来源:未知 作者:数之联 发布时间: 2023-10-23 46次浏览
数之联算法团队发表的《基于联合高斯混合模型的通用深度视觉模型可解释性方法》学术论文引起了成都高新融媒体中心和创业邦的广泛关注。

数之联算法团队近期在SCI顶级期刊《knowledge based systems》上发表了一篇名为《基于联合高斯混合模型的通用深度视觉模型可解释性方法》的学术论文。这篇论文引起了成都高新融媒体中心和创业邦的广泛关注。该论文对深度学习的可解释建模进行了深入的研究和探索，提出了一种通用的深度视觉模型可解释性工具——联合高斯混合模型，为破解人工智能大模型生成的“黑箱”，真正理清算法、模型和生成结果之间的逻辑关系提供方法。



01

成都高新融媒体中心采访视频

https://web.csp.chinamcloud.com/cms/cdgxqrmt_html/APP/fglm/4895199309.shtml?share=true

   助力破解人工智能模型“黑箱”，成都高新技术企业数之联学术科研论文入选SCI顶级期刊

02

以下为创业邦发文


以深度学习为代表的人工智能技术的迅速发展推动了计算机视觉诸多领域的革命。目前人工智能的发展主要依赖于深度学习模型，它们重要的特点就是模型大、参数多（上亿参数）、计算复杂。比如现在发展如火如荼的语言大模型GPT-4，达到了上千亿参数。其他用于视觉识别、自动控制、人机交互的深度学习模型也有越来越大的趋势。


然而在深度学习模型中，由于神经网络的结构和参数复杂性，导致了人们难以理解模型从数据学习到了哪些概念、逻辑、知识、规则。数之联的专家告诉记者，这就好比一位运动员能熟练地完成技术动作，背后涉及了人体上百亿个神经细胞；但运动员自己却不一定知道自己复杂的身体是如何运转的、这些神经元是如何作为协作的、它们的能力范围如何。


对于人工智能而言，人们用大规模数据和特定的任务去训练复杂的人工智能模型，却并不真的理解它学习到了什么概念和知识、内部在运行着什么规则、哪些场景是它还不理解的。这个问题被称做模型的不可解释性问题。而对于用于生产生活的人工智能模型来说，这种不可解释性会带来安全性、公平性等方面的问题。


数之联近期的这项研究工作就是针对深度学习模型，特别是视觉模型的可解释性研究。数之联提出的联合高斯混合模型（Joint Gaussian Mixture Model, JGMM）是一种基于高斯混合模型（Gaussian Mixture Model）的概率模型，对深度模型的中间层特征建模，挖掘特征分布规律和特征间的关联关系。并利用混合高斯分布良好的性质，生成直观、可理解的代理模型和可解释样本。


图片

图1 JGMM对深度模型中间特征x和y建模，训练以条件分布q关联的两个高斯混合模型


包括如：


（1）代理模型，用一个更简单、更容易理解的逻辑关系替代复杂的黑盒模型。

（2）原型样本，让AI用典型的例子来说明自己学习到的概念。

（3）反事实样本，让AI告诉我们如何通过修改数据来改变它的决策。


目前深度视觉模型领域流行的模型注意力可视化、对抗样本生成、深度特征可视化等方法，往往专用于某一种模型解释类型，难以确保模型解释的一致性、不同类型的模型解释之间缺乏关联，无法用统一的框架进行验证。JGMM从概率模型出发，利用其在概率密度可计算性、模型复杂度可扩展性、采样高效性等方面的良好性质，提供了更丰富、更具有一致性的模型解释方法。并且，JGMM具有良好的可扩展性，基于改进的EM算法进行训练，可以面对深度模型高维度、大数据量的中间层特征。


图片

图2 MNIST数据集训练的VGG模型中间层表征的隐变量条件概率分布和可解释样本


图片

图3  ImageNet数据集训练的ResNet模型可解释样本


实验验证显示，JGMM具有较高的模型解释真实性（Faithfulness，通过代理模型在测试集数据的准确率体现），同时可以高效地利用代理模型解释特征间的关联、生成全局和局部可解释样本，可以作为研究者、工程师或普通使用者理解深度视觉模型、引导人类-模型交互、提升模型效果的有力工具。


专家还告诉记者，目前基于深度学习的人工智能打一个不太恰当比方就像历史上的炼金术。AI研究者们也会自嘲是“炼丹”。大多数人都在讨论加什么料（数据）、用什么炉子（模型）、用多大火候（GPU）。但站在后世的角度看，炼丹术无疑是经验主义的、缺乏系统的科学理论指导的。我们需要的是化学，是认识到物质作为分子、原子这种基本组成元素，并研究它的结构和性质，理解分子间的转化规律，最后再来解释宏观现象。回到AI，AI要继续长远发展下去，就必须要找到一个科学的理论框架来用理论替代经验。而模型可解释性研究正涵盖了一些有希望探索人工智能底层原理的方向。


下一步，数之联会将模型解释应用到缺陷检测、遥感图像解译、语义检索、问答模型等具体业务中，让它真正能服务于AI的使用者，促进技术研究发展。


据了解，近年来数之联除了在模型可解释性这一前沿方向发力并取得成果外，在其他方向也在积极投入，在轻量化、多模融合、未知目标识别、复杂背景下的微小目标识别及信号处理等方向上取得了初步研究成果。数之联表示，接下来将结合自身在知识表示、知识图谱领域的技术和工程优势，向知识+数据联合驱动模型方向开展研究。特别是，将大模型和知识图谱结合，建立解释性更好的领域大模型和领域知识图谱，支撑各类垂直应用。


更多新闻
最新发布 | 数之联参编《四川省大数据产 ...
2023-12-01
Gartner报告 | 数之联解读202 ...
2023-11-28
喜讯 | 数之联入选工信部第五批服务型制 ...
2023-11-23
立即咨询

资源中心

产品

解决方案

核心技术

咨询规划

项目支持

新闻资讯

公司新闻

媒体报道

品牌活动

关于我们

关于数之联

加入我们

咨询热线：

028-8666 1321

川公网安备 51010702001879号        成都数之联科技股份有限公司 Copyright© 2022, unionbigdata.com. All rights reserved         蜀ICP备13021642号-5

专业服务

让制造更智能、城市更智慧

立即咨询

通用

全链路数据资产管理平台

实现业务数据化、数据资产化、资产服务化，使数据资产成为 企业增长的新动力。

敏捷智能BI平台

企业必备的敏捷自主的商业智能分析工具，才华横溢的数据可视化，帮助用户轻松完成可视化探索式分析和数据展现。

分布式智能AI平台

支持多人协作的数据挖掘和机器学习平台，以分析和预测为核心，内置了近百种数据挖掘算法，为用户提供完整的知识发现和应用流程。

智慧工业

AI-AOI · 自动光学检测设备

基于深度学习的创新性产品

AI-ADC · 自动缺陷检测与分类系统

基于自主研发的AI分析引擎提供产品缺陷检测与分类，实现人力释放和产能提升等效益。

YMES · 智能品质分析平台

能够全方位的监控、管理和分析良率，显著提升分析和优化速度，保障产线正常生产。

智慧监管

VM · 虚拟量测

提供在制品和成品之间关键指标预测，达到虚拟量测全检效果。

智慧监管大数据管理平台

以数据为核心，提供数据全生命周期服务，构建一站式数据管理能力。

市场监管智能分析平台

实现对海量庞杂数据的高效挖掘分析应用，为监管部门提供业务洞察和辅助决策。

智慧产业分析平台

融合多源数据，基于数字孪生、全息画像，构建多维度产业分析模型，为区域产业、强链补链等提供决策支持。

智慧法院

司法数据中台

对数据进行集中治理、深度挖掘，为法院和公众提供数据智能服务。

智慧法院大脑

帮助司法人员进行司法知识管理。

电子诉讼平台

实现从立案到结案的全流程线上诉讼服务。

智慧审判辅助支撑平台

面向审判业务，以法官工作需求为导向，提供智慧审判组件。

审判监督管理一体化平台

完善司法决策机制，提升司法决策能力。

泛自然资源

AI4EO · 时空大数据

智能解译平台

天-空-地一体的数据集合感知，实现对遥感影像、无人机影像以及视频图像数据的全智能、大规模、高效率的实时处理与分析。

森林资源智能监测平台

实现对森林资源动态监测和调查工作。

遥感森林防火监测系统

用于农、林的火灾火情预警、监测、评估。

智慧工业

智能制造整体解决方案

融合大数据及人工智能，面向工业企业打造的智能平台和应用，使工业企业生产过程中具备深度数据感知、智能分析自决策和智慧决策自执行的能力

智慧监管

智慧监管整体解决方案

全面汇聚监管信息、整合沉淀数据资源，深挖数据价值、释放数据潜能，提升监管精准化、智慧化水平，助力政府监管业务变革。

智慧法院

智慧法院整体解决方案

运用云计算、大数据、人工智能等新兴技术，致力于以数据为中心，建立以法学知识驱动的智慧法院核心业务架构，为促进审判体系和审判能力现代化提供有力科技支撑。

泛自然资源

泛自然资源整体解决方案

实现对图像数据的高效智能实时处理与分析，为生态环境、智慧林业、国土资源、农林监管、应急管理等泛自然资源行业客户提供从咨询规划、数据治理、挖掘分析和可视化应用的综合解决方案。

智慧林业大数据解决方案

智慧农业大数据解决方案

国土资源大数据解决方案

智慧应急大数据解决方案

生态河湖大数据解决方案

更多

智慧园区大数据解决方案

实现感知、传输、协同、决策等综合运营管理能力，优化资源配置、降低运营成本、提高运营效率。

智慧酒业大数据解决方案

由点至面、循序渐进的构建酿酒生产大数据分析应用体系；围绕酒业营销构建从营销效能到消费转化的全链分析体系。

智慧军事大数据解决方案

专业服务

核心技术

大数据及人工智能技术，是数据价值发现及创新的利器，更是数之联的算法核心资源。

咨询规划

为赋能政府治理能力提升和经济高质量发展，以及企业数智化转型提供顶层设计。

重大科研项目

数之联以家国情怀、时代担当之精神，主动承建国家重大科研项目。

项目支持

科学严谨的实施方法论，提供真正本地化服务，全面立体的服务体系。

关于我们

关于数之联

数之联 • 数据价值发现专家

致力于成为数据智能行业引领者

加入我们

加入数之联，共创数据新时代！

联系我们

联系数之联，获取服务支持。

028-86661321

智慧工业

某LTPS面板自动缺陷检测与分类系统

实现缺陷自动分类，可大幅节省人力，提高效率，规避人员误判风险，提高工厂生产效益。

某PCB龙头企业自动缺陷检测与分类系统

实现缺陷自动分类，替代工程工艺阶段的人工肉眼判图。

某动力电池缺陷检测

通过不同的相机进行拍图，并自动检测卷绕前极片外观尺寸、极片保护胶、入卷针前后极耳状态。

全方位的监控、管理和分析良率，及时发现异常来源从而有力保障产线的正常生产。

某面板企业智能品质分析平台

某自主品牌汽车外观配置检测

依托深度视觉检测技术，自动识别不同车型、同一车型的不同配置，进行整车车检测、文档检测、钢印信息检测、齿轮检测等。
最新发布 | 数之联参编《四川省大数据产业白皮书（2023）》，助力四川数字经济发展
Gartner报告 | 数之联解读2023年AI技术成熟度曲线
喜讯 | 数之联入选工信部第五批服务型制造示范名单、四川省2023年新经济重点新场景名单
36氪 | 数之联获中国工业互联网大赛北京站一等奖
关注 | 数之联正式发布指标管理平台（内附产品白皮书下载）

新闻资讯

公司新闻

媒体报道

品牌活动

成都市市场监督管理局融合信息系统项目

打造坚实的市场监管大数据能力底座，开展数据全生命周期管理。

湖北省市场监督管理局网络餐饮订餐监管平台

强化餐饮服务提供者的食品安全意识，提升监管部门食品安全治理水平。

充分整合工业企业相关数据资源，建立企业画像和产业画像，提供对区域企业和产业链发展的全景洞察能力。

成都市工业互联网企业云图建设项目

成都市食品安全监测预警数据中心

面向食品安全的靶向监管，提升食品安全风险管控的效能。

智慧监管

福建省食品药品监管大数据云服务

提升资源利用率及抽检问题发现率，提升食品监管“循数决策”能力，提升药品监管的精准化管理水平。

智慧法院

四川省高级人民法院智慧法院建设项目

提高法院数据管理水平，构建大数据分析能力，利用数据解决业务核心痛点。

科技部司法人工智能重点研发项目

实现虚假诉讼甄别、案件繁简分流、庭审信息推送及虚拟示证、庭审多模态数据分析、类案精准推荐、刑案量刑辅助等功能。

全方位的监控、管理和分析良率，及时发现异常来源从而有力保障产线的正常生产。

宜宾市中级人民法院审判监督管理一体化平台项目

成都市中级人民法院数据支撑平台与知识服务平台建设项目

解决数据融合及互联互通困难、数据交换无法满足业务需要、应用系统无法支撑审判工作、无法满足繁简分流改革试点等痛点

泛自然资源

重庆市智慧林业一期项目

建立比较完备的林业各类信息资源数据库，满足部门、政府日常数据需求和交互使用。

重庆市森林资源智慧监测平台

利用AI对中分辨率卫星遥感影像进行智能解译，应用变化检测算法高效自动提取变化图斑，最终实现对森林资源的智能监测。

江油智慧农业平台

助力政府部门实现用数赋智、决策支撑，对接企业盘活地方经济、精准助农，针对农户提供多类助农服务、民生惠农。

从水资源丰富情况和水质感官情况两个维度对河湖整体情况进行评价，定量评估不同种类污染程度，建立水质综合感官指数。

河湖遥感大数据分析系统

重庆市船舶大气污染物检测系统

实现途径船只识别及黑烟排放识别，从而释放执法部门人力监管资源，提升监管效率。

四川省第三次全国国土调查关键技术研究项目

实现对“山水林田湖草”和建设用地等典型土地利用类型的自动化解译，以及变化信息的自动化提取，提升国土调查内业信息提取效率和准确性。

更多案例

五粮液大数据平台

形成五粮液“大数据+生产”、“大数据+营销”、“大数据+管理”的大数据解决方案和应用体系。

成都电网营销工单分析管理系统

通过大数据技术，提升服务响应速度，提升精准服务水平，预测客户投诉风险，优化服务策略，加强风险预警能力。

利用大数据技术将招投标数据与电信DICT深度结合，为电信在DICT行业挖掘客户、捕捉商机、招募合作伙伴、洞悉竞争对手等方面赋能。

四川电信DICT生态雷达系统

成都超算中心园区

应用物联网、人工智能、大数据等先进技术应用为园区提供实时、准确的监测能力、高效、智能的管理能力和全面、个性化的服务能力。

成功案例

油田数字化转型解决方案

围绕油气业务链提质增效和高效协同的目标，助力油企全面实现数字化转型，初步实现智能化发展。

电网营销工单分析解决方案

响应国网公司数字化转型战略，基本实现“电网一张图、数据一个源、业务一条线”

DICT招投标解决方案

基于招投标数据实现对运营商DICT行业领域的市场预测、商机挖掘、生态建设等核心能力全面提升。
Gartner报告 | 数之联解读2023年AI技术成熟度曲线
喜讯 | 数之联入选工信部第五批服务型制造示范名单、四川省2023年新经济重点新场景名单
数之联提出了一种通用深度视觉模型可解释性工具，有力提升模型效果
36氪 | 数之联获中国工业互联网大赛北京站一等奖
创业邦&成都高新融媒体：数之联发表通用深度视觉模型可解释性工具，助力破解人工智能模型“黑箱”
《*投资报》专精特新大调研丨打造坚实技术底座 数之联获资本青睐
最新发布 | 数之联参编《四川省大数据产业白皮书（2023）》，助力四川数字经济发展
关注 | 数之联正式发布指标管理平台（内附产品白皮书下载）
数之联参与制定两项缺陷检测团体标准，助推行业规范化和专业发展

成都法院在线建设项目

提高司法质效、改善诉讼服务体验，解决“问累、诉累、跑累”。

核心关键词：工业ＡＩ检测,数据资产管理,司法数据中台,遥感大数据,ＡOＩ设备