近期，数之联算法团队在SCI顶级期刊（中科院一区）《Knowledge-Based Systems》发表了题为《Joint Gaussian mixture model for versatile deep visual model explanation》的学术论文。谢洲洋为第一作者，陈端兵为论文通信作者，何天翔、田晟兆、傅彦、周俊临为论文合作作者。
论文对深度学习的可解释建模进行了深入的研究和探索，提出了一种通用的深度视觉模型可解释性工具——联合高斯混合模型（Joint Gaussian Mixture Model, JGMM），可作为代理模型对模型决策进行解释，挖掘原型样本、反事实样本等可解释样本。该方法为深度视觉模型提供了多功能的、具有一致性的、可理解的模型解释。
图1 论文提出的模型解释框架使用概率JGMM对中间层特征X和Y进行建模
↓点击图片，下载论文
以深度学习为代表的人工智能技术的迅速发展推动了计算机视觉诸多领域的革命，然而在深度学习模型中，由于神经网络的结构和参数复杂性，导致模型的决策过程难以被人类理解。因此，研究深度学习模型的可解释性，可以帮助我们更好地理解模型如何做出决策，并提高模型的可靠性和鲁棒性。
JGMM是一种基于高斯混合模型（Gaussian Mixture Model）的概率模型，对深度模型的中间层特征建模，挖掘特征分布规律和特征间的关联关系。并利用混合高斯分布良好的性质，生成直观、可理解的代理模型和可解释样本。
图 2 JGMM对深度模型中间特征x和y建模，训练以条件分布q关联的两个高斯混合模型
目前深度视觉模型领域流行的模型注意力可视化、对抗样本生成、深度特征可视化等方法，往往专用于某一种模型解释类型，难以确保模型解释的一致性、不同类型的模型解释之间缺乏关联，无法用统一的框架进行验证。JGMM从概率模型出发，利用其在概率密度可计算性、模型复杂度可扩展性、采样高效性等方面的良好性质，提供了更丰富、更具有一致性的模型解释方法。并且，JGMM具有良好的可扩展性，基于改进的EM算法进行训练，可以面对深度模型高维度、大数据量的中间层特征。
图 3 MNIST数据集训练的VGG模型中间层表征的隐变量条件概率分布和可解释样本
图 4 ImageNet数据集训练的ResNet模型可解释样本
实验验证显示，JGMM具有较高的模型解释真实性（Faithfulness，通过代理模型在测试集数据的准确率体现），同时可以高效地利用代理模型解释特征间的关联、生成全局和局部可解释样本，可以作为研究者、工程师或普通使用者理解深度视觉模型、引导人类-模型交互、提升模型效果的有力工具。
资源中心
新闻资讯
公司新闻
媒体报道
品牌活动
关于我们
咨询热线：
028-8666 1321
川公网安备 51010702001879号 成都数之联科技股份有限公司 Copyright© 2022, unionbigdata.com. All rights reserved 蜀ICP备13021642号-5
专业服务
让制造更智能、城市更智慧
通用
敏捷智能BI平台
分布式智能AI平台
智慧工业
智慧监管
智慧法院
泛自然资源
智慧工业
智慧监管
智慧法院
泛自然资源
国土资源大数据解决方案
智慧应急大数据解决方案
生态河湖大数据解决方案
更多
实现感知、传输、协同、决策等综合运营管理能力，优化资源配置、降低运营成本、提高运营效率。
由点至面、循序渐进的构建酿酒生产大数据分析应用体系；围绕酒业营销构建从营销效能到消费转化的全链分析体系。
智慧军事大数据解决方案
专业服务
关于我们
智慧工业
新闻资讯
公司新闻
媒体报道
品牌活动
智慧监管
智慧法院
泛自然资源
建立比较完备的林业各类信息资源数据库，满足部门、政府日常数据需求和交互使用。
更多案例
核心关键词：工业ＡＩ检测,数据资产管理,司法数据中台,遥感大数据,ＡOＩ设备