信赖php说明器技巧_人类若何信任AI朱松纯团队提出基于心智理论的可解释AI模型CXToM

文章目录 [+]

信赖（trust）是人类在社会协作中的一种主要的生理状态，人与人之间只有达成了信赖才能更好地展开互助，完成一人无法单独完成的任务。

在人与AI共处的时期，AI同样要与人类建立信赖才能更好地帮助人类。
这就哀求AI在两个层次上获取人的信赖：1、能力与性能：AI要让人类清晰地知道在什么条件下，可以完成哪些任务，达到什么样的性能。
2、情绪与代价：AI要与人类产生情绪共鸣，保持附近的代价不雅观，把人类的利益放在紧张位置，与人类形成利益共同体。

信赖php说明器技巧_人类若何信任AI朱松纯团队提出基于心智理论的可解释AI模型CXToM

想象一下，在一个川流不息的十字路口，你乘坐在一辆自动驾驶汽车上，实在是把自己的性命交给了它。
当在行驶过程中，它溘然要向左转，但是不见告你为何要向左转，而不是直行或者右转，除非你100%信赖它，否则你很难轻易地接管这个决定。
令人遗憾的是，当今的自动驾驶连“能力与性能”的信赖层次都达不到，更不用提“情绪与代价”的信赖层次。
这是由于当前基于神经网络的AI算法是有偏见的，可阐明性很差，实质上仍是个“黑盒子”，无法向人类阐明为何做出特定的决策。
这一毛病是致命的，尤其是在自动驾驶、金融保险、医疗康健等AI决策能够产生重大影响、风险极高的领域。
因此研究可阐明人工智能（XAI）已经势在必行，其目的正是搭建人类和AI之间的信赖桥梁。

（图片来自网络侵删）

近日，朱松纯教授团队在Cell子刊《iScience》上揭橥了题为《Counterfactual explanations with theory of-mind for enhancing human trust in image recognition models》的论文。

这篇论文提出了一个新的可阐明AI框架CX-ToM，它将“心智理论（ToM）”和“反事实阐明”（counterfactual explanations）集成到了单一的阐明框架中，可以用于阐明深度卷积神经网络（CNN）做出的决策，在图像识别模型中增强人类对神经网络的信赖。

当前可阐明AI框架方向于在单轮对话中天生“阐明”，是一锤子买卖，而本文的一大亮点则是将“阐明”视为一种基于人机交互对话的多轮次通信过程。

图1 CX-ToM论文被Cell子刊《iScience》任命

论文作者：Arjun R. Akula, Keze Wang, Changsong Liu, Sari Saba-Sadiya, Hongjing Lu, Sinisa Todorovic, Joyce Chai, Song-Chun Zhu

论文地址：https://www.cell.com/iscience/fulltext/S2589-0042(21)01551-0

朱松纯团队曾于2019年揭橥论文《X-ToM: Explaining with Theory-of-Mind for Gaining Justified Human Trust》。
X-ToM模型利用心智理论（ToM）增加了人类对AI的信赖，CX-ToM模型是在X-ToM模型的根本上最新领悟利用了反事实阐明（Counterfactual explanations）的观点，进一步增加了人类对AI的信赖。

X-ToM论文地址：https://arxiv.org/abs/1909.06907

只管基于大数据演习的神经网络模型在这两年已经发展到了成千上万亿的参数规模，但是其内部的演算机制仍旧无法阐明，在获取人类的信赖方面效果甚微。
而CX-ToM模型却能增加人类对图像识别神经网络的信赖，这里的关键在于，CX-ToM模型将“反事实阐明”（CX）和“心智理论（ToM）”集成领悟到了单一的阐明框架中，反事实阐明和心智理论都是使得神经网络获取人类信赖的元勋。
下面分别对这两者做个先容。

反事实阐明

反事实阐明是按以下形式描述了一种因果关系：“如果没有发生X，那么Y就不会发生。
”例如：“如果我早上没有赖床，我上班就不会迟到了。
”这里事宜Y是上班迟到，缘故原由之一是早上赖床。
反事实便是想象一种与事实相抵牾的假设情形，然后再进行推理判断。

那么反事实阐明如何运用在图像识别上面呢？

这就要提到本文的一大创新点——断层线（fault-lines）。
断层线的意思是说，利用反事实阐明，把一张图像语义层面的事实给否定掉，即用一组最小语义特色（称为可阐明观点:Xconcepts）在原来图像的对应区域添加或删除可阐明观点，使得原来被CNN模型识别种别为A的输入图像被重新识别为B。

如下图所示，通过添加“黑白相间的条纹”等斑马独占的可阐明观点特色，原来被CNN模型识为马的图像被重新识别为了斑马，这里“黑白相间的条纹”便是一个语义特色。

图2 给马增加斑马独占的可阐明观点特色后，被重新识别为了斑马

再例如，要想使一张“山羊”图像被重新识别为“绵羊”，可以添加“厚厚的羊毛”并同时删除山羊的“髯毛和角”。
由于人类在识别物体时每每也是捉住一组具有区分性的语义特色，如果神经网络也学会了这种识别办法，就会引起人类天生的好感，增加人类对其的信赖。

心智理论

心智理论是指理解自己和他民气理状态（包括感情、崇奉、意图、希望、假装与知识等）的能力，最早在生理学和认知科学中被研究，现已泛化到人工智能领域。
心智理论在多智能体和人机交互环境中尤为主要，由于每个智能体都要理解其他智能体（包括人）的状态和意图才能更好地实行任务，其行为又会影响到其他智能体做出行为判断。

机器要想获取人类的信赖，必须以沟通的办法向人类阐明其每一步决策的意图。
高效的阐明不是一锤子买卖，而是一个人机交互的反复沟通过程。
由于人类很随意马虎被太多或太详细的阐明所淹没，交互式沟通有助于机器理解人类并识别人类特定的阐明内容。
此外，认知研究表明，只有在机器充分考虑到人类的意图和信念后才能产生最佳的阐明。

心智理论正好可以明确地建模人类的意图，在人机交互的对话中天生一系列阐明，从而帮助机器揣摩人类的心智，减少机器和人类之间的认知思维差异，增加人类对机器的信赖。

如下图所示，在利用心智理论推动人机互换的多轮次对话中，要考虑三个主要方面：（a）人类的意图，（b）人类对机器的理解，（c）机器对人类用户的理解。
在一样平常环境下，机器和人分别知道一些独特的知识，和一些共有的知识；机器有自己的见地，人也有自己的见地，这个时候机器与人之间须要协作和互换，须要心腹知彼，达成“共识”（下图蓝色椭圆和橙色椭圆的交集），即“你知道我是知道你知道的”。

图3 CX-ToM：基于心智理论的交互式和协作XAI框架是通过对话进行交互的。

这就像老师上课的时候须要一个摸底测试，他须要知道学生们哪些知识节制了，哪些没有节制；这样才能方案后面哪些知识须要讲，哪些知识不须要讲。
机器对人有一个预判，人对机器也有一个预判，当这两个预判不准的时候，这个沟通便是无效的，是“鸡同鸭讲”，这机遇器就无法获取人类的信赖。

CX-ToM：反事实阐明和心智理论的结合

人类具有强大的想象和思考能力，可以利用反事实阐明将一张图像从种别A转换到种别B，但是这对机器而言却非常困难。
因此人类要想办法通过一次次的相互沟通，教会机器学会这个反事实阐明的过程，心智理论在这里就派上了用场。

下图是基于心智理论的断层线选择过程示例图。
下图上方有一张被CNN模型精确识别的鹿的图像，但是仔细不雅观察会创造，这张图像被CNN模型预测识别出的类型还有袋鼠和斑马。
大概你会说，图像里的这张鹿是站立着的，身躯又是黄褐色的，如果不看鹿角只看身躯，倒也和袋鼠有些相似，CNN模型做出这样的预测情有可原，但是被预测成斑马则差的有些离谱。
事后预测一番，或许CNN模型把鹿背后的草原环境当作一个干系联的识别项了，可能在演习数据集中有很多斑马的图片，而斑马总是身处草原的环境中，因此CNN模型看到草原后“遐想”起了斑马。
这些都表明了神经网络是“黑盒”性子的，可解性很差，只会盲目地在一堆预测种别中选择可能性最高的那个。

图4 基于心智理论的断层线选择过程示例图

以是，人类用户就要讯问机器（这里指CX-ToM模型）：“为什么这张图被识别成鹿而不是袋鼠？”这机遇器就要根据断层线阐明来回答用户为何做出相应的推理和预测，之后用户验证机器的预测，如果用户对机器的回答不满意，则可以接着讯问，直到机器选择出一组最优断层线阐明使得用户满意。

给定一个输入图像和两个输出种别，断层线能够显示出影响图像分类结果的最主要特色或属性。
而当存在数千个输出种别时，人类用户无法在所有可能的输出“种别对”之间构建断层线，来验证模型的推理。
因此，对付模型来说，自动选择出最主要的“种别对”来构建断层线阐明非常主要，这样人类用户才能快速理解模型的优缺陷。

CX-ToM模型通过结合有助于明确跟踪人类用户意图的心智理论框架办理了这个问题。
只管最近也有一些关于天生像素级反事实和比拟阐明的事情，但本文是第一个提出同时具有多轮次天生、反事实和观点阐明方法的事情。

过往的研究表明，信赖与可理解性（人类用户对AI系统的理解程度）和可预测性（在特界说务上预测系统性能的准确程度），密切且正干系。
因此，人类在开拓可阐明AI系统时，要通过向人类用户供应有关系统预测的阐明来提高可理解性和可预测性。
当前有很多基于把稳力机制的可阐明AI事情，但是它们都不敷以提高可理解性和可预测性，获取不了人类的信赖。
而本文提出的CX-ToM模型在这方面做的很好，这两点在本文的实验中得到了验证。

在实验环节中，研究职员招募了60名打算机视觉背景（具有丰富的利用CNN演习图像分类模型的履历）的专家用户，以及150名没有打算机视觉背景（且没有其他AI领域背景）的非专家用户。

研究职员利用定性和定量的评估指标，展开CX-ToM模型与其他基线模型的比拟实验。
结果表明，无论是专家用户还是非专家用户都认为，在基于心智理论的人机交互对话的环境下，他们和机器进行多轮次沟通，机器每一次越来越优的反馈结果都能引起用户的好感；与此同时，断层线阐明给出的充分详细、可理解的结果，能够帮助用户更深入地理解神经网络模型是怎么做出图像分类识别的，增加对其的信赖。

以上实验结果都表明，CX-ToM模型增加了人类对机器的信赖，且明显优于基线模型。
这为神经网络获取人类的信赖迈进了一大步。

引用

[1]Agarwal, S., Aggarwal, V., Akula, A.R.,Dasgupta, G.B., and Sridhara, G. (2017). Automatic problem extraction and analysisfrom unstructured text in it tickets. IBM J. Res. Dev. 61, 4–41.

[2]Agarwal, S., Akula, A.R., Dasgupta,G.B., Nadgowda, S.J., Nayak, T.K., 2018. Structured representation andclassification of noisy and unstructured tickets in service delivery. US Patent10,095,779.

[3]Akula, A.R. (2015). A Novel Approachtowards Building a Generic, Portable and Contextual NLIDB System (InternationalInstitute of Information Technology Hyderabad).

[4]Akula, A.R., and Zhu, S.C. (2019).Visual discourse parsing. arXiv, preprint abs/1903.02252. https://arxiv.org/abs/1903.02252.

[5]Akula, A., Sangal, R., and Mamidi, R.(2013). A novel approach towards incorporating context processing capabilitiesin NLIDB system. In Proceedings of the Sixth International Joint Conference onNatural Language Processing, pp. 1216–1222.

[6]Akula, A.R., Dasgupta, G.B., Nayak,T.K., 2018. Analyzing tickets using discourse cues in communication logs. USPatent 10,067,983.

[7]Akula, A.R., Liu, C., Saba-Sadiya, S.,Lu, H., Todorovic, S., Chai, J.Y., and Zhu, S.C. (2019a). X[1]tom:explaining with theory-of-mind for gaining justified human trust. arXiv,preprint arXiv:1909.06907.

[8]Akula, A.R., Liu, C., Todorovic, S.,Chai, J.Y., and Zhu, S.C. (2019b). Explainable AI as collaborative tasksolving. In CVPR Workshops, pp. 91–94.

[9]Akula, A.R., Todorovic, S., Chai, J.Y.,and Zhu, S.C. (2019c). Natural language interaction with explainable AI models.In Proceedings of the IEEE Conference on Computer Vision and PatternRecognition Workshops, pp. 87–90.

[10]Akula, A.R., Gella, S., Al-Onaizan, Y.,Zhu, S.C., and Reddy, S. (2020a). Words aren’t enough, their order matters: onthe robustness of grounding visual referring expressions. arXiv, preprintarXiv:2005.01655.

[11]Akula, A.R., Wang, S., and Zhu, S.(2020b). Cocox: generating conceptual and counterfactual explanations viafault-lines. In The Thirty-Fourth AAAI Conference on Artificial Intelligence,AAAI 2020, the Thirty-Second Innovative Applications of Artificial IntelligenceConference, IAAI 2020, the Tenth AAAI Symposium on Educational Advances inArtificial Intelligence, EAAI 2020 (AAAI Press), pp. 2594–2601.https://aaai.org/ojs/ index.php/AAAI/article/view/5643.

[12]Akula, A., Gella, S., Wang, K., Zhu,S.C., and Reddy, S. (2021a). Mind the context: the impact of contextualizationin neural module networks for grounding visual referring expressions. InProceedings of the 2021 Conference on Empirical Methods in Natural LanguageProcessing, pp. 6398–6416.

[13]Akula, A., Jampani, V., Changpinyo, S.,and Zhu, S.C. (2021b). Robust visual reasoning via language guided neuralmodule networks. Adv. Neural Inf. Process. Syst. 34.

[14]Akula, A.R., Changpinyo, B., Gong, B.,Sharma, P., Zhu, S.C., Soricut, R., 2021c. CrossVQA: scalably generatingbenchmarks for systematically testing VQA generalization.

[15]Akula, A.R., Dasgupta, G.B., Ekambaram,V., Narayanam, R., 2021d. Measuring effective utilization of a servicepractitioner for ticket resolution via a wearable device. US Patent 10,929,264.

[16]Alang, N., 2017. Turns out algorithmsare racist.[online] the new republic.

[17]Alvarez-Melis, D., and Jaakkola, T.S.(2018). On the robustness of interpretability methods. arXiv, preprintarXiv:1806.08049.

[18]Augasta, M.G., and Kathirvalavakumar,T. (2012). Reverse engineering the neural networks for rule extraction inclassification problems. Neural Process. Lett. 35, 131–150.

[19]Bach, S., Binder, A., Montavon, G.,Klauschen, F., Mu¨ ller, K.R., and Samek, W. (2015). On pixel-wise explanationsfor non-linear classifier decisions by layer-wise relevance propagation. PLoSOne 10, e0130140.

[20]Bara, Christian-Paul, Wang, CH-Wang,and Chai, Joyce (2021). Mindcraft: Theory of Mind Modeling for SituatedDialogue in Collaborative Tasks. In Conference on Empirical Methods in NaturalLanguage Processing (EMNLP), 2021 (EMNLP).

[21]Beck, A., and Teboulle, M. (2009). Afast iterative shrinkage-thresholding algorithm for linear inverse problems.SIAM J. Imaging Sci. 2, 183–202.

[22]Berry, D.C., and Broadbent, D.E.(1987). Explanation and verbalization in a computer[1]assisted search task. Q. J.Exp. Psychol. 39, 585–609.

[23]Biran, O., and Cotton, C. (2017).Explanation and justification in machine learning: a survey. In IJCAI-17Workshop on Explainable AI (XAI), p. 1.

[24]Bivens, A., Ramasamy, H., Herger, L.,Rippon, W., Fonseca, C., Pointer, W., Belgodere, B., Cornejo, W., Frissora, M.,Ramakrishna, V. et al., 2017.

[25]Cognitive and contextual analytics for itservices. Bornstein, A.M. (2016). Is artificial intelligence permanentlyinscrutable? Nautilus. Byrne, R.M. (2002).

[26]Mental models and counterfactual thoughtsabout what might have been. Trends Cogn. Sci. 6, 426–431. Byrne, R.M. (2017).

[27]Counterfactual thinking: from logic tomorality. Curr. Dir. Psychol. Sci. 26, 314–322. Champlin, C., Bell, D., andSchocken, C. (2017).

[28]AI medicine comes to Africa’s ruralclinics. IEEE Spectr. 54, 42–48. Chancey, E.T., Bliss, J.P., Proaps, A.B., andMadhavan, P. (2015).

[29]The role of trust as a mediator betweensystem characteristics and response behaviors. Hum. Factors 57, 947–958. Clark,H.H., and Schaefer, E.F. (1989). Contributing to discourse. Cogn. Sci. 13,259–294.

[30]Clark, K., Khandelwal, U., Levy, O.,and Manning, C.D. (2019). What does Bert look at? An analysis of Bert’sattention. arXiv, preprint arXiv:1906.04341.

标签：阐明人类