您現(xiàn)在的位置:首頁(yè) > 科技 > 正文

AI的可解釋性指什么?人工智能怎樣做決策?

時(shí)間:2020-03-25 08:56:27    來(lái)源:科技日?qǐng)?bào)    

如今,人工智能已經(jīng)可以做決定,但我們?nèi)圆恢肋@個(gè)決定是如何做出的。人們需要了解人工智能如何得出某個(gè)結(jié)論背后的原因,而不是僅僅接受一個(gè)在沒(méi)有上下文或解釋的情況下輸出的結(jié)果。

近日,微軟前全球執(zhí)行副總裁沈向洋在接到清華大學(xué)續(xù)聘書(shū)時(shí),通過(guò)直播方式分享了對(duì)AI可解釋性與AI偏見(jiàn)相關(guān)問(wèn)題的研究與看法。他提到,AI就像一個(gè)黑匣子,能自己做出決定,但是人們并不清楚其中緣由。所以,我們目前需要做的就是將其打開(kāi),了解AI想表達(dá)的意思和可能會(huì)做出的決定。這就需要設(shè)計(jì)和構(gòu)建“負(fù)責(zé)任”的AI。

那么,AI的可解釋性指什么?是什么導(dǎo)致人們無(wú)法對(duì)AI的行為進(jìn)行解釋?人工智能如何做決策?研究人員可以怎樣做讓這些決策更加透明?

尚無(wú)法完整解釋決策過(guò)程

有人說(shuō),不確定性是AI的特征之一。

所有重大技術(shù)突破的出現(xiàn),往往都伴隨著相同的問(wèn)題:如何確保技術(shù)的可靠。例如,在電子時(shí)代制造和使用電子產(chǎn)品時(shí),人們可以通過(guò)技術(shù)資料了解所有的元件構(gòu)成,從而得以信賴(lài)它們。又如,許多技術(shù)和生活場(chǎng)景中有檢視清單的存在,它能指導(dǎo)我們?nèi)绾魏侠硗瓿梢患蝿?wù)。然而,到了人工智能時(shí)代,情況則不然。

“如今,AI已經(jīng)可以做決定,這是AI過(guò)程中非常重要的一步,但我們?nèi)匀狈?duì)AI所做決定的認(rèn)知。”沈向洋告訴科技日?qǐng)?bào)記者,從某種程度上來(lái)講,你建立一個(gè)模型、算法,輸入數(shù)據(jù),之后人工智能會(huì)產(chǎn)生一個(gè)結(jié)果。一切看上去順理成章,但是有一個(gè)問(wèn)題——我們尚不能完整解釋為何人工智能會(huì)得出這樣而不是那樣的結(jié)論。

沈向洋進(jìn)一步解釋?zhuān)覀儗⑦@種只能看到數(shù)據(jù)導(dǎo)入和輸出,而無(wú)法看到和解讀其工作原理的模型比作‘黑箱’,而將可以知曉?xún)?nèi)部工作原理的模型稱(chēng)為‘白箱’。人們需要了解人工智能如何得出某個(gè)結(jié)論背后的原因,而不是僅僅接受一個(gè)在沒(méi)有上下文或解釋的情況下輸出數(shù)據(jù)和信息的結(jié)果。”沈向洋指出。

顯然,我們不能將明天交付給一個(gè)個(gè)無(wú)可解釋的“黑箱”。“我們?cè)趯W(xué)習(xí)的時(shí)候,經(jīng)常說(shuō)不僅要知其然,還要知其所以然。”沈向洋表示,人工智能的可解釋性,指的是要“知其所以然”,要了解背后的原因和邏輯,是能回答“為什么”。

“以決策場(chǎng)景下的模型可解釋性為例,端到端的深度學(xué)習(xí),一個(gè)廣為詬病的問(wèn)題是其不透明性或不可解釋性,比如說(shuō)識(shí)別一張照片中的物體,機(jī)器做出的判斷是基于哪些有效特征,我們無(wú)從得知。”阿里安全圖靈實(shí)驗(yàn)室負(fù)責(zé)人、資深專(zhuān)家?jiàn)W創(chuàng)認(rèn)為,人工智能系統(tǒng)必須具有可解釋性,以便人類(lèi)可以理解系統(tǒng)的行為。

研究發(fā)現(xiàn),一個(gè)用來(lái)判斷圖片中的動(dòng)物是狼還是哈士奇的AI模型,在六幅圖片中只判斷錯(cuò)了一幅,看起來(lái)準(zhǔn)確率尚可接受,可其背后有極大的隱患。因?yàn)槿绻麖木植烤S度觀(guān)察,發(fā)現(xiàn)它識(shí)別出狼的標(biāo)準(zhǔn),根本不是狼的樣子,而是以圖片背景中的雪為標(biāo)準(zhǔn)。如果一頭狼走入沒(méi)有積雪的家中,卻因此被識(shí)別為哈士奇,那就可怕了。顯然,我們無(wú)法信任這樣的模型,這也說(shuō)明了模型可解釋性的重要意義。

目前的解釋說(shuō)明或損害用戶(hù)信任

如今,AI的規(guī)范應(yīng)用正在成為一個(gè)社會(huì)問(wèn)題,去年,歐盟出臺(tái)《人工智能道德準(zhǔn)則》,明確提出AI發(fā)展方向應(yīng)該是“可信賴(lài)的”,包含安全、隱私和透明等方面。

“無(wú)人駕駛、人臉識(shí)別、智慧城市、智能家居等各類(lèi)場(chǎng)景中都在運(yùn)用AI,但一旦后端控制系統(tǒng)被攻擊,出現(xiàn)規(guī)?;?、連鎖式的崩盤(pán),AI失控的后果不堪設(shè)想。”奧創(chuàng)指出。

比如,無(wú)人駕駛車(chē)要通過(guò)識(shí)別交通信號(hào)標(biāo)志來(lái)決定通行還是停止,而攻擊者可以生成一個(gè)欺騙通行標(biāo)志的對(duì)抗樣本,在行人眼里是禁止通行,但AI系統(tǒng)會(huì)識(shí)別成允許通行,這足以造成災(zāi)難性的后果。再如,自2016年以來(lái),很多地方都推出用于預(yù)測(cè)未來(lái)罪犯的軟件,法庭在審判時(shí)已經(jīng)開(kāi)始用AI進(jìn)行輔助判斷。然而,越是如此,人們?cè)綍?huì)擔(dān)心算法是否存在偏見(jiàn)。

沈向洋指出:“‘黑箱’帶來(lái)的挑戰(zhàn)在于,即便其做出的預(yù)測(cè)是準(zhǔn)確的,我們卻仍不知何時(shí)可以信賴(lài)它,或者從中學(xué)到什么。更進(jìn)一步說(shuō),即便模型是準(zhǔn)確的,在做高風(fēng)險(xiǎn)決策時(shí),也需要知道究竟是什么原因使然。”

人工智能怎樣做決策?“目前有種方法可提供解釋說(shuō)明,包括人工智能系統(tǒng)如何運(yùn)行、怎樣與數(shù)據(jù)進(jìn)行交互的背景信息,但其最有可能損害用戶(hù)以及受這些系統(tǒng)影響的人員的信任。通過(guò)這些信息,人們將會(huì)更容易識(shí)別和意識(shí)到潛在的偏見(jiàn)、錯(cuò)誤和意想不到的結(jié)果。僅僅發(fā)布人工智能系統(tǒng)的算法很難實(shí)現(xiàn)有意義的透明度。最新(通常是最有發(fā)展前途的)人工智能技術(shù),例如深度神經(jīng)網(wǎng)絡(luò),通常沒(méi)有任何算法輸出可以幫助人們了解系統(tǒng)所發(fā)現(xiàn)的細(xì)微模式。”沈向洋指出。

鑒于此,人們需要一個(gè)更全面的方法,使人工智能系統(tǒng)設(shè)計(jì)人員能夠盡可能完整、清晰描述系統(tǒng)的關(guān)鍵組成要件。據(jù)了解,微軟也在與人工智能合作組織及其他組織合作開(kāi)發(fā)最佳實(shí)踐規(guī)范,以實(shí)現(xiàn)人工智能系統(tǒng)有意義的透明度。包括通過(guò)實(shí)踐規(guī)范以及各種其他更易于理解的方法、算法或模型,來(lái)替代那些過(guò)于復(fù)雜且難以解釋的方法。

準(zhǔn)確率和可解釋性不該是對(duì)矛盾

要理解機(jī)器學(xué)習(xí)模型內(nèi)部如何運(yùn)行,開(kāi)發(fā)出新技術(shù),來(lái)提供更有意義的透明度,需要對(duì)這一領(lǐng)域開(kāi)展進(jìn)一步研究。

來(lái)自微軟的里奇·卡魯阿納等學(xué)者提出“提煉與比較”(Distill-and-Compare)的方法。據(jù)沈向洋介紹,面對(duì)許多已被廣泛應(yīng)用的專(zhuān)有或不透明的模型,這種方法能夠在不探測(cè)“黑箱”API(應(yīng)用程序接口)或預(yù)先定義其特性的情況下進(jìn)行核驗(yàn)。通過(guò)將“黑箱”視作老師,訓(xùn)練出透明的學(xué)生模型,來(lái)模擬原本的“黑箱”,并將它與真實(shí)情況進(jìn)行對(duì)比。

而微軟研究院有學(xué)者提出“‘黑箱’無(wú)關(guān)”的思路,當(dāng)醫(yī)生無(wú)法采納“黑箱”對(duì)病人感染流感率的預(yù)測(cè)結(jié)果時(shí),一種解決方法是利用特征歸屬的辦法——根據(jù)不同特征之于模型的重要性,為其賦予權(quán)重。其中,解釋過(guò)程認(rèn)為“打噴嚏”“頭疼”是指向流感的證據(jù);而沒(méi)感到疲憊,則是否認(rèn)流感的證據(jù)。這里權(quán)重帶有正向或反向的方向性,同時(shí)其權(quán)重大小也各不相同,“頭疼”的權(quán)重要明顯高于“打噴嚏”。對(duì)于醫(yī)生來(lái)說(shuō),這樣的解釋要比簡(jiǎn)單給出一個(gè)“患流感概率90%”有用得多。

沈向洋表示,隨著神經(jīng)網(wǎng)絡(luò)模型越來(lái)越復(fù)雜,在準(zhǔn)確性越來(lái)越高的同時(shí),研究人員遇到一個(gè)問(wèn)題,即不得不在模型的準(zhǔn)確性和可解釋性之間做出妥協(xié),因?yàn)閮烧叱ky以兼顧。尤其隨著在深度學(xué)習(xí)模型上進(jìn)一步推進(jìn),經(jīng)常會(huì)牽扯到幾百萬(wàn)個(gè)乃至數(shù)十億的參數(shù)。結(jié)果是,有時(shí)候研究人員做出一個(gè)行之有效的模型,卻并不能完全理解其中的緣由。如用一個(gè)高準(zhǔn)確率的模型來(lái)預(yù)測(cè)病人感染流感的幾率,卻只能給醫(yī)生呈現(xiàn)一個(gè)數(shù)字,或是“陽(yáng)性”的診斷,而無(wú)具體佐證,那么,即便得到的結(jié)論是正確的,在醫(yī)生看來(lái)也用處不大——因?yàn)獒t(yī)生并不知其結(jié)論是如何被推導(dǎo)出的。

因此,要打造負(fù)責(zé)任的人工智能,確保其決策透明,即“我們能夠理解并看到人工智能所做的決定”,尤其需要開(kāi)發(fā)可翻譯、可解釋的人工智能模型,以了解人工智能是如何做出這些決策的。特別是在事關(guān)重大的關(guān)鍵領(lǐng)域中,需要對(duì)模型全面理解,以此避免出現(xiàn)錯(cuò)誤。高準(zhǔn)確率和高可解釋性的人工智能將有助真正將技術(shù)進(jìn)行廣泛、負(fù)責(zé)任、有效的應(yīng)用,造福人類(lèi)生活。(記者 華 凌)

關(guān)鍵詞: AI 決策

相關(guān)新聞

凡本網(wǎng)注明“XXX(非中國(guó)微山網(wǎng))提供”的作品,均轉(zhuǎn)載自其它媒體,轉(zhuǎn)載目的在于傳遞更多信息,并不代表本網(wǎng)贊同其觀(guān)點(diǎn)和其真實(shí)性負(fù)責(zé)。

特別關(guān)注