你有沒有想過,當 AI 根據病歷與 X 光片就能幫你診斷病症,或者決定是否批准貸款,甚至從無人機發射飛彈時,它的每一步「決策」是怎麼來的?如果我們不能知道 AI 的每一個想法步驟,對於那些 AI 輔助的診斷和判斷,要我們如何放心呢?
馬斯克與 OpenAI 的奧特曼鬧翻後,創立了新 AI 公司 xAI,並推出名為 Grok 的產品。他宣稱目標是以開源和可解釋性 AI 挑戰其他模型,而 xAI 另一個意思是 Explainable AI 也就是「可解釋性 AI」。
如今,AI 已滲透生活各處,而我們對待它的方式卻像求神問卜,缺乏科學精神。如何讓 AI 具備可解釋性,成為當前關鍵問題?
-----廣告,請繼續往下閱讀-----
黑盒子模型背後的隱藏秘密
無法解釋的 AI 究竟會帶來多少問題?試想,現在許多銀行和貸款機構已經使用 AI 評估借貸申請者的信用風險,但這些模型往往如同黑箱操作。有人貸款被拒,卻完全不知原因,感覺就像被分手卻不告訴理由。更嚴重的是,AI 可能擅自根據你的住所位置或社會經濟背景給出負面評價,這些與信用風險真的相關嗎?這種不透明性只會讓弱勢群體更難融入金融體系,加劇貧富差距。這種不透明性,會讓原本就已經很難融入金融體系的弱勢群體,更加難以取得貸款,讓貧富差距越來越大,雪上加霜。
AI 不僅影響貸款,還可能影響司法公正性。美國部分法院自 2016 年起使用「替代性制裁犯罪矯正管理剖析軟體」 COMPAS 這款 AI 工具來協助量刑,試圖預測嫌犯再犯風險。然而,這些工具被發現對有色人種特別不友好,往往給出偏高的再犯風險評估,導致更重的刑罰和更嚴苛的保釋條件。更令人擔憂的是,這些決策缺乏透明度,AI 做出的決策根本沒法解釋,這讓嫌犯和律師無法查明問題根源,結果司法公正性就這麼被悄悄削弱了。
此外,AI 在醫療、社交媒體、自駕車等領域的應用,也充滿類似挑戰。例如,AI 協助診斷疾病,但若原因報告無法被解釋,醫生和患者又怎能放心?同樣地,社群媒體或是 YouTube 已經大量使用 AI 自動審查,以及智慧家居或工廠中的黑盒子問題,都像是一場越來越複雜的魔術秀——我們只看到結果,卻無法理解過程。這樣的情況下,對 AI 的信任感就成為了一個巨大的挑戰。
其次,深度學習模型會會從資料中學習某些「特徵」,你可以當作 AI 是用畫重點的方式在學習,人類劃重點目的是幫助我們加速理解。AI 的特徵雖然也能幫助 AI 學習,但這些特徵往往對人類來說過於抽象。例如在影像辨識中,人類習慣用眼睛、嘴巴的相對位置,或是手指數量等特徵來解讀一張圖。深度學習模型卻可能會學習到一些抽象的形狀或紋理特徵,而這些特徵難以用人類語言描述。
深度學習模型通常採用分佈式表示(Distributed Representation)來編碼特徵,意思是將一個特徵表示為一個高維向量,每個維度代表特徵的不同方面。假設你有一個特徵是「顏色」,在傳統的方式下,你可能用一個簡單的詞來表示這個特徵,例如「紅色」或「藍色」。但是在深度學習中,這個「顏色」特徵可能被表示為一個包含許多數字的高維向量,向量中的每個數字表示顏色的不同屬性,比如亮度、色調等多個數值。對 AI 而言,這是理解世界的方式,但對人類來說,卻如同墨跡測驗般難以解讀。
首先,可以利用熱圖(heatmap)或注意力圖這類可視化技術,讓 AI 的「思維」有跡可循。這就像行銷中分析消費者的視線停留在哪裡,來推測他們的興趣一樣。在卷積神經網絡和 Diffusion Models 中 ,當 AI 判斷這張照片裡是「貓」還是「狗」時,我需要它向我們展示在哪些地方「盯得最緊」,像是耳朵的形狀還是毛色的分布。
以實際的情景來說,SHAP 可以讓 AI 診斷出你有某種疾病風險時,指出年齡、體重等各個特徵的影響。
LIME 的運作方式則有些不同,會針對單一個案建立一個簡單的模型,來近似原始複雜模型的行為,目的是為了快速了解「局部」範圍內的操作。比如當 AI 拒絕你的貸款申請時,LIME 可以解釋是「收入不穩定」還是「信用紀錄有問題」導致拒絕。這種解釋在 Transformer 和 NLP 應用中廣泛使用,一大優勢是靈活且計算速度快,適合臨時分析不同情境下的 AI 判斷。比方說在醫療場景,LIME 可以幫助醫生理解 AI 為何推薦某種治療方案,並說明幾個主要原因,這樣醫生不僅能更快做出決策,也能增加患者的信任感。
-----廣告,請繼續往下閱讀-----
第三是反事實解釋:如果改變一點點,會怎麼樣?
如果 AI 告訴你:「這家銀行不會貸款給你」,這時你可能會想知道:是收入不夠,還是年齡因素?這時你就可以問 AI:「如果我年輕五歲,或者多一份工作,結果會怎樣?」反事實解釋會模擬這些變化對結果的影響,讓我們可以了解模型究竟是如何「權衡利弊」。
BAVINGTON, D. 2010. From Hunting Fish to Managing Populations: Fisheries Science and the Destruction of Newfoundland Cod Fisheries. Science as Culture, 19, 509-528.
BROWN, K., ADGER, W. N., TOMPKINS, E., BACON, P., SHIM, D. & YOUNG, K. 2001. Trade-off analysis for marine protected area management. Ecological Economics, 37, 417-434.
CORBIN, C. 2002. Silences and lies: how the industrial fishery constrained voices of ecological conservation. Canadian Journal of Communication, 27, 7-32.
CURRAN, J. A., GRIMSHAW, J. M., HAYDEN, J. A. & CAMPBELL, B. 2011. Knowledge translation research: The science of moving research into policy and practice. Journal of Continuing Education in the Health Professions, 31, 174-180.
CURREY, K. & CLARK, S. G. 2010. Roger A. Pielke, Jr., The honest broker: making sense of science in policy and politics. Policy Sciences, 43, 95-98.
GRAFFY, E. A. 2008. Meeting the Challenges of Policy-Relevant Science: Bridging Theory and Practice. Public Administration Review, 68, 1087-1100.
HADFIELD, L. & SEATON, R. A. F. 1999. A co-evolutionary model of change in environmental management. Futures, 31, 577-592.
HAEDRICH, R. L. & HAMILTON, L. C. 2000. The fall and future of Newfoundland’s cod fishery. Society & Natural Resources, 13, 359-372.
HOPPE, R. 2005. Rethinking the science-policy nexus: from knowledge utilization and science technology studies to types of boundary arrangements. Poiesis & Praxis: International Journal of Technology Assessment and Ethics of Science, 3, 199-215.
MILLSTONE, E. 2009. Science, risk and governance: Radical rhetorics and the realities of reform in food safety governance. Research Policy, 38, 624-636.
NORSE, D. & TSCHIRLEY, J. B. 2000. Links between science and policy making. Agriculture Ecosystems & Environment, 82, 15-26.
RESNIK, D. 2011. Scientific Research and the Public Trust. Science and Engineering Ethics, 17, 399-409.
THOMPSON, L., JAGO, B., FERNANDES, L. & DAY, J. 2004. Barriers to Communication– How these critical aspects were addressed during the public participation for the rezoning of the Great Barrier Reef Marine Park. unpublished report, GBRMPA, Townsville, Australia.
VOYER, M., GLADSTONE, W. & GOODALL, H. 2012. Methods of social assessment in Marine Protected Area planning: Is public participation enough? Marine Policy, 36, 432-439.