關於AI稽核，領導人需要知道的事
AI已經成為人人都能使用的工具，因此，推出AI產品的公司也必須「稽核」自家產品可能對使用者造成的危害。本文具體說明，稽核自家AI可能遇到哪些困難，以及領導人可以提供哪些協助，克服這些困難。 盧卡．貝利LucaBelli
關於AI稽核，領導人需要知道的事
破解執行流程中的四大挑戰
過去幾年，AI從技術團隊的禁臠，轉變為人人都能使用的工具。AI曾經隱身於幕後工作，例如驅動消費性產品，或是決定社群媒體的動態消息；如今一般大眾則是直接和虛擬助理、生成式AI聊天機器人互動。像這樣使用量的增加，也讓人們愈來愈意識到AI系統可能帶來的危害，包括不同群體受到截然不同的對待（這個問題在貸款和居住等受法律保護的領域特別重要），以及捏造虛假、敏感或有害的資訊（尤其是針對影響重大的主題，例如醫療或法律問題）。 面對這個情況，政策制定者試圖建立防護措施，管理這些工具可能對社會造成的衝擊。例如，世界各地的立法者和監管機構已經強制要求演算法系統接受外部稽核，比方說歐盟的《數位服務法》（Digital Services Act）、《數位市場法》（Digital Markets Act）和《人工智慧法》（Artificial Intelligence Act）；加拿大的《人工智慧與數據法》（Artificial Intelligence and Data Act）；以及紐約市的AI偏見法（New York City AI bias law）。此外，即使法律沒有強制要求，公司也對自家系統進行演算法稽核，希望能夠管理風險、預防潛在公關危機，以及萬一將來有新法規要求獨立稽核時，可以預先做好準備。 這一切都加速一個新職位的成長：演算法稽核員（algorithmic auditor）。我曾經從幾個不同的角度觀察這個職位。首先，我在Twitter共同創辦機器學習倫理（ML Ethics）團隊，以演算法稽核員的角色進行了多次稽核。之後，我在美國國家標準與科技研究院（National Institute for Standards and Technology）負責任且受信賴AI團隊（Responsible and Trustworthy AI team）工作。我也和歐盟執委會（European Commission）合作，協助制定《數位服務法》第40條的授權法，要求各平台必須和研究人員分享數據，以便調查這些平台的系統性風險。 雖然稽核逐漸成為AI管理的核心要素，但它沒有一個預先訂好的流程，可以順著一條直線往前走；反而是由商業端和技術端各種不同的決策交織而成。這些稽核如何運作，企業領導人又如何協助引導這個流程，以下我會說明他們需要知道的事情。
演算法稽核的四大挑戰 演算法稽核是什麼？簡單來說，對一套演算法系統提出問題後，可以用這個方法分析使用者和系統如何互動的數據，來回答問題。這一類問題通常是要了解，系統是如預期一般運作，還是在傷害使用者。問題可以偏向具體，例如「這套演算法是否依據某個受保護的屬性而做出偏頗的決策？」也可以偏向抽象，例如「這套系統是否為民主帶來系統性風險？」稽核流程有一部分的困難就在於，要找到合適的數據和系統來回答這些問題，進而將問題具體化、操作化。 不過，一般而言，對於要稽核的問題一旦有了共識，稽核員就會開始蒐集並分析相關數據，找出問題的答案。為了達成這項目標，他們通常需要和不同團隊（包括技術和非技術團隊）互動，才能更了解要稽核的系統。他們在這個流程必須特別重視自己與受稽核團隊的關係，才能了解系統本身，也了解該系統如何蒐集與儲存數據。整個流程會花多少時間，取決於稽核範圍的大小，可能從幾個星期到幾個月不等。如果是非常重要的系統，應該定期重複稽核，才能凸顯它們如何隨時間而發展，並找出可能危險的變化。 這個流程有4項常見的挑戰： 稽核不是一條直線。稽核員從提出研究問題到找出答案的過程中，往往發現自己繞了很多彎路。當他們更了解要稽核的系統及其背後數據時，往往需要調整方向，這時可能就要微調架構，或是花更久時間才能完成稽核。 例如，有時候稽核員沒有合適數據可以直接處理手上的問題，就得用一些代理指標——這些數據不僅可以測量，也與稽核員想了解的事情相關。例如，稽核員想了解公司在美國的一套系統是否存在種族偏見，但公司並沒有蒐集使用者的種族數據。如果公司有蒐集郵遞區號，就可以拿它當成種族的代理指標（雖然並不完美）。當然，只要使用代理指標或其他間接資訊，代理答案就有可能無法契合原來的問題。 其他時候，稽核員可能改良或微調一開始的問題，以滿足新的考量或商業需求。比方說，公司想要稽核一個平台，了解年輕人如何與它互動，於是選擇集中調查某一星期的互動。如果該星期剛好遇到學校放假，調查結果就無法反映公司想要分析的趨勢。只要把稽核時段往後挪一星期，公司就能得到想要的結果。 數據治理一團混亂。內部數據治理看起來往往不太像現代摩天大樓那樣配置合理、平面圖清晰分明，反而更像一棟老建築，新的一層蓋在舊的一層上面，往往不顧之前的用途。我們不難見到，技術團隊大部分時間都在尋找合適數據，以及確保自己能夠理解這些數據。 這有幾個原因。以一家社群媒體平台為例，它蒐集並儲存所有使用者的互動數據，結果組織內充斥過多數據，很難找到合適的數據來回答稽核的問題。這時，內部文件雖然可以協助稽核員穿越數據的汪洋，但不一定永遠可靠，一來持續更新文件需要耗費大量時間與心力，二來組織也可能優先開發和交付新功能，而非更新舊文件。 還有其他一些常見的問題。也許負責數據集的人離職，或是舊數據集被束之高閣，改用較新但缺乏文件說明的數據集。這麼一來，稽核員往往只能找人幫忙，但這個過程不是很有效率，也很花時間。 內部信任不可或缺。團隊關係扮演很重要的角色。團隊負責的系統如果受到稽核，成員會覺得備受威脅，因為稽核員正在評估他們的工作，特別是稽核員並非團隊成員的時候——畢竟，誰喜歡別人在自己工作裡挑毛病？這可能會造成一個低信任的環境，難以促成協作，彼此的誘因也不一致。 稽核員的工作要發揮成效，必須由受稽核團隊提供指導與協助，因為稽核員沒有專業知識可以了解自己要稽核的系統（以及相關數據）。受稽核團隊如果覺得每抓出一個問題都會受到懲罰，那他們就沒有誘因提供協助。這種對立的關係會讓稽核時間拖得更久，雙方各種摩擦也會更加惡化。合適的企業文化應該是，稽核員和受稽核團隊攜手合作，共同強化系統，最後打造出更有韌性、也更優質的產品。 聚焦於過去。除非系統受到即時監測，否則稽核都是聚焦於過去，因而帶來一些技術上的挑戰：只有在稽核員能夠重建過去時，稽核才會成功。首先，稽核員需要的數據可能已經不在系統上。以電子商務網站來說，使用者不但有個人檔案，也可以標出自己的購物偏好。如果使用者刪除一些數據，甚至整份個人檔案，這些數據要不要納入稽核？如果使用者濫用平台（例如出售非法內容）遭到封鎖，這部分要不要納入稽核？ 另一個相關的問題是，演算法系統會隨著時間而變化。模型可能會用比較新的數據重新訓練，或者舊系統可能被比較新的演算法或架構取代。這麼一來，在稽核員想要的稽核時段內，系統各部分的狀態究竟為何，就很難、甚至不可能精準地重現。這可能造成一種情況，系統在稽核的當下，數據比較舊，但演算法比較新。這方面會出現小小的差異是可以預期的，但公司應該要求稽核員記錄，尋找合適數據時遇到哪些困難，並且估計有多少稽核結果可以適用當前的系統。 領導人可以怎麼做 企業領導人可以協助組織做好準備，並梳理基本上非線性、隨時可能出現意外的稽核流程。以下是稽核前和稽核時可以採取的一些實用做法。 稽核前 組織展開外部稽核流程之前，應該採取一些準備措施。大部分組織都不應該等到外部稽核上門，才開始採取這些措施；相反地，組織應該投入心力，培養專責團隊來強化內部能力。這麼一來，到了稽核的時候，這些準備就能讓組織受到的干擾降到最低。 文化和誘因。系統受到稽核的團隊，可能不會那麼歡迎稽核。他們也許覺得壓力沉重、備感挫折，最後就會不滿自己的工作被放大檢視。以前大家覺得可以接受、也必須要做的取捨，現在可能又得重新討論、挺身支持。這就是為什麼內部打造一個合適的協作與互信文化那麼重要的原因。 組織文化總是來自高層的形塑。領導人需要清楚說明，稽核是日常工作的一部分，而不是懲罰措施或額外增加的工作。舉例來說，受稽核團隊如果願意合作、挪出時間，並提供專業知識（這些都是稽核成功的關鍵），都應該視為個人與職業目標的一部分。換句話說，不應該讓他們覺得這是「額外」的工作，必須在平常工作之外再找時間來做，而是要讓他們覺得，這種工作完全就是他們職涯發展的一部分。 同樣地，也要給予團隊某種彈性：受稽核團隊需要提供許多支援時，可能無法完成原先計畫的目標。總的來說，稽核不該讓人覺得是在懲罰，而是職場生活正常的一部分。 企業領導人若要協助組織做好準備，可以調整組織結構，在每個團隊設置一名專責人員，隨時能夠直接回答數據或演算法相關問題，或是能夠指引正確的方向。這有助於隔離稽核帶來的干擾，並將這些干擾降到最低。 設計稽核。法律強制要求的稽核必須由外部的獨立稽核員來執行。不過，如果企業想要防患於未然，先行了解自家的系統，可以選擇外部或內部的稽核團隊。雖然培養內部稽核能力與找出合適流程需要花費不少時間和資源，但從長遠來看，擁有一支績效卓越的內部團隊可能更具優勢。另一方面，外部稽核員不會引發公司不同部門之間的摩擦，這大概是為什麼外部團隊費用更高，企業還是常常選擇他們的原因之一。 回到內部稽核，我們必須明白它可以具有很多樣貌和形式，領導階層應該協助加以確定。稽核可以是一次性的流程，也可以定期執行。後者能夠提供更多資訊（了解系統如何隨時間推移而變化），但初始成本也更高，因為它需要更高程度的自動化，也就會增加AI平台團隊的工作量。不過，如果要稽核的系統非常重要，需要更密切、頻繁的檢查，就很值得這麼做… 閱讀完整內容
