「大型人工智慧」的預設保密文化在考慮到社會對生成式人工智慧的接受度以及技術可能受到不良行為者攻擊的可能性時，是一個危險的先例。當人工智慧成為一個黑盒子時，使用該技術的公司就會變得容易受到新形式的「黑帽關鍵詞操縱」（black-hat keyword manipulation）的攻擊。
冰島的AI發展顧問Baldur Bjarnason提出了不良行為者很有可能已經對ChatGPT進行了毒化，而使用者並沒有辦法得知。因為OpenAI並未公開其語言和擴散模型，以及其如何驗證用於訓練的提示。
Bjarnason認為由於科技精英和迷戀AI的公眾推動盲目使用AI，人們可能會冒著有害的後果，並可能以艱難的方式吸取教訓，並且儘管ChatGPT引起了熱議，懷疑論者認為它只是一個缺乏真正智慧的概率工具。
鑒於生成式人工智慧的普及程度和增長趨勢，人們對此持有強烈的意見是可以理解的。
AI數據毒化是一種對抗性攻擊形式，攻擊者通過向訓練數據集注入有毒或污染的數據來控制訓練後的機器學習模型的行為並生成虛假結果。
Bjarnason詳細描述了AI模型被毒化的案例，而這些攻擊涉及了幾乎所有類型的AI模型。雖然攻擊者不會立即破壞ChatGPT，但他們可以逐漸毒化它，因為這種轉變是微妙且隨著時間的推移而形成。
但是就目前而言，ChatGPT基本上是無害的。像任何工具一樣，在人們試圖使用它進行工作或任務時，風險才會有所影響。目前沒有人真正知道如何監管或確保AI機器學習系統的安全性。一種思路是像加密一樣進行全面透明和重要審查。這是非常有吸引力的，但他也擔心，我們越開放AI，攻擊它將變得更容易而不是更困難。
迄今為止，歐盟已通過了一項草案法規，嚴禁對人身安全構成不可接受風險的AI系統，包括使用潛意識或故意操縱技術、利用人們的弱點或用於根據其社會行為和社經地位對人進行分類的系統。
| 本文內容純屬筆者個人意見，並不代表TWNIC立場 |
相關連結：Steve Zurier(2023). The ChatGPT ‘black box’ problem. SC Media
檢自：https://www.scmagazine.com/news/emerging-technology/chatgpt-black-box-problem(May.26,2023)
