Sophos發布兩份關於人工智慧應用於網路犯罪的報告。第一份報告名為《AI 的黑暗面:由生成式 AI 支援的大型詐騙活動》,揭露了未來詐騙者如何利用像 ChatGPT 這樣的技術,只需最少技術門檻便能進行大規模的詐騙。然而,另一份名為《網路犯罪者對 GPT 仍無共識》報告發現,儘管人工智慧具有潛力,但有些網路犯罪者並不會積極採用像 ChatGPT 這樣的大型語言模型 (LLM),甚至對使用人工智慧進行攻擊持保留和懷疑的態度。
只要利用簡單的電子商務範本和如 GPT-4 的大型語言模型工具,Sophos X-Ops 就能建立一個功能完整的網站,包括由人工智慧產生的圖片、聲音和產品描述,以及假的 Facebook 登入和結帳頁面,可用來竊取使用者的登入憑證和信用卡資訊。建立這種網站所需的技術門檻非常低,而且使用同一工具,Sophos X-Ops 能夠在幾分鐘內一鍵建立數百個類似的網站。
為了研究攻擊者對人工智慧的態度,Sophos X-Ops 調查了四個知名的暗網論壇,檢視與大型語言模型相關的討論。儘管網路犯罪者對於人工智慧的使用似乎還處於早期階段,但暗網上的威脅行為者開始討論它在社交工程方面的潛力。Sophos X-Ops 已經看到在以交友為基礎的加密貨幣詐騙中使用人工智慧的案例。
此外,Sophos X-Ops 發現大多數貼文與出售被竊的 ChatGPT 帳戶以及「越獄」有關——這是繞過大型語言模型內建保護措施的方法,網路犯罪分子可以藉此濫用它們進行惡意用途。Sophos X-Ops 還發現了十個 ChatGPT 的衍生版本,創作者聲稱可以用於發動網路攻擊和開發惡意軟體。然而,威脅行為者對這些衍生版本和其他對大型語言模型的惡意應用反應不一,許多犯罪分子表示對這些模仿 ChatGPT的創作者試圖欺騙自己人感到卻步。