Sophos发布两份关於人工智慧应用於网路犯罪的报告。第一份报告名为《AI 的黑暗面:由生成式 AI 支援的大型诈骗活动》,揭露了未来诈骗者如何利用像 ChatGPT 这样的技术,只需最少技术门槛便能进行大规模的诈骗。然而,另一份名为《网路犯罪者对 GPT 仍无共识》报告发现,尽管人工智慧具有潜力,但有些网路犯罪者并不会积极采用像 ChatGPT 这样的大型语言模型 (LLM),甚至对使用人工智慧进行攻击持保留和怀疑的态度。
只要利用简单的电子商务范本和如 GPT-4 的大型语言模型工具,Sophos X-Ops 就能建立一个功能完整的网站,包括由人工智慧产生的图片、声音和产品描述,以及假的 Facebook 登入和结帐页面,可用来窃取使用者的登入凭证和信用卡资讯。建立这种网站所需的技术门槛非常低,而且使用同一工具,Sophos X-Ops 能够在几分钟内一键建立数百个类似的网站。
为了研究攻击者对人工智慧的态度,Sophos X-Ops 调查了四个知名的暗网论坛,检视与大型语言模型相关的讨论。尽管网路犯罪者对於人工智慧的使用似??还处於早期阶段,但暗网上的威胁行为者开始讨论它在社交工程方面的潜力。Sophos X-Ops 已经看到在以交友为基础的加密货币诈骗中使用人工智慧的案例。
此外,Sophos X-Ops 发现大多数贴文与出售被窃的 ChatGPT 帐户以及「越狱」有关这是绕过大型语言模型内建保护措施的方法,网路犯罪分子可以藉此滥用它们进行恶意用途。Sophos X-Ops 还发现了十个 ChatGPT 的衍生版本,创作者声称可以用於发动网路攻击和开发恶意软体。然而,威胁行为者对这些衍生版本和其他对大型语言模型的恶意应用反应不一,许多犯罪分子表示对这些模仿 ChatGPT的创作者试图欺骗自己人感到却步。