AI詐騙興起對防制認知作戰構成的挑戰
2026.05.05
瀏覽數
708
壹、前言
Google於2026年4月17日發布報告,透過AI模型Gemini強化防詐與廣告審核機制,於2024年7月至2025年6月期間,在臺灣移除3337個違反Google防詐政策的網址。[1]先前數位發展部林宜敬部長於2026年4月8日於立法院接受質詢時,針對詐騙盛行與YouTube平台也出現AI生成的假影片,林部長表示,將與平台業者緊密聯繫下架移除詐騙帳號,未來以AI生成的影片需做標示,讓民眾辨認出AI生成影片。倘無法標示,則須進一步進行內容事實查核,「若為錯假或詐騙訊息,就請業者下架影片」。[2]
電信詐騙與網路詐騙多年來一直是全球許多國家頭痛問題,在印太地區最為知名的就是在緬甸與柬埔寨疑似政府庇護下存在之詐騙園區,將詐騙提升為產業生態圈,並由黑道跨國串接科技與地緣政治,遭受詐騙人數與金額逐年升高。詐騙產業運用不同管道取得人力,以造假的聲音、文字、文件、語音、影音,騙取其所鎖定目標的信任,進而經引導轉移資金或提供個資及帳戶資料,進而誘導其轉移資金以致最後遭受財物損失。
如果將詐騙與另外兩個經常運用電信網路運作的駭客產業以及認知影響產業做初步比較,在取得個資與帳戶資料的部分以及為獲取不當金錢利益的目的而言,詐騙與網路駭客有類似的動機與目標。在運用造假內容改變鎖定目標認知、取得其信任,並進而操縱其行為的部分,詐騙與認知影響力行動有類似的工具與手法。
依照前述報導中數位發展部對於AI生成詐騙資訊的監管立場,可以理解詐騙與假訊息都可源自AI生成,但當兩者都逐漸將AI作為造假工具之外,更值得探討的,是AI詐騙將如何形成對於防制認知影響行動的挑戰。本文接續將分別探討AI詐騙造成諸如查核速度跟不上假訊息生成速度、AI偽造身分難以溯源、詐騙與認知作戰意圖難以快速辨別等對認知作戰防制假訊息的衝擊挑戰。
貳、安全意涵
一、AI詐騙正以驚人速度成長
「AI 詐騙是一種利用人工智工程可被偵測且緩慢的人為限制」。過去仰賴人工耗時製作的釣魚信件、詐騙網頁及語音,現下均可由擬人的AI模型迅速生成。過去花16小時做出具說服力的釣魚信件,現在交給AI僅需5分鐘就搞定。[3]正因為這樣的特質,AI詐騙以驚人速度暴增。根據區塊鏈情報業TRM Labs於2025年2月的報告指出,在2024年5月至2025年4月間AI詐騙舉報案件相較前一年同一時段成長暴增456%。[4]另根據網路安全公司近期在其官方網頁指出,2025年AI 詐騙成長更高達1210%,預期2027年將造成400億美元損失。[5]
AI詐騙將過去從搜尋鎖定受害對象到行使詐騙所需語音、釣魚郵件及網頁、誤導受害對象所需之證明文件資料以及相關偽冒人士擬人化製作,全部交由AI模型或AI代理予以自動化,得以在極短時間內大量生成,並透過AI代理生成一時難以辨識之帳號或網頁之歷史互動紀錄以取信於受害對象,並在鎖定對象的徵信探詢過程中汲取關鍵問題,隨後依動態過程發展予以自適應並進一步生成有利於應對過關的對話文字、語音、影音與合格證明。
在過去關於BEC的布局和社交操縱,若要偽冒重要人士的釣魚簡訊、信件加上簽名,或者偽裝聲音經來電、甚至以該員形象經視訊進行交談並傳達錯假訊息及下達不實指令,均需耗費時日搜羅相關筆跡、聲音與影像,再經由剪接拼湊呈現既定劇本對白,一旦超出劇本設定就會露餡。現在經由AI技術,不僅利用深度偽造技術迅速描繪冒充高階經理人、公眾人物或者是遭鎖定對象親友,並能利用AI生成的圖像和聲音,使詐騙更難被發現,從而能夠以相較以前迅速且精準方式,更廣泛大量地實施高價值欺詐。[6]
二、AI詐騙樣態與手法往往難以辨識
過去詐騙從釣魚信件到電話誆騙,靠網購、電信與金融業內鬼出賣客戶之個資,接續可能亂槍打鳥並運用擬定的各式既定劇本套路,一旦有對象上鉤,再動用人力假扮為執法人士或銀行專員,去電指示轉帳或者由當地協力者、車手出面取款。不同於傳統跨境詐騙園區之操作高度仰賴自願或受拐騙員工及車手,[7]AI詐騙則是相對強調精準打擊,在鎖定對象(群)之後,首先運用AI進行偵蒐,在網路蒐羅社群媒體、公司文件、會議錄音,公開影音等開源情報,以建立遭鎖定目標之個資輪廓檔案,並蒐集語音和影片樣本。AI詐騙進行其間,仍可持續透過檢索增強生成(Retrieval-Augmented Generation, RAG)不斷汲取與更新該目標最新動態之資料。接續運用大型語言模型、語音複製與深度偽造等生成AI詐騙內容,透過電子郵件、電話、視訊會議平台投放,影響並催促遭鎖定目標依其指示轉移資金、授予存取權限、共享憑證、安裝惡意應用程式供其剝削利用,資金或資產到手後隨即轉換為加密貨幣或轉移至其他洗錢管道變現。[8]
根據專業人士分析指出,2025年最常見的幾種AI詐騙樣態包括:(一) AI生成網路釣魚和BEC在2025年成長1265%,顯示常規垃圾郵件過濾器已然無法檢測愈來愈狡猾的AI所生成之詐騙郵件,生成式AI製作釣魚郵件比過去速度快,花費時間極短,規模也日益擴大,而且品質愈來愈好,甚至連謹慎的網路使用人都可能受騙。(二)深度偽造即運用AI生成的虛假影音和圖像,用以冒充高階主管指示欺詐性轉賬,偽裝身分求職或者要求開設金融帳戶做為洗錢或詐騙用途,或者為根本不存在的項目招攬投資詐財,如此有效的樣態迅速擴張,在2025年至少占詐騙案件4成以上。[9](三)生成式AI演算法可以數小時的錄音進行訓練學習,藉此精準地複製語音模式和語調,《財星》雜誌在 2025 年 12 月報導聲稱,語音複製技術已經突破了「無法區分的門檻」。[10]運用語音複製冒充高階主管或親屬,透過複製其聲音來取信與誘騙受害者,然後要求受害者轉帳、洩漏機密資訊或進行其他有害行為,因此這類語音複製詐騙又被稱為語音釣魚。(四)詐騙集團運用生成式AI打造出非常精美的平台介面,表面上是投資工具、求職平台和客戶服務機器人,實則提供虛假產品和服務以騙取身分個資、帳戶資料與金錢財物。(五)AI將真人影像移花接木生成色情影音、或者已不存在身分進行網路羅曼史,都是運用AI模擬表情、聲音、動作與情緒,進而騙取受害人行使金錢支付或轉帳。[11]
三、AI生成錯假資訊的國安風險
AI生成的逼真假象,除容易讓網路使用者分不清真實與造假的界線,同時其所生成之錯假訊息可利於詐騙、詐欺性政治活動或認知作戰等活動,這其中AI詐騙用以取信於鎖定目標的偽冒網頁、特定名人或虛構人物之履歷背景、言論立場,以及其關係網絡與活動更新、深度偽造的聲音或影音視訊會議,藉由指揮調控機器人帳戶散布以期取信於遭鎖定目標群,進而引領與影響集體感受與社會輿論,形同對國家安全的潛在威脅。
AI 生成內容誤導讀者與觀眾所帶來的風險,顯然已不再是假設性議題。尤其是AI合成造假之錯假資訊一旦氾濫充斥網路空間,其真假莫辨程度甚至讓AI模型與AI代理一時之間無法辨識而成為資料來源,讓內容農場與機器人網路重複利用這些 AI 系統自動化大量產出文章、貼文或社群媒體回覆,AI模型與代理人形同不斷蒐集運用汙染或中毒的資料,後果可能導致AI幻覺的加劇,可能造成決策偏差,視同另一種對國家安全的潛在威脅。
然而,基於AI生成錯假訊息工具價格低廉,其進入門檻實質上等同消失。幾年前需要國家機器支持的團隊發動社交工程滲透潛伏,如今,合成身分工具包售價約 5 美元,而暗網大型語言模型訂閱費則為每月 30 至 200 美元左右,任何擁有少量預算的人只要能上網,都可以發動AI造假攻勢。這對追溯來源訴諸法律的執法人員將形成艱辛挑戰,但是對於應對衝擊的國安社群而言,一般只要認定是屬於詐取金錢或投資合約且急於變現的造假行為,即可區分出是詐騙行徑還是認知作戰意圖。特別是有些認知作戰的意圖是讓民眾長期積累對政府的不滿情緒與對民主體制的不信任感,有別於金錢誘因或者短期內實現特定目標的作為。即使如此,如果惡意國家是以犯罪孤狼或集團行使勒索或詐騙金錢為掩護,實質上是促成及短期內人心動盪的AI生成認知作戰攻擊,純粹以人力查核捏造身分之佐證網頁、認證及活動,勢將左支右絀而造成時間遞延。
參、趨勢研判
一、AI輔助事實查核漸成趨勢
為因應AI詐騙與其偽冒資料可能衍生的國安風險,生成式AI應用在事實查核已逐漸成為普及工具,透過先進的語言模型,生成式AI能迅速提供來自可信來源的詳細解釋與引註參考,用以自動生成對虛假主張的回應或反駁。有鑒於此,確保事實查核之生成式AI 模型不會在查核過程中注入模型內建偏見或遭毒化污染輸入錯假誤導資料,將與即時敏捷查證同樣至關緊要。除建立自身企業或國家級的主權AI 模型及資料庫,確保傳輸、儲放、運算的資安無虞之外,在蒐尋以及RAG更新過程就設計能在資料前線就開始把關,最好情況是能夠兼顧成本、效率與安全,這在未來對於資料科學家與AI 安全治理社群都將是重要的課題,此舉將可直接回應AI詐騙造假速度遠超人工查核能量的核心挑戰,使防制工作得以在速度上縮短差距。
二、民主友盟宜合作應對AI造假生態圈以減輕負擔
由於AI詐騙產業與AI輔助認知作戰產業(cognitive warfare ecosystem)具有重疊的生態圈,加上無論是AI詐騙造成人民鉅額損失、還是認知作戰造成社會人心動盪,均可能導致人民對政府民主治理信任與信心的動搖,但單一國家政府結合私部門網路服務平台予以防治,往往面臨治理能量,特別是管轄權之侷限。鑒於AI詐騙與AI輔助認知作戰已然是民主陣營國家所共同面對、且對資源與信譽具長期消耗性的挑戰,具信賴關係的民主友盟之間如能從威脅情資到可信賴徵信查詢資料,都建立安全、可持續的分享機制,對於分擔、減輕彼此負荷或將有明顯助益。
[1] 吳家豪,〈Google強化廣告安全 在台移除3564個違規網址〉,《中央社》,2026年4月17日,https://www.cna.com.tw/news/ait/202604170102.aspx。
[2] 戴嘉芬,〈AI生成影片頻造假 數發部長林宜敬:請業者標示、減低民眾受騙機率〉,《太報》,2026年4月8日,https://www.taisounds.com/news/content/76/250282。
[3] “AI Scams Explained: How AI-Powered Fraud Works and How Enterprises Detect It,” Webpage of Vectra Cybersecurity Fundamentals, https://www.vectra.ai/topics/ai-scams.
[4] “The Rise of AI-Enabled Crime,” TRM Labs Report, February 26, 2025, https://www.trmlabs.com/reports-and-whitepapers/the-rise-of-ai-enabled-crime.
[5] “AI Scams Explained: How AI-Powered Fraud Works and How Enterprises Detect It,” Webpage of Vectra Cybersecurity Fundamentals, https://www.vectra.ai/topics/ai-scams.
[6] “AI Scams Explained: How AI-Powered Fraud Works and How Enterprises Detect It,” Webpage of Vectra Cybersecurity Fundamentals, https://www.vectra.ai/topics/ai-scams.
[7] 楊智強、蘇威銘,〈泰國斷水電打擊詐騙園區邊境緬甸居民日常生活受影響〉,《公視新聞網》,2025年2月19日,https://news.pts.org.tw/article/738578;陳映妤、孔德廉、楊智強,〈揭開台柬詐騙產業鏈下的吃人陷阱〉,《報導者》,2022年8月10日,https://www.twreporter.org/topics/cambodia-taiwanese-human-trafficking。
[8] “AI Scams Explained: How AI-Powered Fraud Works and How Enterprises Detect It,” Webpage of Vectra Cybersecurity Fundamentals, https://www.vectra.ai/topics/ai-scams.
[9] 迄今最著名的莫過於2024年的Arup案例:Arup一名財務人員被一段由深偽技術製作的視訊通話所欺騙,影片中出現的疑似首席財務官發布指令,導致15筆總額高達2,560萬美元的交易,該事件最終是透過公司總部的人工核查才被發現。
[10] Siwei Lyu, “2026 Will Be the Year You Get Fooled by A Deepfake, Researcher Says. Voice Cloning Has Crossed the ‘Indistinguishable Threshold’,” Fortune Magazine, December 27, https://fortune.com/2025/12/27/2026-deepfakes-outlook-forecast/.
[11] Matthew Hale, “Unmasking the Top 5 Generative AI Scams Trending This Year,” Blog on the Webpage of Global Skill Development Council, https://www.gsdcouncil.org/blogs/unmasking-the-top-5-generative-ai-scams-trending-this-year.