香港最大AI詐騙案! Deepfake換臉「英國CFO」,直接騙走公司2億港幣

2024.02.05

這幾天,古老的AI應用-「AI換臉」多次破圈,屢屢登上熱搜。

先是網路上充斥的大量泰勒絲的「AI艷照」,逼得X(原推特)只能直接封鎖了所有有關「Tylor Swift」的搜尋。

而今天香港警方向社會公佈了一起更離譜的詐騙案件:

一家英國跨國企業的中國香港分公司,被騙子用偽造的“AI換臉”和AI音頻合成的視頻內容,冒充總公司的CFO,直接騙走了2億港幣!

最高級的騙局,往往只需要最簡單的AI技術

據稱,這位香港分公司的員工收到了一封英國總部CFO的郵件,稱總部正在計劃一個“秘密交易”,需要將公司資金轉到幾個香港本地的帳戶中待用。

而這個員工一開始並沒有相信這封郵件的內容,認為是釣魚詐騙郵件。但是騙子不斷給他發郵件討論這個秘密交易的必要性,最終,給他撥打一個視訊電話。

在電話中,這位員工看到了公司的CFO和其他他認識的「幾位同事」,大家都一起開會。騙子還在視訊會議中要求這位員工自我介紹。

然後視訊會議中的「英國領導」要求他趕快進行轉賬,之後就突然中斷了視訊。而信以為真的員工就分15次向5個香港本地的帳戶陸續匯款了2億港幣的資金。

而在整個事件持續5天之後,他才回過味來,向英國公司求證,最後發現被騙了。

香港警方在通報中稱,以往的「AI換臉」詐騙,一般都是一對一的。這次騙子用視訊電話會議的形式,偽造了一個「高階主管團隊」,讓可信度大幅上升。

騙子使用Deepfake技術,透過公司的Youtube上影片和其他公開的媒體素材,就成功地偽造了英國公司高層的形象和聲音。

參與視訊會議的都是真人,然後透過「AI」換臉,把騙子的臉和聲音都換成了對應的高階主管的臉和嗓音,下達了轉帳的指令。

而除了受騙的這位員工之外,騙子還聯絡了另外幾位香港分公司的員工。

警方表示,整個案件還在進一步調查之中,還沒有逮捕任何嫌疑人,但是希望向公眾發布消息,防止騙子透過類似的手法再次得手。

警方提供了幾個方式可以幫助識別是否為「AI換臉」詐騙行為。

首先,如果對方在影片中提到錢,就一定要提高警覺。

可以請對方快速的移動頭部和臉部,注意觀察畫面會不會出現奇怪的變形。

然後提一些只有雙方知道的問題來驗證對方的真實身分。

而銀行,對於此類的詐騙也在部署預警系統,發現用戶在與可疑的帳戶進行交易之後也會發出提醒。

國外網友看了這個事,紛紛感嘆Deepfake科技的強大:那我能deepfake我自己去開會,讓我自己能多睡一會嗎?

圖片

也有網友覺得,可能整個故事都是這個「被騙員工」編的,可能他自己也參與了這個騙局。

圖片

深度造假的由來

Deepfake本質上是一種特殊的深度學習技術。

最初源自於一個名為「deepfakes」的Reddit用戶。該用戶於2017年12月在Reddit 社交網站上發布了將斯嘉麗·約翰遜等女演員的換臉視頻,使得“Deepfake”成為了AI“AI換臉”的代名詞。

圖片

Deepfake目前並沒有公認的統一定義。美國在其發布的《2018年惡意偽造禁令法案》中將“deep fake”定義為“以某種方式使合理的觀察者錯誤地將其視為個人真實言語或行為的真實記錄的方式創建或更改的視聽記錄”, 其中「視聽記錄」指影像、視訊和語音等數位內容。

其核心原理是利用生成對抗網路或卷積神經網路等演算法將目標物件的臉部「嫁接」到被模仿物件上。

因為影片是連續的圖片組成,因此只需要把每一張圖片中的臉替換,就能得到變臉的新影片。

首先將模仿物件的影片逐格轉換成大量圖片,然後將目標模仿物件臉部替換成目標物件臉部。

最後,將替換完成的圖片重新合成為假視頻,而深度學習技術可以使這一過程自動化。

隨著深度學習技術的發展,自動編碼器、生成對抗網路等技術逐漸被應用到深度偽造。

Deepfakes依賴一種稱為自動編碼器的神經網路。它們由編碼器和解碼器組成,編碼器將影像減少到較低維度的潛空間,解碼器從潛表徵中重建影像。

圖片

圖源:深度偽造的原理及實戰

Deepfakes透過使用通用編碼器將人類編碼到潛在空間來利用這種架構。潛表徵包含其臉部特徵和身體姿勢的關鍵特徵。

然後可以使用專門針對目標訓練的模型對其進行解碼。這意味著目標的詳細資訊將疊加在原始影片的底層層面和身體特徵上,並在潛空間中表徵。

圖片

圖源:深度偽造的原理及實戰

另一種製作深度偽造品的方法是使用所謂的「生成對抗網路」(Gan)。 Gan讓兩種人工智慧演算法相互競爭。

第一個演算法稱為生成器,輸入隨機雜訊並將其轉換為影像。

然後,該合成圖像被添加到真實圖像流(例如名人圖像)中,這些圖像被輸入到第二個演算法(稱為鑑別器)中。

起初,合成影像看起來一點也不像人臉。但重複這個過程無數次,並提供效能回饋,判別器和生成器都會得到改進。

如果有足夠的周期和回饋,生成器將開始產生完全不存在的名人的完全逼真的臉。

圖片

而之前黴霉的AI不雅照在X平台上

被瘋傳,甚至驚動了白宮的發言人。

圖片

在1月26日白宮記者會上,發言人Karine Jean-Pierre被問到此事時表示此事件令人擔憂(alarming)。

「雖然社群媒體公司在內容管理方面有自己的獨立決策,但我們認為,他們在嚴格貫徹其監管制度以防止錯誤訊息和未經本人允許的私密圖像傳播方面,應起到重要作用。」

如何識別檢測偽造的視頻

而對於氾濫的Deepfake內容,也有越來越多的研究在關注如何辨識與偵測的技術。

論文地址:https://openaccess.thecvf.com/content/WACV2022/papers/Mazaheri_Detection_and_Localization_of_Facial_Expression_Manipulations_WACV_2022_paper.pdf

2022年由加州大學河濱分校的電腦科學家團隊開發了一種新方法來檢測深度偽造影片中被操縱的臉部表情。該方法可以以高達99% 的準確率檢測這些偽造的影片。

這個方法將偵測造假視訊任務分成深度神經網路中的兩個部分。

第一個分支辨別面部表情,同時提供有關包含該表情的區域的資訊。

這些區域可以包括嘴、眼睛、前額等。

然後這些資訊被輸入到第二個分支,該分支是一個編碼器-解碼器架構,負責操作檢測和定位。

研究團隊將這個框架命名為「表達操縱偵測」(EMD),它可以偵測並定位影像中已更改的特定區域。

圖片

作者稱Ghazal Mazaheri:「多任務學習可以利用面部表情識別系統學到的突出特徵來有利於傳統操縱檢測系統的訓練。這種方法在面部表情操縱檢測方面取得了令人印象深刻的性能,」

研究人員在兩個具有挑戰性的臉部操縱資料集上進行了實驗,他們證明EMD在面部表情操縱和身份交換方面表現更好,準確地檢測出了99%的被篡改影片。

未來,在技術和政策層面上都做出努力,才有可能將Deepfake技術的負面影響控制在合理範圍內。