到底什麼是語義通信?

2023.08.21

到底什麼是語義通信?


語義通信(Semantic Communication),是以任務為主體,“先理解,後傳輸”的通信方式。它會對原始信號進行有選擇的特徵提取、壓縮和傳輸,然後再利用語義層面信息進行通信。如果我們把傳統通信看成是形式通信的話,那麼,語義通信就是“達意通信”、“內容通信”。

大家都知道,自從信息革命爆發以來,我們的信息量(數據量)就在不斷膨脹。

文字、圖片、音頻、視頻……越來越多的數據在不斷產生,不僅佔據著我們的硬盤空間,也充斥著整個通信網絡。

這些數據讓我們的工作和生活更加便利,也推動著社會的進步和發展。

進入21世紀後,在雲計算、大數據、物聯網和人工智能的共同刺激下,數據的增長趨勢更加猛烈。

根據IDC的報告,到2025年,全球數據總量將達到175ZB,約等於1750億TB。

而ITU則預測,全球移動數據流量的年增長速率將會在2030年達到55%。2030年的數據流量,將是2020年的100倍。

圖片圖片

面對如此巨大的流量增長,人類現有的通信技術手段,已經疲於招架。

1948年,祖師爺克勞德·香農(Claude Elwood Shannon)發表了那篇經典論文——《A Mathematics Theory of Communication(通信的數學理論)》,標誌著信息論的誕生。

後來,1949年,他又發表了《Communication in the Presence of Noise(噪聲下的通信)》,闡明了通信的基本問題,給出了通信系統的模型,以及著名的香農公式。

從那之後,我們就一直在信息論和香農公式的基礎上,進行通信技術的研究。

經過70多年的積累,我們的通信技術已經無限接近於香農極限。以huffman編碼、算法編碼為代表的信源編碼技術,把信源數據壓縮到了極致。而以LDPC碼、極化碼為代表的信道編碼技術,把信道也利用到了極致。

那接下來,該怎麼辦呢?面對萬物智聯時代的數據洪流,我們的優質頻譜資源越來越少,硬件和能耗成本越來越高,該如何應對?

通信的三個層級

大家不妨冷靜思考一下。

一直以來,我們在通信技術上所做的努力,似乎都在做一件事情——把攜帶信息的符號,完整、準確、快速地從信源發送到信宿。

這就好像一個勤勞的快遞員,他的唯一使命,就是把寄件人交給他的貨物,完好無損且快速地,送到收件人的手上。

圖片圖片

那麼,當貨物實在太多,快遞員真的已經拿不動的時候,他會不會蹦出這麼一個念頭——這些貨物,真的有必要全送嗎?

圖片圖片

大家或者也會有這樣的經歷:

你想在網上搜索一部好看的電影。你挑了一部,花了好久的時間,終於下載完成,結果,你打開一看,根本不是自己喜歡的。於是,你就只能刪掉它。

網絡辛苦完成的數據傳輸工作,沒有發揮價值。你的時間,也浪費了。

是的,在這裡,我們就會想到——通信的終極奧義,究竟是什麼?

事實上,早在現代通信理論奠基之際,先賢們就考慮到了這個問題。

1938年,美國哲學家查爾斯·莫里斯(Charles William Morris)提出了符號論。他指出,符號應該包括了語法-語義-語用三元概念。

克勞德·香農提出信息論後,和沃倫·韋弗(Warren Weaver)一起對自己的理論和模型進行延展完善。他們合著了一本書,名字仍然叫《通信的數學理論》。

他們倆當時就意識到,語義在通信中的重要性。於是,他們提出了通信的3個級別,即Level A/B/C。

圖片圖片

Level A:語法通信,解決技術問題,即通信符號如何保證正確傳輸;

Level B:語義通信,解決語義問題,即發送的符號如何傳遞確切的含義;

Level C:語用通信,解決有效性問題,即接收的含義如何以期望的方式影響系統行為。

長期以來,經典信息論局限在語法信息傳輸層次,即Level A。也就是說,我們一直在研究怎麼把數據傳過去。

如今,在傳統通信已經進入瓶頸的情況下,我們就可以考慮一下——是不是可以在語義通信上,尋找突破點。

語義通信的特點

語義通信(Semantic Communication),是以任務為主體,“先理解,後傳輸”的通信方式。

它會對原始信號進行有選擇的特徵提取、壓縮和傳輸,然後再利用語義層面信息進行通信。

如果我們把傳統通信看成是形式通信的話,那麼,語義通信就是“達意通信”、“內容通信”。

換句話說:“不能傻幹活,要多動腦子。”

通信的真正目的是什麼,是讓對方了解自己的意思。說話,只是一種表達方式。話的本身,也是為了表達意思。那麼,就沒有必要進抓著這句話不放,而是看如何更高效地傳達意思。

從學術上來說,降低接收者對信息的不確定性,或者說,使接收到的信息熵減少至0,讓接收者正確理解發送者的信息內容,就是“達意”通信。

大家平時溝通交流,也會注意到:對於陌生人,你需要千叮嚀萬囑咐,確保自己的意思被理解。而對於你很親近的人,有時候,一個眼神就足夠了。不是嗎?

“你懂的”

語義通信和傳統信源編碼的區別在哪裡呢?

傳統信源編碼是對信息本身的壓縮,它尋找數據的規律,通過算法進行數據精簡。而語義通信,重在“理解和消化”,講究的是“智能”。

語義通信系統的架構

語義通信可以顯著降低數據流量,提高通信效率。那麼,它究竟是如何工作的呢?

語義通信目前還處於早期研究階段,不同的研究團隊,有不同的語義通信架構設計。

而且,針對不同類型的通信(文本通信、圖像通信、音視頻通信等),不同目的的通信(是否有特定任務),也會有不同的語義通信模型和架構。

早期的一種模型,是在傳統經典通信系統上疊加語義通信。

圖片圖片

在發送端,信源產生的信息首先送入語義提取模塊,產生語義表徵序列。接著,送入語義信源編碼器,對語義特徵壓縮編碼。然後,送入信道編碼器。最後,進入傳輸信道。

在接收端,先信道譯碼,再語義譯碼。得到的語義表徵序列,送入語義恢復與重建模塊,最終得到信源數據。

中間那段信道部分,就是傳統經典通信來實現。

另一種現在比較有代表的模型,是信源信道聯合編碼。這種方式,更有整體性,全盤思考。

圖片圖片

大家能看出來,相比傳統通信,語義通信多了一個知識庫。其實,有的模型並沒有知識庫,直接在語義編碼器上硬剛。

更多的系統模型,是基於知識庫的。系統模型的性能和準確率,高度依賴於知識庫。

知識庫就有點像密碼本。如果兩端的知識庫不一致,那麼,語義通信是無法正常工作的。

知識庫又不像密碼本那樣,內容固定且形式單一。知識庫由很多的語義知識圖譜組成,分為多個層級,可以對現實世界中的實體、概念、屬性以及它們之間的關係進行建模。

基於知識庫,進行語義理解,就需要前面我們所說的“智能”。

誰最適合幹這個活?當然是AI人工智能。

簡單來說,就是讓AI來完成語義理解的工作。語義編碼與譯碼模塊基於海量數據訓練的知識庫,通過深度學習網絡來擬合語義的特徵,可以高效提取與重建語義信息。

這也是為什麼,最近十幾年來,語義通信開始重新被提及的原因。

早在1956年,法國物理學家L.布里淵(L.Brillouin)就指出,經典信息論忽略語義通信,是因為工程需要(要先解決基本需求),並不意味著人們要永遠忽視語義信息。

如今,一方面傳統信息論遇到瓶頸,另一方面AI人工智能技術日益成熟,所以,我們重提語義通信的時機就成熟了。

特別值得一提的是,AI人工智能可以幫助語義通信,反過來,語義通信,也非常適合人工智能的發展。

大家應該能夠理解:同類型主體之間的通信,往往容易簡化。就像人和人之間,通信肯定比人和牛之間簡單。

未來,我們正在朝著智能化的方向發展,AI人工智能批量應用之後,就會有很多的智能體。這些智能體之間,就會有大量的通信需求。而語義通信,本身就是AI在進行“翻譯”,對於智能體通信,肯定會有更大的優勢。

語義通信面臨的挑戰

語義通信的發展前景,行業是一致看好的。但是,想要讓這項技術投入實用,真正發揮價值,並不容易。

首先,語義通信的基礎理論體系,並不完善。

香農的信息論,給傳統語法信息奠定了理論基礎。他用一個簡單的對數公式,就把信息(熵)明確定義出來;用香農公式,又把語法通信的信道容量邊界也劃定了。

對於語義通信,還沒有人完成這兩項重要工作。相對於語法通信,語義通信缺失嚴謹的數學表徵,沒有紮實的理論依據。

語義通信的信息度量方式,目前也沒有特別明確。

傳統語法通信有誤碼率、丟包率之類的指標,用於衡量服務質量。語義通信關注“達意”,不關注“精準傳輸”,所以,這些指標都用不了。

在語義通信中,只能會採用宏觀的任務完成質量或語義準確率,來進行系統性能評估。

說到準確率,這是語義通信的第二個大問題。

以目前現有的技術,即便是用上了AI人工智能,仍然無法做到完美的準確率。語義的識別與恢復,比想像中難得多。

第三個問題,是適用場景問題。

通信是一件複雜工作。數據是多樣化的,有結構化數據,也有非結構化數據。文字、圖片、音視頻,還有一些特定的通信任務,混在一起,很難借助一個有範圍限制性的知識庫,進行語義提取。

例如,我們採用工業製造場景的知識庫,去進行農林牧漁場景的語義通信,肯定不行。但是,通信場景的邊界,又該如何精確劃分?

知識庫還涉及到第四個問題,那就是安全問題。

在現實情況下,如何維持兩份高度一致的知識庫?如果對知識庫進行傳遞,會不會洩密?如何保障知識庫不被入侵和擾亂?

總而言之,語義通信面臨的挑戰還有很多。這些還都是理論研究上的問題,將來如果產業化,問題還會更多。

語義通信的研究進展

前面說了,語義通信目前還處於早期研究階段。2010年至今,這個概念的研究熱度是越來越高的。

在國內,很多高校都進行了一些語義通信模型的搭建,並取得了初步進展。

最有代表性的,是北郵張平院士及他的團隊。

2022年左右,他們針對6G的智簡演進需求,提出了一種新的語義信息表徵模型——語義基(Seb)。

語義基是語義信息的基本組織單元,類似於香農在傳統信息論體系中的比特(Bit)。它以更為結構化、簡約化、彈性化的方式對信息進行組織,為描述涉及網絡意圖的語義信息提供了新的視角。

他們還提出了面向6G的“一面三層(語義智能平面、語義物理承載層、語義網絡協議層、語義應用意圖層)”智簡網絡協議架構,為語義通信的研究提供了重要參考。

除了高校之外,部分企業也參與到語義通信的研究和實踐中。

以中國移動為例,他們和清華大學合作,搞了一個面向人臉場景的會話視頻語義傳輸方案,在中移平安鄉村網絡中進行應用,效果不錯。

相比於傳統H.264編碼,針對人臉場景,語義通信在相同用戶體驗下將碼率降低為10-20%,即降低到3KB也能獲清晰流暢體驗。

結語

總而言之,語義通信技術,擁有巨大的研究潛力。

它是通信系統設計思想、理念的一次重大變革,很可能徹底顛覆我們現有的信息通信技術體系。

面向未來,語義通信到底是騾子是馬,就讓時間來告訴我們答案吧。