GenAI成功道路上的十個“坑”
想要实现生成式人工智能(GenAI)?是个好消息!大多数IT决策者都看到了这种变革性技术的潜力,您可以将自己视为其中之一。虽然GenAI有可能为业务增加显著的效率,但它也带来了一系列必须克服的挑战。
以下是實施GenAI的十大挑戰,依重要性由高至低排列。
1.錯誤數據
實施GenAI的最大挑戰是糟糕的數據。如果不能確認資料是正確的,它的來源迭代是精心規劃,並保證是安全可靠的,那麼你在開始之前就已經落後了。
雖然我們似乎生活在一個全新時代,人工智慧時代將使你最瘋狂的夢想成真!那句古老的格言「垃圾進,垃圾出」仍然是真理。
數據是GenAI的核心,數據管理則可能永遠是個挑戰。但也有積極的發展,從15年前大數據熱潮的早期開始,公司就一直在努力理順他們的數據基礎,以便可以在此基礎上建立更大更好的東西。
在數據管理方面的投資現在正在為這些公司帶來回報,因為由於GenAI的數據品質優於平均水平,這些公司處於有利地位,可以立即利用GenAI。
2、法律及合規事項
你可以合法地使用人工智慧做什麼,不能做什麼,目前是一個有爭議的問題。新的法律法規正在製定,以限制組織使用人工智慧的程度,因此,當涉及到人工智慧的商業採用時,我們處於某種灰色地帶。
歐盟正堅定地朝著一項相當嚴格的法律邁進。這部被稱為《人工智慧法案》(AI Act)的新法律可能會禁止最危險的人工智慧形式,例如公共面部識別,並要求公司在使用其他侵入性較小但仍有潛在危害的用途時獲得批准,例如將人工智慧用於招聘或大學錄取。
美國在監管人工智慧方面正在追趕歐盟同行,美國總統拜登去年10月簽署了一項行政命令,指示聯邦機構開始起草相關規定,但這些規定不具法律效力。
這種法律上的模糊性引起了大公司的擔憂,它們不願投入大筆資金來實施一項面向廣大外部領域的人工智慧技術,因為這項技術可能在推出後不久就被取締或受到嚴格監管。基於這個原因,許多人工智慧應用都是針對內部用戶的。
3.算力不足
使用者不僅需要強大的GPU來訓練GenAI模型,還需要它們來進行推理。對高階英偉達GPU的巨大需求遠遠超過了供應。對於那些有足夠資金在雲端購買或租用GPU的大公司以及英偉達的股東來說,這是件好事,但對於需要GPU時間來實施GenAI的中小型公司和新創公司來說,就不那麼美好了。
GPU的「大排隊」不會很快緩解——當然包括在2024年上半年。雖然英偉達及其競爭對手正在努力開發新的晶片設計,以更有效地訓練和運行LLM(大語言模型),但設計並將其投入生產還需要時間。
許多公司不再運行LLM,而是轉向運行較小的語言模型,這些模型不像大型模型那樣需要龐大資源。也有人努力透過壓縮和量化來縮小LLM的大小。
4、透明度和可解釋性
透明度和可解釋性甚至在GenAI成為公司董事會討論話題之前就已經是問題了。就在五年前,公司還在努力思考如何處理深度學習(DL),這是機器學習(ML)的子集,它使用神經網路技術從大量資料中找出模式。
在許多情況下,公司選擇基於更簡單的機器學習演算法投入生產系統,即使深度學習產生了更高的準確性,因為他們無法解釋深度學習系統是如何得到答案的。
支撐GenAI的大型語言模型(LLM)是神經網路的一種形式,當然,是在龐大的資料語料庫上進行訓練的-在GPT-4的例子中,基本上是整個公共網路。
在解釋LLM如何得到答案時,這就構成了一個大問題。沒有直接的方法來應對這個挑戰。出現了一些方法,但它們有些複雜。這仍然是學術界、企業和政府研發部門積極研究和探索的領域。
5.準確性與幻覺
無論你的GenAI應用程式有多好,它都有可能編造一些東西,或者用該領域的術語來說就是「產生幻覺」。一些專家表示,任何人工智慧在被要求生成或創造以前不存在的東西(比如一句話或一幅畫)時,產生幻覺都是正常的。
雖然專家表示,幻覺可能永遠不會被完全消除,但好消息是,幻覺率一直在下降。OpenAI早期版本的GPT錯誤率約20%。現在這個數字估計在10%以下。
有一些技術可以減輕人工智慧模型產生幻覺的傾向,例如透過交叉檢查一個人工智慧模型與另一個人工智慧模型的結果,這可以將幻覺率降至1%以下。減輕幻覺在很大程度上取決於實際用例,但這是AI開發人員必須牢記的事情。
6.缺乏AI技能
與任何新技術一樣,開發者需要一套新的技能來建立GenAI,它引入了許多開發人員必須熟悉的新技術。
例如,如何將現有的資料集連接到LLM中並從中獲得相關的答案,同時滿足不違反法規、道德、安全和隱私要求,需要一些技巧。一項薪資調查顯示,提示工程師的出現速度如此之快,以至於已成為IT行業中薪資最高的職業,平均薪資超過30萬美元。
然而,在某些方面,GenAI需要的高端資料科學技能比以前建立和實施人工智慧應用程式要少,特別是在使用GPT-4等預先建置的LLM時。在這些情況下,對Python有一定的了解就足夠了。
7、安全及私隱
GenAI應用程式根據提示工作。如果沒有某種類型的輸入,就不會得到任何產生的輸出。在沒有任何控制的情況下,沒有什麼可以阻止員工用敏感資料提示GenAI應用程式。
例如,去年6月發布的一份報告發現,15%的員工定期將機密資料貼到ChatGPT中。包括三星、蘋果、埃森哲、美國銀行、摩根大通、花旗集團、諾斯魯普·格魯曼、威瑞森、高盛和富國銀行在內的許多大公司都禁止在公司內使用ChatGPT。
一旦資料進入LLM,用戶無法保證資料會從哪裡出來。例如,OpenAI告訴用戶,它使用他們的對話來訓練它的模型。如果不希望資料最終出現在模型中,則需要購買企業許可證。網路犯罪分子越來越善於從模型中竊取敏感資料。這就是為什麼資料外洩在開放式Web應用程式安全專案(OWASP)十大安全風險中佔有一席之地的原因之一。
即使模型本身中的資料被鎖定,也存在其他漏洞。據一家名為私有網路存取(Private Internet Access)的VPN公司稱,透過IP位址、瀏覽器設定和瀏覽歷史,GenAI應用程式可能會在未經你同意的情況下收集你的其他信息,包括政治信仰或性取向。
8、倫理問題
在GenAI於2022年底爆發之前,人工智慧倫理領域就已經在快速發展。現在GenAI已經成為每個商人2024年劇本的核心,人工智慧倫理的重要性已經大大增加。
許多公司都在努力解決一些與實施人工智慧有關的更大問題,包括如何應對有偏見的機器學習模型,如何獲得同意,以及如何確保模型透明和公平。這些都不是微不足道的問題,這就是為什麼道德仍然是一個巨大挑戰。
德勤一直是思考人工智慧倫理的行業領導者之一,早在2020年就創建了值得信賴的人工智慧框架,以幫助指導人工智慧的倫理決策。該指南由德勤人工智慧研究所(Deloitte AI Institute)執行董事Beena Ammanath牽頭編寫,目前仍適用於GenAI。
9、高成本
高階主管必須注意GenAI所花的每一分錢。
根據開發GenAI應用程式的方式,成本可能是等式的重要組成部分。麥肯錫將GenAI成本分為三種類型。使用預先建置的GenAI應用程式將花費50萬到200萬美元。根據特定用例對現有LLM進行微調的用戶投資金額將在200萬至1000萬美元之間。從頭開始建立基礎模型的製造商(如OpenAI)將花費500萬至2億美元。
更要注意的是,GPU的成本只是訓練LLM一個開始。在許多情況下,在訓練有素的LLM上推理資料的硬體需求將超過訓練它的硬體需求。建立GenAI應用程式也有人為因素,例如需要耗時的資料標記,掌握技能所需花費的人員訓練時間等等。
10. 缺乏效能承諾
當談到建立和部署人工智慧解決方案時,許多高階主管都很興奮,但也有許多人並不那麼興奮。安永(EY)最近對金融服務領域的科技領導者進行的一項調查發現,36%的受訪者表示,缺乏領導層的明確支持是採用人工智慧的最大障礙。
GenAI投資的潛在回報是巨大的,但也有需要注意的誤差。HFS Research最近的一項調查發現,對於許多人來說,GenAI的投資回報率仍然不確定,特別是在快速變化的定價模式下。
隨著企業希望獲得競爭優勢,GenAI的採用將在2024年激增。最終取得成功的公司將是那些克服這些前進障礙,並設法實施合法、安全、準確、有效且不會導致破產的GenAI應用程式的公司。