永續性和風險的權衡：CIO為何考慮使用小型語言模型

隨著GPT-4通過圖靈測試，微軟將自己的AI助理Copilot融入企業產品，以及Google宣佈在義大利市場推出的手機上安裝Gemini應用，CIO們正在研究生成式AI技術以跟上發展步伐——但不會被技術熱潮或商業提案分散注意力。

義大利研究和教育界專用寬頻網路GARR首席技術長兼基礎設施部門負責人Massimo Carboni表示：「生成式AI可以帶來很多好處，但如果沒有適當的考慮就不能採用它。相關炒作非常多，但高估計其可能性的風險也同樣很高。

此外Gartner最近估計，全球企業在生成式AI技術上的支出並不突出。 Gartner預計今年的IT總投資額為5兆美金，與2023年相比成長8%，其中生成式AI的比例並不大。相反，支出是由更傳統的力量推動的，例如經典IT服務，價值超過1.5兆美金，較去年同期成長9.7%。

相較之下，大型服務供應商正在倍增對技術的投資，以支援生成式AI項目，並且預計到2024年，AI應用伺服器將佔超大規模伺服器總投資的近60%。不過，企業需要更加謹慎。 Gartner認為，生成式AI要有一個「故事、計畫、執行」的周期，2023年生成式AI被人們所熱議，2024年計畫實施，2025年具體執行。

CIO審查下的生成式AI

Inewa公司資訊長Edoardo Esposito是Elevion Group的成員，該集團是一家活躍於沼氣和生物甲烷生產和能源效率領域的認證ESCO，目前正處於測試Copilot的規劃階段，因為inewa的IT全部都是在微軟系統上的，而且Copilot產品與Office套件完美整合。這項測試他是和其他高階主管一起進行的，例如財務長、法律總監以及機構關係和監管總監。

「我們正在測試金融領域的應用，例如收入和支出的財務分析，我認為這方面機會最大。我認為目前它在法律領域的應用前景並不樂觀，但我們正在嘗試使用生成式AI來管理合約和研究法律。

當然，AI不會提供法律建議，但有助於駕馭不斷更新的或更改的大量規則。

「即使是利用AI產生一份關於新法律的簡單摘要，發送給高階主管進行審查，也會有所幫助。最終，對於我們這樣的小型企業來說，每月30美元的費用，就像在辦公室裡多了一個員工。

儘管他對簡單任務實施自動化毫不猶豫，但他並不相信AI可以完全自動化某些複雜任務，會有其他問題。 「這些模型在我看來似乎不可持續，它們有巨大的參數，需要大量的精力來訓練，」他說。

AI的不可持續性

Carboni也強調了AI的能源密集程度，以及本來就很高的成本。

“ICT佔全球總能源成本的9%，即2023年約3000億美金。這個比例在過去10年增長了60%，而且還會進一步增長。”

Carboni認為，培訓方面也存在問題。 「生成式AI正在顛覆傳統的以人為本的方法。現在不是由人來訓練模型，然後改變公司組織，而是人們必須適應來自市場的模型。這對我來說是一種風險。生成式AI的參與者越少，就越會造成公司對它的依賴以及失去控制。

此外，Carboni補充說，AI可能會將數位功能限制在決定行為和成本等少數領域，因為AI的進入門檻很高，大多數公司只能是購買服務，而沒有相應的知識來區分一種產品和另一種產品之間的差異。選擇很少，風險在於產品標準化。 “所以在我看來，繼續內部開發一些東西總是更好的。”

與大型科技公司競爭

企業之間的競爭日益激烈，包括Carboni在內的許多人都認為，大型廠商銷售其模型的方式在許多方面都是不公平的，因為一些市場參與者擁有其他參與者所沒有的能力。

「像微軟和谷歌這樣的廠商擁有產品生態系統，這種控制著高達80%數據市場的寡頭壟斷，相比其他公司具有巨大的優勢。大型科技企業的策略還在於整合新創公司，以加強它們對數據的主導地位。提供替代產品的新創公司當然存在，而且是開發演算法的好方法，但這些還不足以取得成功。

對Carboni來說，這並不意味著AI的失敗，而是希望深入研究和治理AI。他說：「我相信AI非常重要，我們將致力於此，因為我們有大量數據可以利用。我們的目的是推導出一個生成式AI模型，以更好地定義我們內部的知識庫。目前，這個模型尚未公開，但如果我們想公開的話，就必須開發用於外部瀏覽的模型。

小型語言模式：CIO尋求控制權的一種方式

小型語言模型（SLM）是在比大型語言模型（大型深度學習模型，GPT等產品就是基於這種模型的）小得多且更具體的資料集上訓練機器學習演算法。初步測試表明，小型語言模型在執行任務時效率更高、成本更低、準確性更高。事實上，Esposito也在關注小型語言模式的發展，認為小型語言模式在商業用途上更有前景，也更具永續性。大型產品具有出色的訓練能力，但是通用的，而企業需要的是垂直應用。

Esposito說：「透過API使用大型生成式AI模型，用你自己的資料訓練你自己的生成式AI產品，需要大量能源資源，這就像把一個數位同事帶進你的家，但這個同事的成本很高。興趣，但對小型語言模型卻非常感興趣。

例如，Esposito說，IT可以隔離一個狹窄的語言任務，取得小型語言模型，將其放在雲端，只允許它存取公司文件資料庫，這樣它就只向模型詢問與這些文件相關的問題。

「從第一次實驗來看，似乎不僅能耗降低了，而且出現幻覺的可能性也降低了。畢竟，企業的AI模型不必知道一切，而只需響應某些應用。小型語言模型仍然可以進行翻譯、執行市場趨勢分析、自動化客戶服務、管理IT工單、建立業務虛擬助理等。 」

生成式AI業務和小型模型之間的權衡

控制是關鍵。布魯諾凱斯勒基金會（FBK）增強中心總監Alessandro Sperduti表示，在AI領域我們面臨私人公司主導的風險。他說：“過去，世界上最重要的AI系統都是在大學裡開發的，但現在不是了，因為私營科技巨頭已經崛起，其消費能力是公眾無法與之競爭的。”

事實上在科學界，有些人更願意透過政治幹預將AI重新置於控制之下，就像高能物理學和CERN的建立一樣——CERN是一個將多個國家聚集在一起合作進行粒子物理理論和實驗的機構。但其他研究人員並不認為某些私人參與者的霸權會帶來風險，只要政府規範AI工具的使用，就像歐盟透過《人工智慧法案》所做的那樣。

「與物理學領域發生的情況不同，那裡沒有大生意，而在AI領域，利潤非常豐厚，這就是為什麼微軟和谷歌等廠商競爭如此激烈的原因。我們每天都會看到超越以往目標的新目標。這個領域的新創公司確實存在，但與其他行業相比，數量是很少的，因為這其中需要巨大的投資。態勢的。

然而，在較小的模型方面，Sperduti強調了檢索增強生成（RAG）系統，這種系統使用大型語言模型來回答有關本地資料庫保存的文件的問題。這樣，文件將保持私密，不會交給提供大型語言模型的組織。 RAG讓公司對資料有更多的控制權，成本也更低。

“但需要在本地管理大型語言模型，你也可以在本地使用開源語言模型，這些模型比大型語言模型更小，但性能較低，因此可以將其視為一種小型語言模型。”

關於成本永續性，Sperduti表示，大型語言模式通常由大型科技企業作為一種公用事業服務進行管理，就像我們購買電力一樣，而小型模式就像是把渦輪機留在家中進行發電。 「因此，必須進行經濟評估，如果模型的使用頻率很高，這可能是有利的。但這是一個必須經過仔細分析後才能做出的選擇，要考慮到模型的成本、更新、使用它的人員等等。

CIO掌控一切：治理與專業知識

Carboni也警告說，如果你選擇了小型語言模型，那麼IT就要承擔更大的任務，CIO的生活也不一定會簡化。

「在大型語言模型中，大部分資料工作都是統計完成的，然後IT會針對特定主題訓練模型以糾正錯誤，為其提供有針對性的高品質資料。而小型語言模型的成本低得多，所需的數據也少得多，但正是由於這個原因，統計計算效率較低，因此需要非常高品質的數據，數據科學家需要做大量的工作。 。

此外，小型語言模型對於企業來說前景廣闊，甚至大型科技企業也提供和宣傳小型語言模型，例如Google的Gemma和微軟的Phi-3。因此，根據Esposito的說法，在一個應該保持封閉系統的模型中，治理仍然是最根本的。

「小型語言模式更容易管理，並成為公司從AI中獲取附加價值的重要資產，否則，如果是大型模式和開放系統的話，你必須同意與Google、微軟和OpenAI共享公司的策略資訊。這就是為什麼我更喜歡與可以開發客製化並提供封閉系統的系統整合商展開合作，僅供內部使用。敏感資料。

CIO的能力也同樣重要。

Carboni說：「在我的工作中，我不僅要評估訪問服務的成本，還要評估我對服務的影響力。CIO必須建立自己的技術知識背景，配備一支能力強的團隊，其中包括大量年輕人，能夠在現代環境中使用雲原生的技術。

因此，CIO仍是掌舵人。無論生成式AI的發展軌跡如何，IT領導者都希望能夠決定方向、應用和目標。