作者 | Ashok Gorantla 

整理 | 言征

出品 | 51CTO技術棧（微信號：blog51cto）

在人工智慧（AI）的動態環境中，兩種開創性的技術——大型語言模型（LLM）和檢索增強生成（RAG）——在理解和生成類人文本方面脫穎而出。 本文開始了LLM和RAG之間的比較之旅，揭示了它們的機制、應用以及它們為人工智慧領域提供的獨特優勢。

一、大型語言模型（LLM）：基礎與應用

LLM，如GPT（Generative Pre-trained Transformer），憑藉其在廣泛的主題中生成連貫和上下文相關文本的能力，已經徹底改變了人工智慧場景。 LLM的核心是依靠大量的文本數據和複雜的神經網路架構，從他們接受過訓練的文本內容中學習語言模式、語法和知識。

LLM的優勢在於它們的泛化能力：它們可以在沒有特定任務訓練的情況下執行各種與語言相關的任務。 這包括翻譯語言、回答問題，甚至寫文章。 然而，LLM並非沒有挑戰。 他們有時會產生聽起來合理但不正確或無意義的答案，這種現象被稱為“幻覺”。 此外，他們的輸出品質在很大程度上取決於他們訓練數據的品質和廣度。

核心方面規模：LLM的標誌是其龐大的參數數量，達到數十億，涵蓋了廣泛的語言範圍。 訓練制度：他們對不同的文本數據進行預培訓，隨後針對量身定製的任務進行微調，深入理解語言的細微差別。 實用範圍：LLM可以在各個方面使用，從幫助內容創建到促進語言翻譯。

範例：使用LLM生成文字

為了進行說明，請考慮以下使用LLM生成文本示例的Python代碼片段：

from transformers import GPT2Tokenizer, GPT2LMHeadModel

# Input
prompt = "How long have Australia held on to the Ashes?" 
    
# Encode the inputs with GPT2 Tokenizer
tokenizer = GPT2Tokenizer.from_pretrained('gpt2')
inputs = tokenizer.encode(prompt, return_tensors='pt')  ## using pyTorch ('tf' to use TensorFlow)

# Generate outputs with gpt2 Model
model = GPT2LMHeadModel.from_pretrained('gpt2')
outputs = model.generate(inputs, max_length=25)

# Decode and print the result
result = tokenizer.decode(outputs[0], skip_special_tokens=True)
print("Generated text:", result)
1.
2.
3.
4.
5.
6.
7.
8.
9.
10.
11.
12.
13.
14.
15.
16.

這段代碼使用GPT-2（一種流行的LLM）初始化文本生成管道，並根據給定的提示生成文本。

二、檢索增強生成（RAG）：綜述和使用案例

RAG通過將GPT等模型的生成能力與檢索機制相結合，引入了一種新的方法。 該機制即時搜索文本資料庫（如維琪百科），以找到可用於通知模型回應的相關信息。 這種檢索和生成的結合使RAG能夠產生不僅與上下文相關，而且基於事實資訊的答案。

與傳統LLM相比，RAG的主要優勢之一是能夠通過參考最新來源提供更準確和具體的資訊。 這使得RAG對於信息的準確性和及時性至關重要的應用程式特別有用，例如在新聞報導或學術研究援助中。

然而，對外部資料庫的依賴意味著，如果資料庫不全面或檢索過程效率低下，RAG的性能可能會受到影響。 此外，將檢索機制集成到生成過程中會增加模型的複雜性，可能會增加所需的計算資源。

Core Aspects核心方面混合性質：RAG模型首先檢索相關文檔，然後利用此上下文進行知情生成。 動態知識訪問：與LLM不同，RAG模型可以利用最新或特定領域的數據，提供更強的通用性。 應用領域：RAG在需要外部知識的場景中大放異彩，如深度問答和事實內容生成。

示例：為資訊檢索實現RAG

以下是如何實現用於檢索和生成文字的基本RAG系統的簡化範例：

from transformers import RagTokenizer, RagRetriever, RagSequenceForGeneration 
 
# A sample query to ask the model
query = "How long have Australia held on to the Ashes?" 

tokenizer = RagTokenizer.from_pretrained("facebook/rag-sequence-nq")  ## Get the tokenizer from the pretrained model
tokenized_text = tokenizer(query, return_tensors='pt', max_length=100, truncatinotallow=True) ## Encode/Tokenize the query

# Find results with RAG-Sequence model (uncased model) using wiki_dpr dataset
retriever = RagRetriever.from_pretrained("facebook/rag-sequence-nq", index_name="exact", use_dummy_dataset=True) ## Uses a pretrained DPR dataset (wiki_dpr) https://huggingface.co/datasets/wiki_dpr
model = RagSequenceForGeneration.from_pretrained("facebook/rag-sequence-nq", retriever=retriever) 
model_generated_tokens = model.generate(input_ids=tokenized_text["input_ids"], max_new_tokens=1000) ## Find the relavant information from the dataset (tokens)

print(tokenizer.batch_decode(model_generated_tokens, skip_special_tokens=True)[0]) ## Decode the data to find the answer
1.
2.
3.
4.
5.
6.
7.
8.
9.
10.
11.
12.
13.
14.

該代碼利用Facebook的RAG模型來回答查詢，首先對輸入進行標記，然後根據即時檢索到的資訊生成回應。

三、LLM vs RAG

LLM和RAG之間的選擇取決於特定的任務要求。 以下是它們的組合方式：

1.知識可訪問性

LLM依賴於其預訓練語料庫，可能導致資訊過時。 RAG具有檢索功能，可確保訪問最新的數據。

2.實施複雜性

RAG模型由於其雙步驟性質，呈現出比LLM更高的複雜性和需要更多的資源。

3.靈活性和應用

這兩種型號都具有廣泛的應用潛力。 LLM是各種NLP任務的堅實基礎，而RAG模型在即時訪問外部詳細數據至關重要的情況下表現出色。

四、結論：駕馭LLM和RAG的取捨

LLM和RAG都代表著人工智慧理解和生成類人文本能力的重大進步。 在LLM和RAG模型之間進行選擇需要權衡NLP專案的獨特需求。 LLM提供了多功能性和通用性，使其適用於廣泛的應用程式和各種語言任務。 相比之下，RAG的優勢在於其提供準確、資訊豐富的回應的能力，在知識密集型任務中尤其有價值，非常適合於最新或特定詳細資訊的整合至關重要的情況。

隨著人工智慧的不斷發展，LLM和RAG的比較分析強調了為正確的任務選擇正確工具的重要性。 鼓勵開發人員和研究人員在其特定需求的背景下權衡這些技術的優勢和局限性，旨在充分利用人工智慧在創建智慧回應和上下文感知應用程式方面的潛力。