MLOps模型部署的三種策略：批次、即時、邊緣運算
2024.06.18
机器学习运维（MLOps）是一组用于自动化和简化机器学习（ML）工作流程和部署的实践。所选择的部署策略可以显著影响系统的性能和效用。所以需要根据用例和需求，采用不同的部署策略。在这篇文章中，我们将探讨三种常见的模型部署策略:批处理、实时和边缘计算。
批次處理
批次部署適合於不需要即時決策的場景，主要需要在指定的時間間隔處理大量資料。模型不是不斷更新或對新數據作出反應，而是在一段時間內收集的一批數據上運行。此方法涉及在預定時間處理大塊資料。常見的用例包括夜間風險評估、客戶細分或預測性維護等。這種方法非常適合於即時洞察不重要的應用程式。
優點：
批次可以安排在非高峰時間，優化計算資源和降低成本。與即時系統相比，更容易實現和管理，因為它不需要持續的資料攝取和即時回應能力。
能夠處理大型資料集，使其成為資料倉儲、報表和離線分析等應用程式的理想選擇。
缺點：
数据收集和结果之间存在显著延迟，可能不适用于时间敏感的应用程序。
用例：
詐欺偵測:透過分析歷史資料來識別詐欺交易。
預測性維護:根據收集資料中觀察到的模式來安排維護任務。
市場分析:分析歷史銷售數據，從中獲得見解和趨勢。
範例：
例如我們想要分析電子商務平台的客戶評論的情緒。使用預先訓練的情緒分析模型，並定期將其應用於一批評論。
import pandas as pd
from transformers import pipeline
# Load pre-trained sentiment analysis model
sentiment_pipeline = pipeline("text-classification", model="distilbert-base-uncased-finetuned-sst-2-english")
# Load customer reviews data
reviews_data = pd.read_csv("customer_reviews.csv")
# Perform sentiment analysis in batches
batch_size = 1000
for i in range(0, len(reviews_data), batch_size):
batch_reviews = reviews_data["review_text"][i:i+batch_size].tolist()
batch_sentiments = sentiment_pipeline(batch_reviews)
# Process and store batch results
for review, sentiment in zip(batch_reviews, batch_sentiments):
print(f"Review: {review}\nSentiment: {sentiment['label']}\n")- 1.
- 2.
- 3.
- 4.
- 5.
- 6.
- 7.
- 8.
- 9.
- 10.
- 11.
- 12.
- 13.
- 14.
- 15.
- 16.
- 17.
- 18.
我們從CSV文件中讀取客戶評論數據，並以1000條為一批處理這些評論。對於每個批次，我們使用情緒分析流程來預測每個評論的情緒(正面或負面)，然後根據需要處理和儲存結果。
實際的輸出將取決於customer_reviews.csv檔案的內容和預先訓練的情緒分析模型的表現。
即時處理
即時部署在資料到達時立即處理，從而實現即時操作。這種方法對於需要即時資料處理和決策的應用程式是必不可少的。即時部署在處理資料並幾乎即時提供輸出時，適用於需要立即回應的應用程序，如詐欺偵測、動態定價和即時個人化等。
優點：
提供即時回饋，對時間敏感的應用至關重要，支援在毫秒到秒之間做出決策。提供動態和響應的交互，支援與最終用戶直接交互的應用程序，提供無可感知延遲的響應，可以提高用戶黏性。能夠快速回應新出現的趨勢或問題，提高營運效率和風險管理。
缺點：
需要強大且可擴展的基礎設施來處理可能的高吞吐量和低延遲需求。並且確保運行時間和性能可能既具挑戰性又成本高昂。
用例：
客戶支援:聊天機器人和虛擬助理為用戶查詢提供即時回應。
金融交易:基於即時市場數據做出瞬間決策的演算法交易系統。
智慧城市:利用即時數據進行即時交通管理和公共安全監控。
範例：
我們希望對金融交易執行即時詐欺偵測，需要部署一個預先訓練的詐欺偵測模型，並將其公開為web服務。
import tensorflow as tf
from tensorflow.keras.models import load_model
import numpy as np
from flask import Flask, request, jsonify
# Load pre-trained fraud detection model
model = load_model("fraud_detection_model.h5")
# Create Flask app
app = Flask(__name__)
@app.route('/detect_fraud', methods=['POST'])
def detect_fraud():
data = request.get_json()
transaction_data = np.array(data['transaction_data'])
prediction = model.predict(transaction_data.reshape(1, -1))
is_fraud = bool(prediction[0][0])
return jsonify({'is_fraud': is_fraud})
if __name__ == '__main__':
app.run(host='0.0.0.0', port=8080)- 1.
- 2.
- 3.
- 4.
- 5.
- 6.
- 7.
- 8.
- 9.
- 10.
- 11.
- 12.
- 13.
- 14.
- 15.
- 16.
- 17.
- 18.
- 19.
- 20.
- 21.
例如使用TensorFlow載入一個預先訓練的詐欺偵測模型。然後我們建立一個Flask web應用程序，並定義一個endpoint /detect_fraud，它接受包含交易細節的JSON資料。對於每個傳入請求，資料經過預處理等流程，輸入模型並傳回一個JSON回應，判斷此資料是否具有詐欺性。
為了增加服務的回應速度，一般情況下都是使用，使用Docker這樣的容器化工具，並將容器部署到雲端平台或專用伺服器上，並且可以進行自動化的資源調度和擴充。
邊緣運算
邊緣部署涉及在網路邊緣的設備上運行機器學習模型，更接近資料生成的位置。這種方法在本地處理資料而不是將資料傳送到集中式伺服器來減少延遲和頻寬使用。這種方法用於在將資料傳送到中心伺服器太慢或過於敏感的情況下，如自動駕駛汽車、智慧攝影機等。
優點：
在本地處理數據，減少了向中心伺服器回傳數據的需要，節省了頻寬，並降低了成本。 。透過在來源附近處理資料來最大限度地減少延遲，非常適合需要快速回應時間的應用程式。
獨立於網路連線運行，即使在遠端或不穩定的環境中也能確保持續的功能。並且敏感資料在設備上存儲，最小化暴露和合規風險。
缺點：
邊緣設備的處理能力通常低於伺服器環境，這可能限制了部署模型的複雜性。並且在眾多邊緣設備上部署和更新模型可能在技術上具有挑戰性的，尤其是版本的管理。
用例：
工業物聯網:對製造工廠的機械進行即時監控。
醫療保健:穿戴式裝置分析健康指標並向使用者提供即時回饋。
自動駕駛汽車:車載感測器數據處理，用於即時導航和決策。
我們以最簡單的在行動裝置上執行即時物件偵測作為範例。使用TensorFlow Lite框架在Android設備上優化和部署預先訓練的物件偵測模型。
import tflite_runtime.interpreter as tflite
import cv2
import numpy as np
# Load TensorFlow Lite model
interpreter = tflite.Interpreter(model_path="object_detection_model.tflite")
interpreter.allocate_tensors()
# Get input and output tensors
input_details = interpreter.get_input_details()
output_details = interpreter.get_output_details()
# Function to perform object detection on an image
def detect_objects(image):
# Preprocess input image
input_data = preprocess_image(image)
# Set input tensor
interpreter.set_tensor(input_details[0]['index'], input_data)
# Run inference
interpreter.invoke()
# Get output tensor
output_data = interpreter.get_tensor(output_details[0]['index'])
# Postprocess output and return detected objects
return postprocess_output(output_data)
# Main loop for capturing and processing camera frames
cap = cv2.VideoCapture(0)
while True:
ret, frame = cap.read()
if ret:
objects = detect_objects(frame)
# Draw bounding boxes and labels on the frame
for obj in objects:
cv2.rectangle(frame, (obj['bbox'][0], obj['bbox'][1]), (obj['bbox'][2], obj['bbox'][3]), (0, 255, 0), 2)
cv2.putText(frame, obj['class'], (obj['bbox'][0], obj['bbox'][1] - 10), cv2.FONT_HERSHEY_SIMPLEX, 0.5, (36, 255, 12), 2)
cv2.imshow('Object Detection', frame)
if cv2.waitKey(1) & 0xFF == ord('q'):
break
cap.release()
cv2.destroyAllWindows()- 1.
- 2.
- 3.
- 4.
- 5.
- 6.
- 7.
- 8.
- 9.
- 10.
- 11.
- 12.
- 13.
- 14.
- 15.
- 16.
- 17.
- 18.
- 19.
- 20.
- 21.
- 22.
- 23.
- 24.
- 25.
- 26.
- 27.
- 28.
- 29.
- 30.
- 31.
- 32.
- 33.
- 34.
- 35.
- 36.
- 37.
- 38.
- 39.
- 40.
- 41.
- 42.
- 43.
- 44.
- 45.
- 46.
- 47.
以TensorFlow Lite格式載入一個預先訓練的物件偵測模型，模型針對行動和嵌入式設備進行了最佳化。
在主循環中，不斷地從裝置的相機中捕獲幀，將它們傳遞給detect_objects函數，並為檢測到的物件在幀上繪製邊界框和標籤。處理後的幀然後顯示在設備的螢幕上。邊框將以綠色繪製，物件標籤將顯示在每個邊框的左上角。
這些程式碼可以使用各自的TensorFlow Lite api和函式庫整合到Android或iOS應用程式中。
選擇正確的部署策略
選擇正確的機器學習模型部署策略是確保高效率和成本效益的關鍵。以下是一些決定部署策略時需要考慮的主要因素：
1. 響應時間需求
- 即時部署：如果應用程式需要即時回饋，如線上推薦系統、詐欺偵測或自動交易系統。
- 批次部署：如果處理的任務可以容忍延遲，例如資料倉儲的夜間批次處理、大規模報告產生。
2. 資料隱私和安全性
- 邊緣部署：當資料隱私是重要因素，或法規要求資料不得離開本地設備時，邊緣部署是理想選擇。
- 中心化部署：如果資料的隱私性較低或可以透過安全措施在雲端處理，則可以選擇中心化部署。
3. 可用資源和基礎設施
- 資源有限的環境：邊緣設備通常運算能力有限，適合執行簡化或輕量級的模型。
- 資源豐富的環境：具有強大運算資源的雲端環境適合即時或大規模批次部署。
4. 成本考慮
- 成本敏感：批次可以減少對即時運算資源的需求，從而降低成本。
- 投資回報：即時系統雖然成本高，但可能會因反應速度快而帶來更高的投資回報。
5. 維護和可擴展性
- 簡單維護：批次系統相對容易維護，因為它們的工作負載是預測的。
- 需要高可擴展性：即時系統需要能夠應對突發的高流量，需要更複雜的管理和自動擴展能力。
6. 使用者體驗
- 直接與使用者互動：需要即時回應來提升使用者體驗的應用，如行動應用中的個人化功能，更適合即時部羅。
- 後台處理：使用者不直接感受到處理延遲的場景，如資料分析和報告，批次處理更為合適。
結合上述因素，你可以根據特定的應用場景和業務需求來選擇最適合的部署策略。這有助於優化效能，控製成本，並提高整體效率。 。
總結
了解批次、即時和邊緣部署策略的差異和應用程式是優化MLOps的基礎。每種方法都提供了針對特定用例量身定制的獨特優勢，透過評估應用程式的需求和約束，可以選擇最符合目標的部署策略，為成功的AI整合和利用鋪平道路。