物理服務器網絡性能優化
2023.07.07
物理服務器網絡性能優化
在計算機的世界中，當網卡接收到數據包時，會產生CPU中斷，通知CPU有新的數據包，然後CPU調用中斷處理程序響應，把數據包從網卡拷貝到內存並進行處理。本文將從中斷分配優化和多網卡隊列設置角度分析服務器網卡性能提升。
#01、基礎知識
中斷本質是一種電信號，由硬件產生，並直接送到中斷控制器，然後再由中斷控制器向CPU發送信號。常見的中斷控制器有兩種：可編程中斷控制器（8259A）和高級可編程中斷控制器（APIC），8259A只適合單CPU的情況，高級可編程中斷控制器（APIC）更能充分發揮多CPU多核的SMP體系（Symmetric Multi-Processor）優勢，把中斷傳遞給每個CPU以便更好實現並行和性能提高。同時，Linux kernel 2.4以後的版本支持通過SMP IRQ Affinity實現把不同硬件中斷請求（IRQs）分配到特定的CPU上。
SMP IRQ affinity允許系統限製或者重新分配服務器的工作負載, 從而讓服務器更有效的工作。以網卡中斷為例，在沒有設置SMP IRQ affinity時， 所有網卡中斷都關聯到CPU0, 這導致了CPU0負載過高，而無法有效快速地處理網絡數據包，容易產生性能瓶頸。通過SMP IRQ affinity，把網卡多個中斷分配到多個CPU上，可以分散CPU壓力，提高數據處理速度。
圖1 SMP對稱多處理器結構
同時，Linux的irqbalance用於優化中斷分配，自動收集系統數據以分析使用模式，並依據系統負載狀況將工作狀態置於Performance Mode或Power-Save Mode。處於Performance Mode時irqbalance會將中斷盡可能均勻地分發給各個CPU以充分利用CPU多核，提升性能；處於Power-Save Mode時，irqbalance會將中斷集中分配給第一個CPU，以保證其它空閒CPU的睡眠時間，降低能耗。
正常情況下，一張網卡只有一個隊列用來接收網絡數據包時，同一時間數據包的處理只能由某個單核處理，不僅無法發揮多CPU多核優勢，而且大流量帶寬下必然造成數據包阻塞。因此，隨著技術的發展，引入了網卡多隊列機制，一張網卡支持多個隊列來接發收數據包，這樣同一時間多個隊列的數據包可以分散到不同的CPU進行處理。RSS（Receive Side Scaling）是網卡的硬件特性，實現多隊列，每個隊列對應一個中斷號，通過中斷綁定實現網卡中斷在多CPU多核上的分配。
但是在網絡壓力較大時，多隊列網卡I/O產生的中斷訪問非常多，此時隊列數量會對網卡數據包的處理效率產生較大影響。根據實踐經驗，當單個PCIe槽位上網卡的隊列總數等於該PCIe槽位所連接的CPU物理核數時，網卡I/O中斷的處理效率將會最高。例如，單顆CPU的物理核心數為32，每張網卡的端口為2，所以網卡的多隊列數應設置為16=32/2。
由於操作系統默認通過irqbalance服務來分派網卡隊列中的網絡數據包交由哪個CPU core處理，當irqbalance服務分配的處理網卡中斷的CPU core不是網卡PCIe槽位所連接的CPU die或CPU時，會觸發跨CPU die或CPU的core訪問，中斷處理效率會比較低。因此，在網卡隊列數設置完成後，我們還需要關閉irqbalance服務，將網卡隊列中斷號綁定到處理網卡中斷的CPU core上，從而減少跨CPU die或CPU訪問所帶來的額外開銷，進一步提升網絡處理性能。
#02、動手實踐
1、判斷當前系統環境是否支持多隊列網卡。
# lspci -vvv |
如果在Ethernet項中含有MSI-X: Enable+ Count=9 Masked-語句，則說明當前系統環境是支持多隊列網卡的，否則不支持。
2、查看網卡是否支持多隊列，以及最多支持多少、當前開啟多少。
# ethtool -l eth0 ## 查看 eth0 多隊列情況 |
3、設置網卡當前使用多隊列。
# ethtool -L eth0 combined <N> ## 針對eth0 網卡設置多隊列，N為要設置的隊列數 |
4、確保多隊列設置確實已生效，可以查看文件。
# ls /sys/class/net/eth0/queues/ ## 確認rx數量等於設定值 rx-0 rx-2 rx-4 rx-6 tx-0 tx-2 tx-4 tx-6 |
5、查看系統給網卡端口分配的中斷號。
# cat /proc/interrupts | grep –i eth0 |
6、主動關閉irqbalance進程。
# service irqbalance stop |
7、更新文件，設置中斷綁定。
通過修改
或
可以設置中斷綁定，其中{IRQ_ID}是相應的中斷號。smp_affinity內容是16進制，smp_affinity_list內容是10進制，兩個文件相通，修改一個之後另一個相應改變。
#03、經驗總結
1、可以通過手動改變smp_affinity文件中的值來將IRQ綁定到指定的CPU核心上，或者啟用irqbalance服務來自動綁定IRQ到CPU核心上。針對多CPU多核的SMP體系，一般默認啟用irqbalance簡化配置並保障性能。
2、對於文件服務器、高流量Web服務器這樣的應用來說，把不同的網卡IRQ均衡綁定到不同的CPU上將會減輕某個CPU的負擔，提高多個CPU整體處理中斷的能力。
3、對於數據庫服務器這樣的應用來說，把磁盤控制器綁到一個CPU、把網卡綁定到另一個CPU將會提高數據庫的響應時間實現優化性能。
綜上所述，性能優化是一個過程而不是結果，需要大量的測試、觀察、驗證和改進。因此，應用系統需要合理地根據生產環境配置和應用特點來平衡IRQ中斷，從而不斷提高系統的整體吞吐能力和性能。