DeepFlow：利用 eBPF 實(shí)現(xiàn) AI 大模型訓(xùn)練與推理的全棧零侵?jǐn)_可觀測性

摘要： 在大模型訓(xùn)練與推理全面進(jìn)入"重算力、強(qiáng)分布式、異構(gòu)硬件"時(shí)代，DeepFlow 基于 eBPF 提供零侵?jǐn)_、全棧、可持續(xù)的可觀測性能力，覆蓋從 Python 代碼到 GPU / RDMA 網(wǎng)絡(luò)，解決訓(xùn)練低效、推理體驗(yàn)不可控與異構(gòu)智算黑盒三大核心問題。

關(guān)鍵詞：大模型可觀測性、TTFT / TPOT 監(jiān)控、零侵?jǐn)_可觀測性、異構(gòu)智算平臺

01  |   AI 大模型時(shí)代的性能挑戰(zhàn)

大型語言模型（LLM）已成為技術(shù)變革的核心驅(qū)動力，深刻地改變著各行各業(yè)。然而，其復(fù)雜的訓(xùn)練和推理過程給企業(yè)的基礎(chǔ)設(shè)施帶來了前所未有的性能、效率和穩(wěn)定性挑戰(zhàn)。無論是動輒消耗數(shù)萬張 GPU、持續(xù)數(shù)月的模型訓(xùn)練，還是保障億萬用戶體驗(yàn)的實(shí)時(shí)推理服務(wù)，都對底層的計(jì)算、網(wǎng)絡(luò)和存儲資源提出了極致要求。我們有必要從業(yè)務(wù)全生命周期的視角，重新審視這些隱蔽而棘手的痛點(diǎn)。

▌ 訓(xùn)練階段：昂貴資源與低效產(chǎn)出的博弈

訓(xùn)練一個(gè)頂級模型是一項(xiàng)浩大的工程，但業(yè)界的數(shù)據(jù)揭示了一個(gè)殘酷的現(xiàn)實(shí)：高昂的資源投入往往伴隨著令人擔(dān)憂的低效與不穩(wěn)。

以 GPT-4 為例，其訓(xùn)練過程調(diào)用了約 25,000 張 A100 GPU，耗時(shí)近 100 天；而 Meta 最新的 Llama-3.1 405B 模型，也動用了 16,000 張 H100 GPU 持續(xù)訓(xùn)練了 54 天 。然而，當(dāng)我們用 MFU（Model FLOPs Utilization）這一指標(biāo)來審視算力轉(zhuǎn)化時(shí)，結(jié)果卻不盡如人意—— GPT-4 的有效利用率僅為 32%-36%，這意味著超過六成的昂貴算力在等待數(shù)據(jù)或通信瓶頸中被白白浪費(fèi)。

更令人頭疼的是頻發(fā)的硬件故障。在 Llama 3 405B 的預(yù)訓(xùn)練觀察中，我們發(fā)現(xiàn) GPU 的年化故障率高達(dá) 6% 至 11%，其中硬件問題占據(jù)了訓(xùn)練中斷原因的 78% 。無論是 GPU 本身的故障（占比 30.1%）還是 HBM3 顯存問題（占比 17.2%），這些不可控因素不僅延長了訓(xùn)練周期，更讓研發(fā)成本和進(jìn)度變得難以預(yù)測 。這迫切要求我們具備一種能夠深入底層、全棧透視的觀測能力。

▌ 推理階段：用戶體驗(yàn)與架構(gòu)黑盒的矛盾

當(dāng)模型完成訓(xùn)練并部署為推理服務(wù)時(shí)，挑戰(zhàn)從資源效率轉(zhuǎn)移到了對用戶體驗(yàn)的極致追求上。

• 分布式推理的復(fù)雜性：對于千億級參數(shù)的龐大模型，單張 GPU 無法承載，必須采用分布式推理，將模型切分到多個(gè)節(jié)點(diǎn)上。這引入了復(fù)雜的分布式調(diào)用鏈，一個(gè)用戶請求可能觸發(fā) API 網(wǎng)關(guān)、推理引擎、向量數(shù)據(jù)庫、緩存系統(tǒng)等多個(gè)組件之間的交互，使得追蹤性能瓶頸變得異常困難。
• 關(guān)鍵性能指標(biāo)（TTFT/TPOT）的觀測盲區(qū)： 衡量 LLM 服務(wù)用戶體驗(yàn)的核心指標(biāo)是 TTFT（Time To First Token，首字響應(yīng)時(shí)間）和 TPOT（Time Per Output Token，每 Token 輸出時(shí)間）。但在復(fù)雜的分布式系統(tǒng)中，由于調(diào)用鏈路長、技術(shù)棧異構(gòu)，要實(shí)現(xiàn)對這兩個(gè)指標(biāo)的端到端、全鏈路追蹤，傳統(tǒng)監(jiān)控工具存在明顯的觀測盲區(qū)。
• 新興優(yōu)化技術(shù)的黑盒化：為了降本增效，DeepSeek API 率先采用的 MLA（Multi-head Latent Attention）架構(gòu) 和 磁盤緩存技術(shù)，極大地降低了推理成本，但也讓系統(tǒng)內(nèi)部變成了一個(gè)難以窺探的"黑盒"，傳統(tǒng)的監(jiān)控方法無法洞察其緩存命中率、磁盤 I/O 耗時(shí)等關(guān)鍵性能表現(xiàn)，給性能優(yōu)化帶來了新的挑戰(zhàn)。這種技術(shù)抽象層的加厚，意味著如果我們不能穿透表象直達(dá)底層的 I/O 與基本計(jì)算單元，將徹底失去對性能的掌控力。

▌ 智算平臺：異構(gòu)硬件的性能黑盒

隨著 AI 芯片國產(chǎn)化進(jìn)程的加速，許多企業(yè)開始構(gòu)建混合使用不同供應(yīng)商芯片的"異構(gòu)智算平臺"，例如同時(shí)部署 NVIDIA、華為昇騰、昆侖芯等 AI 芯片。這種異構(gòu)環(huán)境雖然提供了更靈活的選擇，但也帶來了嚴(yán)峻的性能評估與優(yōu)化挑戰(zhàn)。

由于不同芯片的架構(gòu)、驅(qū)動和配套軟件各不相同，它們的性能表現(xiàn)往往像一個(gè)"黑盒"。企業(yè)迫切需要回答：對于特定的 AI 業(yè)務(wù)，哪款芯片的性價(jià)比最高？不同芯片之間應(yīng)該如何配比以實(shí)現(xiàn)資源利用最大化？如何針對性地進(jìn)行性能調(diào)優(yōu)？要回答這些問題，必須從 AI 業(yè)務(wù)的視角出發(fā)，建立一個(gè)中立、統(tǒng)一、全棧的可觀測性系統(tǒng)，以客觀的數(shù)據(jù)支撐芯片選型、資源配比和性能優(yōu)化決策。

然而，現(xiàn)有的可觀測性工具在應(yīng)對上述訓(xùn)練、推理和異構(gòu)平臺挑戰(zhàn)時(shí)，往往顯得力不從心，存在著各種局限性。

02  |   傳統(tǒng)可觀測性工具的局限性

盡管市場上存在多種性能分析和追蹤工具，但它們在設(shè)計(jì)之初并未完全適應(yīng) AI 大模型的獨(dú)特需求。這些工具普遍存在侵入性強(qiáng)、上下文缺失和性能開銷大等問題，導(dǎo)致它們無法有效定位和解決大模型應(yīng)用中的性能瓶頸，難以滿足企業(yè)對高效、穩(wěn)定 AI 基礎(chǔ)設(shè)施的期望。

▌ 性能剖析工具：侵入性強(qiáng)且上下文缺失

性能剖析（Profiling）是定位代碼瓶頸的關(guān)鍵手段，但主流的剖析工具存在明顯短板。

工具名稱	核心局限性
NVIDIA Nsight	深入 GPU 底層細(xì)節(jié)，但缺少 CPU 側(cè)的完整上下文，無法將 GPU 的活動與上層 Python 代碼調(diào)用棧有效關(guān)聯(lián)，對應(yīng)用開發(fā)者不友好。
PyTorch Profiler	需要開發(fā)者手動修改代碼、重啟進(jìn)程，侵入性強(qiáng)；同時(shí)，其自身會帶來較大的性能影響，并且觀測能力僅限于 PyTorch 框架內(nèi)部。

這些工具要么過于底層、脫離業(yè)務(wù)邏輯，要么需要高昂的人工和性能成本，無法實(shí)現(xiàn)對生產(chǎn)環(huán)境的"零侵?jǐn)_"持續(xù)剖析。

▌ 分布式追蹤工具：依賴手動插樁

對于分布式推理服務(wù)的性能追蹤，當(dāng)前主流的 LLM 應(yīng)用追蹤工具，如 OpenLLMetry、LangSmith 等方案依賴代碼層手動插樁，這在快速迭代的 LLM 應(yīng)用中無異于沙上建塔。新部署一個(gè) LoRA 適配器或切換 vLLM 版本，都可能破壞既有插樁邏輯；跨語言調(diào)用（如 Python 服務(wù)調(diào)用 Rust 編寫的推理引擎）更是形成追蹤盲區(qū)。

更深層的矛盾在于，這類工具無法感知基礎(chǔ)設(shè)施層的隱形開銷——一次 DNS 解析超時(shí)或 TLS 證書驗(yàn)證延遲，在應(yīng)用日志中僅表現(xiàn)為"偶然慢請求"，卻可能正是拖垮 TTFT 的罪魁禍?zhǔn)住＿@種"只能看見自己埋的點(diǎn)"的觀測模式，在分布式推理的混沌系統(tǒng)中，注定難以為繼。

綜上所述，市場迫切需要一種無需修改代碼、能夠無縫覆蓋從 CPU 到 GPU 全技術(shù)棧、并能自動關(guān)聯(lián)分布式調(diào)用的新型可觀測性解決方案，以應(yīng)對 AI 大模型帶來的復(fù)雜挑戰(zhàn)。

03  |   DeepFlow 核心能力：基于 eBPF 的零侵?jǐn)_全棧可觀測性

當(dāng)傳統(tǒng)方法陷入僵局，eBPF 技術(shù)為 AI 基礎(chǔ)設(shè)施觀測開辟了第三條道路。DeepFlow 并非簡單地將 eBPF 作為數(shù)據(jù)采集插件，而是基于其"零侵?jǐn)_、熱加載、高性能、全棧覆蓋"的本質(zhì)特性，重構(gòu)了從數(shù)據(jù)關(guān)聯(lián)到分析呈現(xiàn)的完整鏈路。以"零侵?jǐn)_"和"全棧覆蓋"為核心理念，為 AI 大模型的訓(xùn)練與推理提供了前所未有的深度洞察力。

▌ 全棧持續(xù)性能剖析：從 Python 到 GPU 的無縫敘事

• 剖析廣度：完整覆蓋從 Python 業(yè)務(wù)函數(shù)、vLLM/PyTorch 等框架函數(shù)，到 C/C++ 庫函數(shù)、CUDA API 乃至操作系統(tǒng)內(nèi)核函數(shù)的完整調(diào)用棧。
• 剖析類型：能夠清晰地區(qū)分并量化不同類型的資源消耗，包括 On-CPU (CPU 運(yùn)算耗時(shí))、On-GPU (GPU 運(yùn)算耗時(shí))、Off-CPU (CPU 等待耗時(shí))，以及顯存的 >mem-alloc (累計(jì)申請量) 和 mem-inuse (實(shí)時(shí)使用量)。
• 問題定位：通過直觀的火焰圖等可視化視圖，能夠精準(zhǔn)回答關(guān)鍵性能問題，例如"哪個(gè)函數(shù)調(diào)用棧在 CPU 或 GPU 上耗時(shí)最長？"以及"為何會出現(xiàn)顯存 OOM？是哪個(gè)函數(shù)調(diào)用棧申請或持有的顯存最多？"

▌ 分布式追蹤：穿透黑盒的端到端關(guān)聯(lián)

利用 eBPF 和 Wasm 技術(shù)，DeepFlow 能夠自動追蹤分布式系統(tǒng)中的每一次應(yīng)用調(diào)用（如 HTTP, RPC, SQL 等），并構(gòu)建完整的調(diào)用鏈，全程無需任何代碼修改或手動插樁。

• 動捕獲 LLM 關(guān)鍵指標(biāo)：無需任何配置，即可自動計(jì)算 LLM 推理服務(wù)中端到端的 TTFT 和 TPOT，精準(zhǔn)衡量用戶體驗(yàn)。
• 穿透基礎(chǔ)設(shè)施黑盒：能夠自動追蹤并量化過去難以觀測的底層基礎(chǔ)設(shè)施操作耗時(shí)，如 DNS 解析、TCP 建連、TLS 握手、網(wǎng)絡(luò)傳輸、磁盤 I/O 等，將應(yīng)用性能問題與基礎(chǔ)設(shè)施瓶頸無縫關(guān)聯(lián)。
• 追蹤新興架構(gòu)：DeepFlow 具備強(qiáng)大的適應(yīng)能力，能夠追蹤新興的 LLM 優(yōu)化架構(gòu)。例如，它可以零侵?jǐn)_地追蹤 DeepSeek API 所采用的 Disk/OSS KV Cache 的讀寫性能，量化緩存帶來的實(shí)際收益。

▌ 高性能網(wǎng)絡(luò)剖析 (RDMA Profiling)

RDMA（遠(yuǎn)程直接內(nèi)存訪問）網(wǎng)絡(luò)是 AI 訓(xùn)練集群中實(shí)現(xiàn)高性能 GPU 間通信的關(guān)鍵，但其性能通常是一個(gè)"黑盒"。DeepFlow 通過 eBPF 技術(shù)，首次實(shí)現(xiàn)了對 RDMA 通信的流粒度觀測。它能夠提供丟包率、時(shí)延、吞吐量等關(guān)鍵網(wǎng)絡(luò)性能指標(biāo)，幫助運(yùn)維人員快速定位網(wǎng)絡(luò)擁塞或抖動問題，保障訓(xùn)練任務(wù)的穩(wěn)定高效運(yùn)行。通過將 RDMA 網(wǎng)絡(luò)從'黑盒'變?yōu)?白盒'，企業(yè)不僅能快速解決偶發(fā)的訓(xùn)練性能抖動，更能為未來更大規(guī)模集群的規(guī)劃和網(wǎng)絡(luò)拓?fù)湓O(shè)計(jì)提供決定性的數(shù)據(jù)依據(jù)，避免代價(jià)高昂的架構(gòu)性錯(cuò)誤。

04  |   商業(yè)價(jià)值與實(shí)踐案例

▌ 案例一：某頭部券商——構(gòu)建異構(gòu)智算平臺的可觀測性

DeepFlow 不僅提供了一系列先進(jìn)的技術(shù)能力，更重要的是，它為企業(yè)帶來了實(shí)實(shí)在在的商業(yè)價(jià)值，包括顯著提升寶貴的 GPU 資源利用率、百倍加速故障排查效率，并為技術(shù)選型和業(yè)務(wù)創(chuàng)新提供堅(jiān)實(shí)的數(shù)據(jù)支撐。

• 背景與挑戰(zhàn)：某頭部券商為了推動大模型在金融領(lǐng)域的應(yīng)用，構(gòu)建了一個(gè)包含 NVIDIA（T4/A100）和華為昇騰（910B）芯片的異構(gòu)智算資源池，用于模型的微調(diào)訓(xùn)練和推理服務(wù)。他們面臨的核心挑戰(zhàn)是如何在一個(gè)統(tǒng)一的平臺上，對不同硬件、不同應(yīng)用進(jìn)行無差別的性能監(jiān)控和瓶頸分析。
• 方案價(jià)值：DeepFlow 提供了一個(gè)"零侵?jǐn)_、全棧、兼容異構(gòu)"的統(tǒng)一可觀測平臺，完美解決了客戶的痛點(diǎn)。
  • 統(tǒng)一數(shù)據(jù)采集：在不修改任何訓(xùn)練和推理應(yīng)用代碼的情況下，從應(yīng)用、云原生基礎(chǔ)設(shè)施到 CPU/GPU 硬件層采集全鏈路數(shù)據(jù)，并統(tǒng)一標(biāo)準(zhǔn)化。
  • 賦能國產(chǎn)化：方案深度適配國產(chǎn)化芯片與操作系統(tǒng)滿足信創(chuàng)需求，實(shí)現(xiàn)數(shù)千節(jié)點(diǎn)集群的可觀測性管理，為信創(chuàng)硬件選型提供數(shù)據(jù)支撐
  • 精準(zhǔn)定位：提供全棧函數(shù)級性能剖析與分布式追蹤，精準(zhǔn)定位從業(yè)務(wù)代碼到 CUDA 內(nèi)核的算力瓶頸，為后續(xù)的性能優(yōu)化指明了方向。
  • 智能排障閉環(huán)：集成 LLM 構(gòu)建可觀測智能體，實(shí)現(xiàn)分鐘級巡檢、秒級診斷與自動化決策。
• 實(shí)踐成效：故障定位時(shí)間從小時(shí)級縮短至 5 分鐘內(nèi)，分析診斷等待時(shí)間節(jié)省約 80%，并大幅降低了對專家經(jīng)驗(yàn)的依賴。在 DeepSeek API 等場景中，通過追蹤分析助力推理時(shí)延降低 50% 以上，有效保障了 GPU 業(yè)務(wù)的連續(xù)性，提升了運(yùn)維效率和系統(tǒng)可觀測性水平。

來自客戶實(shí)踐案例 《某證券可觀測性再升級！DeepFlow 排障智能體和智算可觀測性建設(shè)實(shí)踐》

▌ 案例二：中國移動——零侵?jǐn)_采集 LLM 服務(wù)核心業(yè)務(wù)指標(biāo)

• 背景與挑戰(zhàn)：中國移動某部門在部署 LLM 服務(wù)時(shí)，需要采集一系列核心業(yè)務(wù)指標(biāo)以評估服務(wù)質(zhì)量和用戶體驗(yàn)，包括 TTFT、TPOT、Token 產(chǎn)出率、并發(fā)量 等。傳統(tǒng)方法需要在業(yè)務(wù)代碼中進(jìn)行大量插樁，費(fèi)時(shí)費(fèi)力。
• 實(shí)現(xiàn)方式：
  • 開箱即用的基礎(chǔ)可觀測：利用 eBPF 技術(shù)，在零代碼侵?jǐn)_的前提下，自動為客服大模型提供了全景服務(wù)拓?fù)洹⒇S富的性能指標(biāo)以及全棧調(diào)用鏈追蹤。
  • 零侵?jǐn)_的業(yè)務(wù)指標(biāo)采集：針對 TTFT、TPOT 等特有指標(biāo)，利用 DeepFlow 的 Wasm 插件機(jī),直接從網(wǎng)絡(luò)流量中實(shí)時(shí)計(jì)算并提取業(yè)務(wù)指標(biāo)。
  • 統(tǒng)一標(biāo)準(zhǔn)的性能度量：該方案為跨多個(gè)云和基礎(chǔ)大模型的復(fù)雜調(diào)用，建立了統(tǒng)一的關(guān)鍵性能指標(biāo)采集與輸出標(biāo)準(zhǔn)，解決了多團(tuán)隊(duì)協(xié)作下的觀測數(shù)據(jù)統(tǒng)一難題。
• 實(shí)踐成效：
  • 客服大模型上線后立即獲得了開箱即用的全景拓?fù)渑c調(diào)用鏈，并能同時(shí)監(jiān)控從基礎(chǔ)設(shè)施、網(wǎng)絡(luò)、應(yīng)用到核心業(yè)務(wù)（TTFT/TPOT）的全維度指標(biāo)。
  • 團(tuán)隊(duì)直觀評估與大模型用戶體驗(yàn)直接相關(guān)的性能表現(xiàn)，為后續(xù)的性能瓶頸定位、資源優(yōu)化及體驗(yàn)提升提供了堅(jiān)實(shí)的數(shù)據(jù)支撐。

來自社區(qū)用戶實(shí)踐案例 《深度解析 DeepFlow 如何采集大模型服務(wù)的業(yè)務(wù)指標(biāo)》

05  |   結(jié)語

在 AI 大模型技術(shù)浪潮席卷全球的今天，算力的效率和穩(wěn)定性已成為企業(yè)構(gòu)筑核心競爭力的關(guān)鍵。DeepFlow 正通過革命性的 eBPF 技術(shù)，重新定義 AI 時(shí)代的可觀測性。幫助企業(yè)在復(fù)雜的 LLM 應(yīng)用場景中，有效提升 GPU 利用率，將算力價(jià)值最大化；百倍加速故障排查效率，保障業(yè)務(wù)的連續(xù)性和穩(wěn)定性；并為異構(gòu)智算平臺的評估和優(yōu)化提供客觀依據(jù)，從而在激烈的市場競爭中贏得先機(jī)。

06  |   關(guān)于云杉網(wǎng)絡(luò)

云杉網(wǎng)絡(luò)（YUNSHAN Networks）是一家專注于可觀測性領(lǐng)域的新一代基礎(chǔ)軟件公司，致力于通過原創(chuàng)性技術(shù)解決大規(guī)模企業(yè) IT 系統(tǒng)在云原生和 AI 時(shí)代面臨的穩(wěn)定性與效率難題。核心產(chǎn)品為 DeepFlow 可觀測性平臺和運(yùn)維智能體，基于首創(chuàng)的零侵?jǐn)_數(shù)據(jù)采集技術(shù)、思維鏈狀態(tài)機(jī)、自適應(yīng)感知等一系列技術(shù)創(chuàng)新，為全球企業(yè)提供最先進(jìn)的一體化可觀測性解決方案，助力其在數(shù)字化和智能化轉(zhuǎn)型中乘風(fēng)破浪。