嘉為藍鯨LLMOps平臺：攜手DeepSeek助力一體化運維升級
一、背景
蛇年伊始，DeepSeek憑借其卓越表現火爆出圈，讓AI大模型瞬間成為街頭巷尾熱議的焦點，也讓大眾重新燃起對AGI（通用人工智能）“平民化”的信心，DeepSeek通過先進的模型架構，帶來的高效率與低成本優勢，加快了應用場景的百花齊放。
嘉為藍鯨早在23年初就接入GPT等大模型在運維領域中孵化應用場景，而到本次DeepSeek評測和應用，又增加了更多實踐。那怎么用好DeepSeek服務于運維，我們在設計上始終秉持智能化運維進程里面的兩個設計原則：平臺化和場景化。
平臺化：不只是提供工具，而是賦能工具的構建能力，無論從數據開發過程、機器學習模型開發過程，還是大模型智能體開發過程，提供的是兼容各類場景的開發平臺；
場景化：數據、AI不能脫離運維場景進行，如果沒有實用化、工程化的落地，那么數據AI的應用也只是圖個新鮮，因而所有的能力都會以能力調用的方式集成到產品中。
二、LLMOps平臺+DeepSeek優勢
嘉為藍鯨運維大模型開發平臺（簡稱LLMOps平臺）致力于為運維全生命周期提供卓越的運維工具支持，為業務通用AI場景提供工具支持，為滿足不同業務場景需求提供自定義開發擴展能力。
1、LLMOps平臺作為運維大模型開發平臺，分為兩個模塊
（1）大模型服務模塊
提供跨公私域多種大語言模型接入（內置60多種常見模型適配器，也包含DeepSeek各類尺寸的接入），為上層工具和應用提供統一的使用和運維接口，并提供權限、審計、監控、配額限流等管理能力，LLM 資源管理則提供了 AI 場景建設過程中用到的各種資源、工具的支持。包括知識庫管理、工具管理、智能 Agent 管理、Prompt 管理等。
（2）大模型開發模塊
提供了LLM Agent Framework ，這是一個 LLM 智能 Agent 應用開發框架，提供單 Agent 智能代理與基于 Graph 編排的多 Agent 智能代碼構建支持，使用 Graph 組合 Agent，Chain，Retriever 等各類子組件，編排業務流程，解決復雜多變的業務問題，同時最大程度保留可復用性。
作為整個嘉為藍鯨一體化運維體系的一部分，與一體化運維系統之間通過功能調用，以及數據和知識接入，形成有機互動，實現更為豐富的場景化應用。
2、在運維領域應用，我們評測了各個國內外大模型的適用場景和落地效果，DeepSeek相比其他大模型，的確讓人眼前一亮
（1）算力效率革新
DeepSeek通過多模態深度Transformer架構，以及動態稀疏激活機制，實現了萬億參數級的高效推理，能對文字、代碼、數學符號等不同類型文本進行統一理解與生成。在運維領域，解決了不突破企業數據安全限制的要求下，實現低成本的高質量大模型的部署和應用。
（2）深度洞察
DeepSeek的對齊強化學習框架則刺透人類意圖的次元壁。通過海量高質量數據鍛造的語義理解鋒刃，在對話場景中實現94.3%的意圖識別準確率，非常適合作為運維領域全能助手，識別用戶的意圖，然后調用私域知識或運維工具獲取信息，精準解答用戶問題。
（3）持續進化基因
DeepSeek通過持續預訓練框架使模型具備“細胞級”迭代能力，加上低訓練成本優勢，可以在智能運維場景落地過程中，持續消費企業積累的知識，進行模型的訓練微調，不斷進化生長，成為企業“量身定制”的智能運維專家。
3、LLMOps關鍵產品功能示意
（1）多模型接入
支持60+模型接入框架，包括私有化部署和托管接入方式，同時通過LLM Gateway屏蔽不同LLM模型之間的差異，為上層應用提供業界標準的OpenAI 協議API 接口，并提供權限、審計、監控、配額限流等管理能力。
（2）私域知識接入
進行RAG預處理，并支持文件上傳、手工錄入、網頁知識三種形式；可在聊天過程中可指定回復引用知識庫。
（3）支持工具開發
創建/編輯工具，填寫工具的基本信息，調用接口和請求參數；可在會話和智能體開發中調用。
（4）提示詞與角色定義
創建prompts并支持在線調試，基于prompts設定角色，并選擇不同大模型進行聯調，支持接口及開發框架調用。
（5）智能體開發框架
提供智能體開發框架，包括單Agent智能代理與基于編排的多Agent智能代碼構建支持。
6、LLMOps+DeepSeek問答
三、DeepSeek在智能運維場景應用
嘉為藍鯨探索大模型，包括DeepSeek在智能運維場景的應用，仍然從一體化運維的業務視角出發，不是從單點場景視角提升，而是業務閉環視角整體提升。
企業IT運維一體化場景涵蓋了多個運維活動，日常維護、變更發布、故障應急、服務響應、優化提升、安全管控等均需要跨多個運維領域完成，場景驅動了各個業務域之間的業務集成和技術集成設計。
以典型的事件生命周期管理為例，基于大模型重構提升場景如下：
四、應用場景清單
五、應用場景詳細描述
1、產品使用助手
（1）內容描述
IT運維團隊逐漸向SRE、平臺工程轉型，過程中依賴各種運維工具體系建設和推廣。每次運維新產品發布或者產品功能更新，都需要花費大量時間組織用戶培訓和使用答疑，費時費力。借助大模型如DeepSeek強大的推理能力，結合產品使用手冊，可以低成本實現面向用戶的產品使用助手，主要包含如下功能：
1）知識管理能力
支持手動上傳各類格式的文檔知識，如md、doc、pdf、excel、ppt等；支持和企業內已有的知識庫對接，并能同步更新。
2）知識檢索能力
支持通過向量相似度或關鍵詞等多種方式進行知識檢索和知識召回，如基于標題或特定字段的向量召回或全文檢索匹配召回，再根據多路召回的知識進行去重和排序，選擇最相關的知識片段，輸入給大模型進行上下文學習和總結，旨在優化信息檢索的覆蓋率和精確度。
3）大模型提煉總結
遵循最佳提示詞框架，與大模型進行交互，把提示詞模板和檢索到的知識片段按照特定格式發送給大模型進行總結，利用大模型強大的推理能力，返回符合用戶意圖的問題回復。
4）IM工具集成
支持和企業內已有的IM工具進行集成，如企業微信、釘釘、飛書等，進一步提升產品使用助手的用戶覆蓋，降低用戶使用工具的門檻。
（2）價值收益
1）新產品或新功能推廣效率提升顯著；
2）功能使用類ITSM工單降低50%以上。
（3）技術實現
基礎大模型/提示詞工程/知識庫/RAG。
2、IT觀測助手
(1)內容描述
IT監控工具是IT運維的第一個建設工具，作為運維人員的“眼睛”，IT監控在“數字化”、“云原生”、“信創”的大趨勢下正在向“可觀測”領域持續演進發展，而當大模型來臨之際，可觀測也需要具備各種人工智能能力，主動性地提升IT人員在故障發現、故障定位、故障處置上的效率和質量，從而更好地保障業務正常運轉。
借助大模型的能力，可結合Chatops建設IT觀測助手實現以下功能：
1)觀測智能問答
借助大模型語文識別，提供私域和公域知識的智能問答。
2)告警關聯數據提取
當發生告警時，觀測助手可主動提供此對象以及與此對象相關的其他對象的指標/日志/Trace/拓撲等信息，供IT運維人員進行故障診斷定位。
3)推理式告警根因分析
觀測助手可基于應用橫縱向拓撲信息提供根因分析推薦能力。
4)告警處置引導及操作執行
觀測助手可基于根因分析和故障決策樹的定位能力，以及應急處置能力提供引導式故障處置執行。
5)告警處置過程內容總結
針對告警的定位、協同過程、定位和處置、業務驗證結果形成告警處理事件總結。
6)告警處置方案自動回寫知識庫并更新
針對告警的發現、定位和處置結果自動回寫到歷史事件知識庫中，以供下一次的故障處置提供參考。
7)監控告警插件編寫
基于公域知識提供各種組件的監控指標定義和插件編碼，自動生成相應監控告警插件。
8)監控、告警策略編寫
基于公域知識提供和自動生成各類組件的告警閾值策略
(2)價值收益
1)持續增強第二代監控——可觀測的自動化監控告警的推廣和覆蓋的運營能力；
2)提升從告警發現、故障定位、故障處置的效率；
3)將紛繁復雜、持續迭代的運維經驗和能力沉淀到工具和平臺上，以“智能”替換“專家”，形成IT運維的核心能力建設。
(3)技術實現
1)結合Chatops技術提供人機交互；
2)基于CMDB與APM的橫縱向拓撲構建的知識圖譜算法提供故障定位能力；
3)基于LLM的語義識別/Functioncall/知識庫提供高效的引導式故障處置能力；
4)整合CMDB、ITSM、自動化、可觀測、數據與AI/LLM提升IT故障發現、協同、定位、處置等業務連續性閉環管理能力。
3、IT服務臺智能助手
(1)內容描述
隨著企業信息系統的增多，IT服務請求數量同步增多，單靠增加人力的方式來保持服務臺的正常運營變得非常困難，從而引發客戶滿意度降低、運營成本居高不下等問題，因此如何提升IT服務臺運營效率成為亟待解決的問題。
結合對服務臺工作場景的分析，借助基于大模型的IT服務臺智能助手，可以大幅提升服務臺運營效率：
1)智能問答：提供更準確的咨詢問題答復，減少到服務臺坐席的咨詢請求量；
2)智能提單：引導用戶自助提單，以減少服務臺代提單工作量；
3)智能派單：結合一、二線處理人員的工作負載，智能派單至負載最低的處理人員，減少坐席人工識別和派單工作量；
4)智能推薦：在接收到服務請求的同時，智能助手根據對工單內容的理解，更準確地推薦知識庫中沉淀的解決方案，從而提高請求的處理效率。
(2)價值收益
1)提高服務臺運營效率；
2)提升客戶/用戶滿意度。
(3)技術實現
1)基于即時通訊、大模型、RAG、知識庫實現智能問答；
2)基于LLM的語義識別/Functioncall實現智能提單；
3)結合運維人員工作任務數據、相似任務用時等進行工作負載判斷；
4)基于大模型、RAG、知識庫實現智能問答。
4、IT知識庫智能助手
(1)內容描述
經驗總結與知識沉淀非常重要，常被稱為企業運營的“第二大腦”。但知識管理的建設一直是一個讓管理者頭疼的問題，無法投入專職的知識運營人員，運維人員忙于事務也很難兼顧知識的沉淀。沒有知識的知識庫，其功能再豐富也沒意義。如今借助基于大模型的智能知識助手，讓低成本的知識運營變得可能：
1)智能總結知識
結合工單的詳情與處理過程、溝通評論、即時聊天記錄等日常解決用戶問題的過程數據，借助大模型的分析總結能力，即時或定期進行自動化的知識總結并錄入知識庫；
2)智能檢索知識
提供更準確、更易維護的知識檢索模式。相比傳統知識檢索，基于大模型的智能檢索方式可以自動學習知識庫內容，無需手動標注規則。新知識入庫后，模型通過向量化實時納入檢索范圍，同時結合用戶反饋（如點擊率、采納率）自動優化檢索排序（如將高頻采納的解決方案置頂）。
(2)價值收益
1)提升知識沉淀效率和質量；
2)降低知識運營的人力成本；
3)提高知識消費的便捷性。
(3)技術實現
通過API及對應IM工具的SDK獲取過程記錄，結合大模型提示詞進行知識總結。
5、CMDB智能助手
(1)內容描述
CMDB作為運維管理的“基石”，其數據的質量非常重要。借助CMDB智能助手，可以讓配置數據的接入和消費環節更便捷與高效，以助力CMDB的數據治理與運營。
1)智能采集開發：在已有的配置采集插件協議的約束下，通過自然語言提高采集插件的開發效率，包括插件代碼生成、插件代碼檢查等；
2)智能配置查詢：以提示詞方式便捷對配置數據進行消費，包括影響分析、路徑查詢、關聯查詢等；
3)智能拓撲生成：以提示詞方式便捷生成配置拓撲圖；
4)智能運營報告：以提示詞方式便捷生成運營報告，減少手工統計與排版工作。
(2)價值收益
1)降低配置自動采集門檻，提高自動化采集率；
2)提高配置數據的消費便捷性；
3)降低配置管理的運營成本。
(3)技術實現
開發協議、查詢協議、低代碼協議與大模型結合，實現自然語言與技術協議的轉換。
6、IT工單智能助手
(1) 內容描述
工單作為工作協同的信息載體，是團隊在日常工作中頻繁操作的對象。如果給工單加上“大腦”，對團隊協同的效率將會大幅提升。IT工單智能助手，可以讓運維工單更智能，運維工作更省心。
1)借助大模型泛化能力，自動生成與業務相關的關鍵字和正則表達式，替代人工質檢實現全自動化工單轉入轉出質檢；
2)利用大模型去提取關鍵參數并進行參數標注化轉義，并將查證后的內容自動回復，實現工單智能化查證回復；
3)構建投訴報告生成智能體，基于手機號查詢多平臺多類型投訴信息，1秒自動生成投訴報告，極大提升報告編寫效率。
(2)價值收益
1)工單流轉問題的損耗降低；
2)工單平均處理的時長減少；
3)運維工作協同的效率提升。
(3)技術實現
結合大模型/Functioncall、知識庫實現與第三方質檢接口集成。
7、應急智能助手
(1)內容描述
應急預案是IT應急管理中最核心的資產，如何創建全面且指導性的應急預案是應急管理中最核心的工作，應急智能助手能基于文字描述識別用戶意圖，結合歷史應急預案和應用架構手冊，輔助生成應急預案。
面對應急故障事件，可以按照企業IT應急報告內容和格式要求，基于應急事件全生命周期記錄，輔助生成應急故障報告。
同時應急智能助手，能支持對話窗智能化查詢應急預案/場景，應急事件總結/演練計劃，通過對話發起應急演練，啟動應急事件，全面提升應急交互模式。
(2)價值收益
1)提升預案準確性和有效性；
2)提升報告生成效率；
3)極大提升IT應急效率。
(3)技術實現
1)將應急預案庫和應用架構向量化存放在知識庫，利用RAG和大模型提示詞能力生成應急預案；
2)利用Functioncall構建應急報告數據查詢工具Tools，在調用大模型提示詞對應急數據進行潤色生成符合格式的應急故障報告；
3)通過意圖識別實現智能路由，支持多場景的應急需求。
8、變更發布智能助手
(1)內容描述
當應用系統變更異常時，能夠結合業務系統變更歷史信息和完整的應用拓撲信息，快速給出變更異常影響面分析；并結合運維大模型領域知識，對異常報錯進行分析，輔助變更人員快速定位根因。
通過對話框構建變更智能問答助手，運維人員可以通過自然語言查詢所有變更記錄，同時能輔助生成變更周報/月報。
(2)價值收益
1)快速識別變更影響面，提升變更異常分析效率，降低變更影響；
2)提升變更周報月報的質量和生成效率。
(3)技術實現
1)將大模型和小模型技術結合，實現對變更異常的多維度分析，實現變更異常快速定位；
2)構建多個變更智能工具Tools：變更記錄查詢/報告生成/通識變更問答，通過意圖識別模塊導航到對應的智能工具。
9、應用巡檢智能助手
(1)內容描述
面對多種巡檢類型，需要支持命令行、API、界面內容等多種數據源，利用應用巡檢智能助手進行統一分析和巡檢判斷，生成統一的巡檢報告，解決單一對象人工巡檢問題。
巡檢結果智能分析，巡檢過程中出現的重點指標、可疑進程、意外事件，通過應用巡檢智能助手，從橫向縱向等多維度對進行結果進行深度分析，并支持多范圍多對象多領域的統計展示。
(2)價值收益
1)支持異構應用的統一巡檢，將運維人員從高頻人工巡檢中釋放，提升巡檢的效率和準確性；
2)支持自然語言發起巡檢查詢結果，提升應用巡檢體驗。
(3)技術實現
1)利用大模型多模態能力實現界面內容自動巡檢，結合自動化工具，實現傳統界面內容的自動化巡檢；
2)結合大模型運維通識問答和RAG知識庫能力，實現對巡檢指標外的異常結果分析和建議。
10、智能編碼助手
(1)內容描述
在代碼輔助編寫場景，我們通過 BKGPT 插件對接大模型和IDE，讓開發者可以在編程工具里閉環信息檢索的過程，大大提升了開發問題查詢效率。其次，我們提供了 BKCodeAI 插件，可以實現根據注釋中的需求描述，進行代碼生成和補全，當前已經支持函數級代碼生成。
另一方面，在 git push 時，會自動觸發 AI CodeReview 任務，CR 任務將異步執行，不會阻塞 push 操作，CR 任務執行完成后會在 IDE 彈窗提醒 CR 詳情鏈接。
(2)價值收益
1)與編程IDE結合，提升腳本編寫、工具開發效率；
2)輔助開發主管進行代碼審查或者自動進行腳本出錯分析，提升代碼質量。
(3)技術實現
基礎大模型/文本生成/知識庫/RAG/IDE插件。
11、可觀測助手為例
(1)告警關聯知識推薦
小鯨可基于知識庫，可以根據告警事件內容結合知識庫找出相關聯的知識，并給予解決方案的推薦。
內置運維知識庫，無需整理也能直接使用；可批量導入知識庫文件，基于用戶歷史經驗提供更豐富的解決方案；告警產生后根據算法訓練的結果，匹配知識庫里的解決方案。知識推薦效果如下圖：
(2)知識庫智能問答
運維人員通常通過經驗或查找資料來處理告警事件，效率低下且耗時。可以將問題拋給小鯨，基于LLMOps直接提供解決方案推薦、正則匹配規則編寫等針對性回答。
通過全局劃詞問答或者右下角的機器人圖標入口，均可向“小鯨”詢問，無需切換工具。無論是技術解釋、命令用法，還是故障排查，小鯨都能即時提供專業解答，大幅提升工作效率。實現效果如下圖：
(3)告警處置引導
結合預測性對話流與大模型，小鯨觀測助手能夠實現對話智能引導，引導用戶完成智能提單引導、智能故障處置引導等場景：根據故障排查的場景，預設引導性場景，智能機器人識別關鍵字以后進入引導場景，確保問題能夠迅速被識別和解決。
實現效果如下圖：
六、前景展望
DeepSeek這一波平民化，除了帶來推理能力和性能瓶頸突破外，最核心的是可以進入“千家萬戶”，使得各行業和領域使用前沿模型變得更為簡單。大模型在運維領域的應用前景，我們認為這是一個改變運維人員和運維對象交互、實現AI大規模落地普及的時刻，未來發展，我們有如下思考和展望：
1、基于一體化運維業務的運維智能體會爆發式增長
基于低成本高效率的大模型，可以把各個人機交互的運維場景再做一次，再做一次是基于多智能體編排的模式，生成更多整合應用，且與一體化運維是完整聯動的，不只是單個場景的提升；
2、基于機器學習算法+大模型的融合場景更優
機器學習算法對于數據處理有天然優勢，大模型對于語義識別和邏輯推理有天然優勢，兩者相結合，可以在故障分析診斷層面、智能工單的相似度分析和智能回復層面等有更好的融合場景落地；
3、大模型應用開發平臺共建生態會成為主流
不只是基于原生大模型的問答應用，而是知識庫、工具、編排、智能體、統一網關的整體建設，構建可持續建設的體系，會成為生態模式，客戶及合作伙伴都可以有更大的想象空間；
4、自適應學習與知識演化
系統能夠根據環境的變化和數據反饋，自動調整自身的行為、策略或參數，以及隨著實踐、技術發展和經驗積累而不斷更新、優化或重組知識，運維智能體能夠更靈活、高效地應對復雜的運維需求，在大部分相對標準的運維場景中，實現智能決策執行。
