基調聽云首發 《大模型服務性能評測 DeepSeek-R1 API 版》第一期
春節假期，DeepSeek-R1 橫空出世，成為全球熱議焦點。2023年11月，DeepSeek 發布首個大模型 DeepSeek LLM；2024年5月開源 DeepSeek-V2，因性能出色、價格優勢收獲 “AI 屆拼多多” 稱號。12月26日上線并開源 DeepSeek-V3，憑借低訓練成本和出色性能引發全球熱議。2025年1月20日，DeepSeek 發布的 DeepSeek-R1 推理大模型邏輯推理能力出色，接近甚至超越OpenAI的o1，引發全球轟動，被硅谷科技媒體稱為新時代的 “斯普特尼克時刻”。
DeepSeek-R1 憑借其創新和高效的訓練方法、強大的推理能力、大幅下降的使用成本和開源等出色表現迅速在 AI 大模型領域脫穎而出，其技術的深度整合已在多個行業中帶來了顯著的變革與推動。7天完成1億用戶增長，移動端上線26天，日活突破4000萬，目前已成為眾多用戶尋求智能幫助的首選。用戶暴增，大量用戶同時發送請求，服務器的算力資源、存儲資源和網絡帶寬等被快速占滿，處理能力達到極限，無法及時響應所有請求，從而導致頻繁報錯，關于其服務器繁忙的吐槽紛至沓來。
由于 DeepSeek 官方提供的R1服務頻繁報錯，各類替代服務方案也開始出現，除了私有化部署方案，各大云服務商、芯片廠商等第三方服務商陸續上線 DeepSeek-R1 服務，為用戶提供了更多選擇。與此同時，越來越多的國內廠商接入 DeepSeek-R1 大模型服務，如：阿里云、華為云、騰訊云、華為、榮耀、OPPO、科大訊飛、順豐等，涵蓋云服務、軟件與應用服務商、手機廠商、酒店、物流供應鏈、汽車、醫藥、媒體等行業。
為了更好地服務開發者和終端用戶，國內領先的可觀測與應用安全廠商基調聽云對多家提供 DeepSeek-R1 API 服務的廠商開展了全面評測，并發布了《大模型服務性能評測 DeepSeek-R1 API版》第一期。
此次測評利用基調聽云撥測工具，模擬真實用戶的主動監控，從網絡性能、接口響應時間、推理速度、內容生成速度等多個關鍵指標對主流云服務廠商的API接口進行了深入測試。同時，測評還結合了來自多個城市、運營商、主機和時間維度的數據分析，旨在為各行業開發者和終端用戶提供更具針對性和參考價值的建議，幫助大家選擇更快、更穩定的 DeepSeek-R1 服務。
TL;NR（太長不看版）：
（1）經過對多家主流云服務廠商API接口的深度評測，火山引擎在 API 響應性能上全面領先，各項指標均顯著優于其他服務商。DeepSeek 官方雖推理速度較好，但首 Token 延遲過長且可用性低，成為顯著短板。
（2）其他服務商表現分化：硅基流動可用性較高，騰訊云與阿里云百煉速度表現不是太理想。
（3）如果你不是開發者，只關心哪里能用 DeepSeek-R1，直接拉到文章結尾看我們的推薦網頁版服務。
評測結果及解讀
數據分析：
1. 火山引擎在平均速度、推理速度、生成速度上表現最優，且可用性高達 99.83%，在API接入上首選推薦。
2. DeepSeek 官方推理速度較快，但首 Token 延遲顯著（7.753s），可用性最低（42.21%）。
3. 硅基流動首 Token 響應快（0.714s）且可用性穩定（98.83%），但平均速度較弱（12.426 tokens/s）。
4. 騰訊云整體性能較低，其中總性能最差（47.584s）且可用性一般（71.24%）。
5. 阿里云百煉表現不理想，平均速度最慢（3.684 tokens/s），首包時間也最長（1.091s），可用性尚可（87.98%）。
總體性能影響因素分析
1、服務端推理性能是主要影響因素
?在整體測試中，推理速度和生成速度的差異在廠商間表現較為顯著，尤其是火山引擎在推理和生成速度上表現優秀，而其他廠商的性能則較為遜色。服務端推理的性能顯然是影響API整體性能的關鍵因素。
2、網絡因素的影響較小
?雖然網絡延遲（DNS 時間、連接時間等）存在一定的差異，但從測試結果來看，除非網絡層的延遲異常高，否則不會對整體的 API 性能產生根本性影響。例如，DeepSeek 官方和火山引擎的網絡層延遲較低，但推理和生成速度的差異更多源自服務端的處理能力，而非網絡本身。
因此，服務端推理性能是影響整體性能的主要因素，網絡層的影響相對較小，基本可以忽略不計，尤其當網絡延遲不超過合理范圍時。
城市維度
城市維度分析：
1. 火山引擎在以上城市均保持最高性能，且可用性全達 100%。
2. DeepSeek 官方在重慶的首 Token 時間最長12.675 秒，其他城市均在9秒內。
3. 硅基流動的可用性在廣州的表現的最差93.75%，其他城市在98%以上。
4. 其他服務商與其他指標未見明顯差異，整體與前面的結論一致。
運營商維度
運營商維度分析：
1. DeepSeek 官方在中國移動的網絡下建連時間0.152秒，其他運營商均在0.05秒以內。
2. 其他服務商指標對比未見明顯差異，整體與前面結論一致。
主機維度
主機維度分析：該維度從各服務商提供 API 服務的目標主機 IP 地址維度分析各家服務的分布和性能。
主機數量：騰訊云主機數量最多，DeepSeek 官方主機數量最少。
主機城市：騰訊云的主機城市分布最廣，其次是火山引擎。
主機運營商分布：騰訊云的主機運營商分布最廣，其次是火山引擎。
時間維度（1小時粒度）
各時間段分析：
時段（2025/2/17 8:00 - 15:00）
● 特點：DeepSeek 官方和阿里云百煉可用性波動較大，騰訊云可用性不高，但是可用性比較穩定，其它服務商可用性相對優秀，穩定。
● 原因：可能此時用戶流量較大，服務器負載也比較大，騰訊云服務商可能受到限流影響。
時段（2025/2/17 15:00 - 2025/2/18 0:00）
● 特點：DeepSeek 官方在2025/2/17 15:00 - 17:00 服務出現不可用的情況，騰訊云可用性不高，但是可用性比較穩定，其它服務商可用性相對優秀，穩定。
● 原因：可能此時 DeepSeek 官方用戶流量較大，服務器負載也比較大，騰訊云服務商可能受到限流影響。
時段（2025/2/18 0:00 - 8:00）
● 特點：多數服務商 API 的可用性較高，甚至達到100%。性能時長也相對較短。
● 原因：可能此時用戶流量較少，服務器負載較低，能夠為每個請求分配更多資源。
各服務商 API 整體性能分析：
火山引擎
● 可用性：整體非常穩定，未出現明顯波動。
● 性能：整體表現良好，未出現顯著問題。
DeepSeek 官方
● 可用性：
2025-02-17 08:00 - 2025-02-18 01:00：可用性波動較大，從較差逐漸改善至良好。
2025-02-18 01:00 - 2025-02-18 08:00：可用性保持100%，表現穩定。
● 整體性能：在可用性提升的同時，性能表現也逐漸優化，整體時間指標表現優秀。
硅基流動
● 可用性：整體波動較小，表現穩定，大部分時間維持在95%以上。
● 性能：在各時間段內有波動，但整體表現較為平穩。
騰訊云
● 可用性：總體較低，但各時間段內的波動較小。在測評過程中，騰訊云可能受到限流影響，導致可用性表現不佳。
● 性能：在各時間段內有波動，但整體表現較為平穩。
阿里云百煉
● 可用性：
2025-02-17 08:00 - 2025-02-17 13:00：波動明顯，之后大部分時間維持在90%以上，表現較為穩定。
● 性能：2025-02-17 08:00 - 2025-02-17 13:00：波動明顯，在其它各個時間段內表現較為穩定。
本次評測的測試工具、指標采集、測試廠商、測試參數等詳情如下：
測試工具及指標采集
1. 測試工具：基調聽云撥測平臺
2. 采集指標：
● 通過API返回的數據計算出來的指標包含：平均速度(tokens/s)、首 Token 時間(s)、推理速度(tokens/s)、生成速度(tokens/s)
● 通過聽云撥測客戶端計算的指標包含：DNS 時間(s)、建連時間(s)、握手時間(s)、發出請求時間(s)、首包時間(s)、剩余包時間(s)、性能(s) 和可用性(%)
3. 測試節點：北京/上海/廣州/深圳/重慶/蘇州/成都/杭州/武漢九地移動/電信/聯通三大運營商，模擬27個終端用戶
4. 任務屬性：任務綁定（相同頻率，相同監測點）
5. 大模型相關的測試指標和計算方式參考了公眾號“賽博禪心”文章“務實測試：DeepSeek 各家 API 真實速度”中提到的測試腳本。
測試廠商
騰訊云、阿里云、火山引擎、DeepSeek 官方和硅基流動
測試參數
●測試頻率：1小時
●測試周期：2025/02/17 08:00 - 2025/02/18 08:00
●測試 Prompt：9.9和9.11這兩個數哪個更大？請在結果中只輸出比較大的那個數，并放在兩個"#"符號之間。
●期望響應格式：#9.9#
指標定義
（1）模型性能指標
● 首 Token 時間：從請求發起至模型返回第一個有效 Token 的時間間隔 (單位：s)
● 推理速度：模型推理階段的平均速度 (單位：tokens/s)
● 生成速度：模型生成階段的平均速度 (單位：tokens/s)
● 平均速度：模型推理和生成兩個階段的整體平均速度 (單位：tokens/s)
（2）網絡指標
● DNS：通過域名解析服務，將指定的域名解析成 IP 地址的消耗時間。
● 建連：瀏覽器和 Web 服務器建立 TCP/IP 連接的消耗時間。
● SSL：瀏覽器和 Web 服務器建立安全套接層 (SSL) 連接的消耗時間。
● 首包：瀏覽器發送 HTTP 請求結束開始，到收到 Web 服務器返回的第一個數據包的消耗時間。
● 剩余包：瀏覽器接收 Web 服務器返回的第一個數據包到元素數據接收結束的消耗時間。
● 性能（總下載時間）：監測一個頁面總的消耗時間，即從開始監測到監測結束的時間。
● 可用性：時間范圍內，目標服務能夠被正常訪問的次數與總訪問次數的比值。
（3）分析維度
● 運營商：移動/電信/聯通
● 城市：北京/上海/廣州/深圳/重慶/蘇州/成都/杭州/武漢
● 目標主機（基于 API 服務的暴露的 IP 地址）
本次測評旨在為開發者提供深度數據支撐，助力其精準洞察各服務商 API 接口的性能表現，從而有針對性地優化產品體驗。對于開發者和企業用戶而言，這些數據可以作為服務商選擇的決策依據，可以依托本次測評數據，更科學地甄別適配自身需求的技術方案，有效提升調用效率，大幅降低響應延遲，全方位增強整體服務質量。
最后，提前預告一下，基調聽云正在對各家網頁版本的 DeepSeek-R1 服務進行評測，將在近期發布網頁版的評測結果。敬請期待
