-
2026 年 02 月 25 日在開發以大語言模型驅動的 Agent 時,我們經常會面臨一個效能瓶頸:當工作流程涉及大量的模型與外部工具來回溝通(例如程式碼自動編寫或複雜的編排迴圈),每一次 HTTP 請求的建立與龐大上下文的傳輸,都會不斷疊加通訊延遲。為了解決這個痛點,OpenAI 在其 Responses API 中推出了全新的 WebSocket 模式,透過建立持久連線與增量輸入(incremental inputs),專門為這類需要長時間運作且頻繁呼叫工具的場景提供更流暢的解決方案。
傳統的 HTTP 模式在每一次對話回合中,都需要重新傳送完整的歷史上下文,這不僅耗費頻寬,也增加了伺服器解析的負擔。WebSocket 模式的運作邏輯大不相同。一旦建立連線,伺服器會在連線局部的記憶體中快取最近一次的回應狀態。這意味著在後續的對話回合裡,開發者只需要傳遞上一次的 previous_response_id 以及全新產生的內容(例如工具的執行結果或使用者的最新訊息)即可。因為省略了重複傳遞與處理冗長歷史記錄的過程,整體的端到端延遲得以顯著降低。根據官方數據,在執行超過 20 次工具呼叫的複雜任務中,這種增量輸入的機制可以讓整體執行速度提升大約 40%。
在實作上,開發者可以透過傳送 response.create 事件來啟動對話。值得一提的是,這個模式支援透過設定 generate: false 來進行請求狀態的「預熱(warm-up)」。如果你已經預先知道接下來會用到的工具或指令,可以先發送預熱請求,它雖然不會立刻產生模型的文字輸出,但會回傳一個 ID 讓你能在後續流程中無縫銜接,進一步加快首次生成的回應速度。
此外,由於上下文狀態是存放在連線的短期記憶體中,而非寫入硬碟,這項技術完全相容於零資料保留(Zero Data Retention, ZDR)政策以及 store=false 的設定,在提升效能的同時也兼顧了對隱私與資安要求較高的應用場景。
雖然 WebSocket 模式帶來了極大的效能優勢,但在系統架構的設計上仍有幾個必須納入考量的限制與應對機制。
首先,單一連線目前採循序執行,尚不支援多工處理(multiplexing),若需要平行執行多個任務,就必須建立多條獨立的 WebSocket 連線。其次,為了維持伺服器的資源平衡,每條連線的生命週期最高限制為 60 分鐘,一旦超時、發生斷線,或是在中途發生 4xx/5xx 錯誤,系統就會清除該連線記憶體中的快取。遇到這種情況,開發者必須具備重建連線的重試機制。
若你的應用程式有搭配上下文壓縮(compaction),在伺服器端自動壓縮的情況下可以直接於原連線繼續操作;但如果是透過獨立的 HTTP 端點進行手動壓縮,則必須帶著壓縮後的新上下文,重新建立一條 WebSocket 連線並啟動全新的回應鏈。
整體來說,OpenAI 推出的 WebSocket 模式精準打擊了複雜 Agent 應用的效能痛點。透過持久化連線與狀態快取的設計,它改變了以往笨重且高重複性的通訊方式,讓開發者在打造高度自動化、需要頻繁互動的 AI 產品時,能夠以更低的延遲提供更即時的使用者體驗。
筆電就能跑:Google Gemma 4 12B 登場,效能直追 26B 模型
AIOpenAI Codex 升級:從開發工具,變成每個職位都能用的 AI 工作助手
AIOpenAI Codex 終於能遠端遙控了!隨時隨地掌控你的 AI 開發工作流
AIOpenAI 推出全新即時語音 API GPT-Realtime-2,具備GPT-5 同等推理能力,引領語音助理進入工作流自動化新世代
AI 服務紅利期進入尾聲:運算成本飆升,Claude、Google、X.AI 陸續收緊使用限制
AIOpenAI 推出 ChatGPT Images 2.0:精準度與文字排版全面進化,重新定義視覺工作流
AI國際AI工具進台灣卡在發票 歐買尬出手
AI國際AI工具進台灣卡在發票 歐買尬出手
AIAI 變身最強駭客?Anthropic 發表未公開模型 Claude Mythos,找到 27 年未被發現的漏洞
AI影片生成「白菜價」時代來臨!Google 推 Veo 3.1 Lite 影片生成模型,每秒只要 0.05 美元
手哥 HANDBRO 硬是要學共同創辦人兼職打雜編輯,熱愛網路、熱愛 3C!腦袋是個不定時炸彈,隨時會炸出新玩意兒!如有開箱、評測或各種合作需求,請洽:contact@soft4fun.net。 YouTube 頻道:手哥科科 《手哥科科》YouTube 頻道 從電視的大螢幕到手機的小螢幕,要維持一致的顯示色彩也是不容易的事情,三星這個 Demo 讓大家知道它們做得到 #computex2026 00:22 HKC 在 #Computex 上推出的全球首款 83.4 吋 12K 超寬曲面螢幕,這款螢幕的寬度寬到兩邊都還要用支撐架來輔助穩定。但這個體驗真的相當讚,臨場感滿分。 00:19 不用一直盯小孩!SpotCam BabyCam Pro 實測:AI 偵測、5 吋螢幕、24 小時雲端錄影一次看 12:36 過年春節拍照手機空間不夠? 用這招讓你不會錯失任何一個珍貴畫面!#pCloud 春節42折優惠 03:56 比架 NAS 還划算!pCloud 雲端硬碟,付一次費終身使用!雙11限定38折! 05:58在我的瀏覽器中保存我的姓名,電子郵件和網站,以便下次評論。
新文章使用電子郵件通知我。