直接回答
stream は HTTP handshake 成功後にも失敗します。event 順序と終了状態を保持し、部分出力を完全な結果として扱わないようにします。
このガイドで解決できること
truncate、buffer、timeout、誤った consumer による SSE model stream の中断を修正する。
OpenAI 互換 streamingServer-Sent Eventsreverse proxy / CDNNode.js / Python client
01
症状
stream が開始して部分出力を返した後、正常な completion event や finish reason なしで停止します。
同じ request が non-stream または直接接続では成功し、proxy、CDN、SDK wrapper、UI consumer 経由だけ失敗します。
02
主な原因
- proxy が SSE を buffer・compress し、idle または response timeout で終了する。
- event framing が変更され、空行不足または誤った protocol 前提で parse される。
- client が iteration を止め、cancel・exception・listener cleanup を誤る。
- upstream model または network が terminal event 前に stream を閉じる。
03
診断手順
- 01境界を確定同じ model・input を non-stream で実行し生成基準を作ります。
- 02基準を作成raw Content-Type、event boundary、data frame、terminal signal を確認します。
- 03一項目を比較direct と proxy 経路で buffering、compression、idle timeout を比較します。
- 04決定的な証拠を記録consumer の iteration、cancel、exception、cleanup を追跡します。
最小診断コマンド言語：bash
curl -N -sS --max-time 120 'https://<your-api-host>/v1/chat/completions' -H "Authorization: Bearer ${API_KEY:?set API_KEY first}" -H 'Content-Type: application/json' --data '{"model":"<YOUR_MODEL_ID>","stream":true,"messages":[{"role":"user","content":"reply with three short words"}]}'
04
修正
- 01障害レイヤーを修正適切な idle budget で SSE を逐次転送するよう proxy を設定します。
- 02必要な動作を復元別 API を混ぜず、選択 API が出す正確な event format を parse します。
- 03一時回避策を除去cancel、partial output、exception、listener cleanup を明示的に処理します。
修正例言語：text
started = false
completed = false
for event in stream:
started = true
validate_and_append(event)
if event_is_terminal(event): completed = true
if not completed:
mark_result_incomplete()
do_not_execute_follow_up_actions()05
検証
- incremental event が protocol 順序で届く。
- 正常 response に識別可能な terminal event・finish reason がある。
- cancel で upstream work、socket、listener が解放される。
- 中断出力が partial と明示され完全結果として保存されない。
06
機密情報の扱い
- stream の完全な prompt・completion を既定で log しない。
- cancel 後に privileged tool を動作させ続けない。
- partial text にも moderation・validation を適用する。
- event type、sequence、elapsed time、proxy path、request ID を機密除去して共有する。
公式情報と検証範囲
本ガイドはプロトコル仕様とクライアント公式文書を根拠にしています。エラー文、再試行ヘッダー、設定項目はサービスやバージョンで変わるため、参照元を確認し、ログとリクエスト例を秘匿してから共有してください。
ドキュメントの適用範囲を見る