ChatGPT VS OpenAIサポート II -進まないやりとり- 第6話(総集編)

前回はこちら。
https://note.com/freetime77/n/n4fafe0cac6b3

Codex(ChatGPT)でiOSアプリの実装をお願いしたところ、同じファイルを何度も確認したり、「コンテキストを自動的に圧縮しました」を繰り返したりしながら、何時間も処理が続いた。しかも、最終的に実装は完了しない。

その間にクレジットはどんどん消費され、追加購入した500クレジットも使い切り、最終的には残高がマイナスになっていた。

問題が起きたのは8/9〜8/10あたり。そこからOpenAI Supportへ問い合わせを開始した。

最初の頃は、
「ログを送ってほしい」
「スクリーンショットを送ってほしい」
「Usage Dashboardの情報を送ってほしい」
「どのCodex環境を使っていたのか」
「OSは何か」
「他のプロジェクトでも発生しているのか」
など、いろいろ聞かれた。

もちろん全部回答。
ChatGPT Desktop内のCodex。
macOS。
ローカル実行。
iOSアプリのプロジェクト。
他のプロジェクトでは同じ現象は確認していない。
自分1人のアカウント。

ここまで回答したら調査が進むと思っていた。

8/24。
サポートから、
「再現する必要はない」
「すでに提出されたログ、Usage Dashboard、スクリーンショットなどを使ってレビューを続ける」
と言われた。

そして追加で聞かれた環境情報も、その日のうちに回答。
これで専門担当が調べてくれるのか・・・と思って待った。

1週間経っても・・・何も来ない。
挙げ句の果てに、そのまま回答なしでケースをクローズしようとしてきた。

いやいやいや、聞かれたこと全部答えたよね？
しかも「これで調査を続ける」と言ったよね？

このあたりから、Codexの不具合よりもサポート対応の方が大変になってきた(笑)。

その後、別のケースで再度問い合わせ。

今度は、
「問題が起きたCodexのsession transcriptか、macOSのアプリログを送ってほしい」
とのこと。

macOSのログを確認すると、8/12以降しか残っていなかった。
問題が起きたのは8/9〜8/10なので、こちらは使えない。

一方、
~/.codex/sessions
にはsessionデータが残っていた。

以前のログに残っていたsession IDを使って検索すると、該当する親sessionらしきファイルを発見。
サイズを見てみたところ27GB。
JSONLファイル1個で27GB。
何これ・・・リアルにゴミファイル(笑)。

とりあえず、8/9〜8/10の部分だけ抜き出せばいいだろうと思い、grepで抽出。
18.5GB。
全然減ってない(笑)。

どうやらJSONLの1行自体が巨大で、コンテキスト情報などが丸ごと入っているため、該当行を抜くだけでは意味がなかったらしい。

さすがに27GBのファイルをメール添付するわけにもいかない。
そこでPythonで、
・日時
・イベント
・ユーザーとCodexのやり取り
など、必要なテキストだけを抽出。

最終的に、
約780KB
まで縮小できた。
ダイエット成功である。

中身を確認すると、今回問題になっていた動きもちゃんと残っていた。

例えば、
「1.0.3にアプリアイコンのバッジ機能を実装します」
↓
「コンテキストを自動的に圧縮しました」
↓
「1.0.3にバッジ機能を実装します」
↓
「コンテキストを自動的に圧縮しました」
↓
また似たような実装宣言。
これを繰り返している。

やっぱりループしてるよね。
しかも最初は、
「実装しました」
「通常版とS版の両方でビルド成功を確認済みです」
と回答していたのに、あとから確認すると実装されていなかった。

その後の処理では、
2時間13分13秒
さらに別の処理では、
2時間24分44秒

動いた末に、
「利用制限に達しました」
で終了。

そりゃクレジットなくなるわ・・・ザ無駄金。

780KBにしたログをサポートへ送信。

すると今度は、
「creditsが正しく計上されたか確認するには、usage accounting側で使っているtask/session identifierが必要」
との回答。

そのIDを取るために、
「問題が起きたCodexチャットからin-app feedbackを送ってsessionを共有してほしい」
と言われた。

ところが、フィードバックってどこ？
チャットのメニューにもない。
アカウントメニューにもない。
設定にもない。
さらにサポートからは、

/Applications/Codex.app/Contents/Resources/codex --version
でCodexのバージョンを確認してほしいと言われた。
でも現在はCodexがChatGPT Desktopに統合されている。
そもそもCodex.appがない。

調べたら、
/Applications/ChatGPT.app/Contents/Resources/codex
はあった。

こちらで確認した結果、
codex-cli 0.150.0-alpha.8
だった。

「今のChatGPT Desktopでは、どうやってフィードバックを送るの？」
と再びサポートに確認。

すると、
入力欄で「/」を入力するとフィードバックが出る
とのこと。

実際に「/」を入力。
「フィードバック」を発見。

開くと、
「現在のChatGPT セッションログを含める」
という項目があった。これをONにして送信。

するとIDが表示された。
このIDはさっき27GBの親sessionを探す時に使ったIDと同じ。
やっと話がつながった。

session IDも提出。
これで調査できるだろうと思ったら、
「そのsession IDについて、per-session / per-runのcredit明細を見る権限がない」との回答。

じゃあ、何のためにsession IDを探したんだ(笑)。

さらに、
500 credits購入。
その後、残高がマイナスのcredits。
「その分のcredits消費した計算にはなる」
とのこと。

いや、そういうことじゃなくて、
Codexが同じ作業を何時間も繰り返し、タスクも完了せずに消費した518.673 creditsを、そのままユーザー負担にするのが適切なのか？
という話。

なので、「あなたに確認する権限がないのであれば、確認できる専門担当へエスカレーションしてください」と返信。

あわせて、前回も「専門担当へエスカレーションする」と言われ、こちらが求められた内容を全部回答したにもかかわらず、その後1週間放置され、回答なしでクローズされそうになったことも伝えた。

今回はちゃんと最後まで対応してほしい。
しかも、事象発生からすでに3週間以上経過している。
早急に回答してほしい。と送った。

その後、
「support specialistへエスカレーションした。数日以内に回答する」
との返信。

前回も似たようなことを言われたので、正直まだ安心できない。

さらに、さっき送ったin-app feedbackを確認すると、
「フィードバックのアップロードに失敗しました」
と表示。

フィードバックID自体は残っているものの、診断データのアップロードには失敗したらしい。sessionファイルが27GBあったので、

もしかして、それをアップロードしようとした？と思ったけど、原因は不明。
これもスクリーンショット付きでサポートへ送信。

すると、
「ネットワーク、VPN、Firewallの可能性がある」
との回答。

ただし、
session IDと8/9〜8/10の抽出ログだけでもレビューには使える
とのこと。

だったら、とりあえず27GBを再アップロードしなくてもいいらしい。

そして、しばらく待ったあと。

ようやく専門担当から回答が来た。
結論。
OpenAIのシステム上では、このsessionに異常・通常ではない動作は確認されなかった。
とのこと。

サポート自身も、
「同じファイルを繰り返し確認した」
「コンテキスト圧縮を繰り返した」
「同じ実装を何度も試した」
「長時間実行された」
「タスクを完了できなかった」
という現象自体は認識している。

でも、
OpenAI内部のシステム上では異常とは認定されなかった。
そのため、
消費したcreditsの復元、調整、補償はできない
との結論。

以前のサポートでは、
「進捗のないループ動作は意図された正常な結果ではない」
という説明もあった。

なので、
「では、今回の動作を異常ではないと判断した基準を教えてほしい」
と質問。

回答は、
内部基準、シグナル、しきい値、検出方法は開示できない。
とのこと。

じゃあユーザー側では、何が正常で、何が異常なのか、判断できないということになる。

そこで別の観点から確認。

今回はたまたま追加購入した500 credits程度を使い切って処理が止まった。でも、
もしもっと多くクレジットを持っていたら？
もし自動追加購入をONにしていたら？
同じように何時間も進捗のない処理が続いた場合、もっと大きな金額を消費する可能性があるのでは？
と質問した。

サポートの回答。
Codexには、一定時間、一定回数の再試行、一定量のクレジット消費、一定時間進捗がない、といった条件でタスクを自動停止することを保証するユーザー向けの仕組みはない。

これは結構重要な話では。
さらに、
「長時間意味のある進捗がない」
「実質的に同じ作業を繰り返している」
「自分が許容できる以上にクレジットを消費している」
場合には、
ユーザー自身で停止してくださいとのこと。

つまり、
同じ作業を何時間も繰り返していても、
自動的に安全停止する保証はない。
自分で見張って、ヤバそうだったら止める。
ということらしい。

それ、結構怖くない？(笑)
AIが処理をしている間、ずっと見守るなんてやってられないよね・・・。

そんで、ここまで回答を読んで思った。
最終的にその回答なのであれば、今まで何のためにあれだけ大量のデータを提出したんだろう？

実行ログ。
Usage Dashboard。
スクリーンショット。
環境情報。
session transcript。
27GBのsessionファイルの確認。
780KBへの抽出。
session ID。
in-app feedback。
ChatGPT Desktopのバージョン。
Codexのバージョン。
フィードバックアップロード失敗の画面。

全部、「調査に必要」と言われて提出した。

さらに、専門担当へエスカレーションすると言われたケースでは、必要な情報を全部回答したあと1週間放置。そのままクローズされそうになった。

そして最終的には、
「内部の判断基準は開示できない」
「システム上の異常は確認できなかった」
「クレジットは補填できない」
「長時間進まなかったらユーザー自身で止めてください」
という回答。

最初にそれを言ってくれれば良かったのでは？(笑)

ということで、最後にサポートへ
・そのような結論なのであれば、なぜここまで多くのデータを要求したのか
・前回、専門担当へエスカレーションすると言われ、必要事項を回答したのに放置されたのはなぜか
・今後安心してOpenAIのサービスを利用するために、こうしたサポート対応が起きた原因と再発防止策を説明してほしい
と問い合わせた。

今後また同じことが起きた時に、どうすれば安心して使えるのか。
そこが分からないままなのが一番困る。

Codex自体は便利。
だからこそ使いたい。
しかし、
「何時間も進まない場合は自分で監視して止めてね」
「どこから異常かの基準は非公開」
「自動停止の保証もない」
という状態で、自動クレジット追加までONにするのは、ちょっと怖い。

そして今回の問い合わせ。
8/9から始まって、もう1か月経った。
ぶっちゃけ無駄になったクレジット以上に、この問い合わせ対応に稼働をかけているので、そろそろ本当に終わってほしい(笑)。

#Codex #ChatGPT #OpenAI #iOS開発 #たけlog