ChatGPTが突然BANされた夜中3:49──AI時代の「思考の危険性」

AM3時49分、突然の「死の宣告」

朝メールをチェックすると、「OpenAI API - アクセスが無効になりました」という2通のメールにびっくりした。 受信時間は夜中の3時49分。1通はChatGPT、もう1通はOpenAI APIのアカウント無効化（永久凍結）を知らせるものだった。

頭の中は「？」でいっぱい。 怪しいプログラムを実行させたわけでも、スパムを送信したわけでもない。ましてや犯罪を助長させるようなことも言っていない。

ネットで調べると「事前に画面上に警告（イエローカード）が出る」と書かれていることが多いが、私には警告すら一切なかった。まさに青天の霹靂。突然の一発レッドカードである。

パニックになりながらも、全編英語のフォームから異議申し立て（Appeal）を送信し、私は「なぜ自分が？」と原因を振り返り始めた。

Geminiに「なぜChatGPTのアカウントが停止になったと思う？」と質問してみたところ、主に以下の3つの原因が考えられるらしい。

• AIによる「誤検知（誤BAN）」
  普通の質問でも、言葉の組み合わせによってAIが「危険な指示」と勘違いし自動停止する。

• 非公式アプリや拡張機能の暴走
  過去に連携した外部アプリなどが、裏で規約違反の動作をした結果、連帯責任でBANされる。

• ハッキング（乗っ取り）
  パスワードやAPIキーの漏洩で第三者が侵入し、スパム行為を行う。

ネット掲示板などを見ると、「昨日まで普通に使っていたのに突然BANされた！」という報告は日常茶飯事。誤検知であれば異議申し立てで復活することが多いらしいが、私の場合、思い当たるフシが一つだけあった。

他人には絶対にしない話

Geminiを壁打ち相手にして過去のやり取りを分析した結果、「原因はこれだろう」という結論に至った。
YouTubeで見た「国籍とアイデンティ」「人間の精神性」についての議論だ。

結構考えさせるディベートだったので、私は自分の思考を整理するために、ChatGPTとGeminiに自分の考えをぶつけてAIの意見も参考にしていた。

① イギリスの移民問題（血統 vs 法律）
先祖代々白人のイギリス人と、ナイジェリアをルーツに持つ移民2世による「あなたは本当のイギリス人か？」という議論について。 「血統・伝統（English）」を重んじるのか、「法律・制度（British）」を重んじるのか。移民2世が抱えるアイデンティティの板挟みについてAIと深く議論した。

② 日本人の魂と小野田寛郎さん
TVでビートたけしが語っていた、元日本兵・小野田寛郎さんのエピソード。「靖国を移動させればいい」という意見に対し、小野田さんはこう語ったという。「馬鹿言ってもらっちゃ困る。私たちは靖国でまた会おうと約束して死んでいったんだ」また、天皇陛下に会わない理由についてはこう答えたそうだ。「もしお会いしたら、陛下は『すまなかった』と頭を下げるかもしれない。私たちは陛下の兵隊だ。陛下に頭を下げさせないために私は会わない」

私はこのエピソードに「小野田さんこそ日本人の魂だ、侍だ」と感銘を受け、この精神性についてAIに意見を求めたりした。

「アメリカ人」になれても
「インド人」にはなれるのか？

対話はさらに、国籍と社会の受容という社会学的な問いへ進んだ。

もし仮に、私がアメリカ国籍を取っても「私は日本人だ」と言うだろう。しかし、もし私の子どもが、アメリカで生まれ、アメリカの学校で育ったなら「私はアメリカ人だ」と胸を張るはずだ。アメリカは歴史が浅く多民族国家だから成り立つと思う。

 

では、これがカースト制度がありヒンドゥー教が根付く「インド」だったら？ あるいは「イスラム圏」だったらどうなるか？

「戦争になったら、どちらの国につくのか？ これは魂の問題ではないか？」 そう問いかけると、AIからは「国籍と帰属意識は3層に分かれている」という非常に面白い見解が返ってきた。

・法的アイデンティティ：パスポートなど制度上の所属
・文化的アイデンティティ：言語や教育など育ちの所属
・社会的承認：周囲から「お前は仲間だ」と認められるか

「法律上の国籍」と「社会からの承認」のズレについて、かなり知的で面白い議論ができたと思っていた。

しかし、これが致命傷になった（と思う）。

おそらく、ChatGPTの安全フィルターは文脈を理解せず、「靖国」「天皇陛下」「兵隊」「カースト制度」「イスラム」「戦争」といった単語だけを機械的に抽出し、「危険なナショナリズムの扇動だ！」「特定宗教へのヘイトだ！」と誤判断したのだと思う。

人間の持つ哀愁や歴史の機微、哲学的な文脈は、AIのフィルターに見事に切り捨てられたのだ（とGeminiが言っている）。

恐ろしい「プラットフォーム連携」のリスク

今回の件を調べていく中で、SNSの投稿を見て背筋が凍った。
「ChatGPTがBANされるだけならまだしも、GeminiでBANされたらGoogleアカウント全体（GmailやGoogle Driveなど）が吹き飛ぶリスクがある」という事実だ。CopilotならMicrosoftのインフラが危ない。

「便利だから」と特定のプラットフォームに全ての思考とデータを預けることの恐ろしさを、私は身をもって実感した。

別のアカウントを作り直そうとしても、IPアドレスやクレジットカード情報から身元がバレ、「停止回避」とみなされればブラックリスト入りして二度と作れなくなるらしい。

思考のツールが思考を制限する皮肉

白黒つけられない曖昧なテーマに対して、対話を通して思考を深めていく作業は非常に面白かった。AIは最高の相棒だった。

しかし、深く考えようとすればするほど、AIは社会的なタブーの単語に怯え、シャットアウトしてくる。思考のツールが、人間の深い思考を制限してしまうのはなんとも皮肉な話。

私たちは今後、以下の「AIリテラシー」を身につけなければならない。

・1つのAIに依存しない（複数分散して使う）
・仕事用などの重要インフラアカウントと、AI利用アカウントを分ける
・重要な対話ログは定期的にローカルへバックアップする

現在、OpenAIからの異議申し立ての審査結果を待っている状態だが、この理不尽な「夜中の3時49分」の出来事は、私にAIとの適切な距離感を教えてくれた。

皆さんも、深い思考の代償として、ある日突然AIからレッドカードを突きつけられないよう、くれぐれもご注意いただきたい。

ちなみに、Gemini、Claude、Copilotに「同じような質問したら垢バンするの？」聞いてみたら「この程度でいきなり垢バンすることはありません」と返事が帰ってきた（笑）

参考：OpenAI利用規約

【追記】まさかの展開

前回の記事で、8月22日の夜中3時に突然ChatGPTのアカウントが停止されたことを書いた。

その後の経過を、時系列で追記しておく。

8/22 夜中3時:アカウント無効化のメールが届く。身に覚えのない停止に困惑。

8/22 昼14時:異議申し立てを実施。すぐに受付完了の返信が届く。「審査中なので少し時間がかかります」という内容だった。

9/3:「マーケティングを改善しましょう」という、通常のプロモーションメールが届く。垢バンされているはずなのに、こんなメール送ってくるんだ、と違和感を覚えた。

9/8:「ChatGPTがあなたの写真を編集」という、これまた通常の機能紹介メールが届く。

さすがに「あれ?」と思った。垢バンされているのに、なぜ普通にメールが届くのか。

半信半疑でログインしてみた。

ログインできた。

普通に。何事もなかったかのように。

「復活しました」というメールは、一切来ていない。停止のときはあれだけはっきりと「アクセスを無効にします」と送ってきたのに、戻ったときは何の連絡もない。

正直、拍子抜けした。あれだけ身構えて、異議申し立てまでして、結果は「気づいたら直ってた」。原因の説明もなければ、復旧の報告もない。

この一件から見えてくること

止めるときは明確な通知が来る。だが、戻るときは何も知らされない。

これは今回のOpenAIに限った話ではなく、AIサービス全般が抱える構造的な問題だと思う。ユーザー側には常に情報が与えられない。なぜ止まったのかも、なぜ戻ったのかも、結局最後まで分からないままだった。

「原因不明のまま止められ、原因不明のまま戻る」

AIをビジネスで利用する際、「どのAIが一番賢いか」だけでなく「突然そのAIが使えなくなっても仕事は止まらないか？」も考える必要がある。