TL;DR：2026年9月1日、OpenAIの公式サイトは「Astraに追加の思考連鎖モニタリングを実装した」と言い、同じ日にThe Informationは「Astraは思考連鎖をより読みにくくするアーキテクチャを使っている」と報じた。一次情報を並べると、この二文は実は共存できる。Astraが使うrecurrent depthは同じ層スタックを数回通過させるものであり、公開の推定ではおよそ3〜4回、公式の確認はない。neuraleseとは別物だ。今回覚えておくべきは別のことである——ループ回数は推論時に増やせるノブになり、外部からはその目盛りが見えない。
9月1日、OpenAIの公式サイトに〈Path to Astra〉が掲載された。そこにはこう書かれていた。「Astraの展開にあたり、逸脱した行動を迅速に検知・封じ込めるため、追加の思考連鎖モニタリングを実装している。」
同じ日、The Informationは、Astraが推論の一部を自然言語では表現しないアーキテクチャを採用していると報じた。
二つの文書が同日に出現し、互いに矛盾しているように読めた。その後48時間、SNS上の議論はこの矛盾を軸に回り続けた。
私は2025年に〈Neuraleseとは何か？AIが非言語で推論し始めるとき、人間の言語的主権は終わる〉という記事を書いた。そこにはこう書いた——「現時点では、主要なAI企業は最前線のモデルにNeuralese CoTを正式実装していない」と。
この記事はその文の更新だ。だが更新の方向は、ここ数日で見かけた報道のほとんどとは少し違う。
9月1日から9月3日、実際に何が起きたか
時系列をまず整理しておく。今回の議論の大半は、各者が異なるタイミングで異なる量の情報を持っていたことから生じている。
9月1日：The Informationが報じる。匿名の関係者によれば、OpenAIはAstraにrecurrent depth、別名looped transformerを使っているという。記事はまた、OpenAIが思考連鎖の可読性を保つためにこの技術の使用度合いを制限していることにも触れた。同日、OpenAIは〈Path to Astra〉を公開し、AstraがPreparedness Frameworkの下で「Critical」のサイバーセキュリティ能力閾値に達した最初のモデルだと発表した。
9月2日：Redwood ResearchのAIセーフティ研究者Ryan GreenblattがXに投稿した。報道が事実なら、これは「AIセーフティとセキュリティの観点からこれまでで最も悪い展開かもしれない」と。AI Futures ProjectのDaniel Kokotajloは一言だけ投稿した。数時間後、OpenAIの主席科学者Jakub Pachockiが公開の場で応じた。「混乱した報道が引き起こす監視不能性への競争を避けたい。現役の最前線モデル（Astraを含む）の計算グラフの深さは、GPT-4の2倍以内だ。」
同日、Sebastian Raschkaがブログに技術的な解説を掲載し、looped transformerはそれほど神秘的なものではないと直言した。独立研究者のRauno ArikeはLessWrongに逐項目の分析を発表し、「懸念すべき点」と「懸念しなくてよい点」を分けて整理した。
9月3日：FortuneとTransformerが相次いで報道をまとめた。同日、日本語圏でも「AI推論が完全に消えた」「人間にはまったく読めない」という類の見出しが出始めた。
最初の報道から最初の技術的解説まで、24時間も経っていない。だが日本語圏に伝わったのは、多くの場合その前半だけだった。
Looped transformerとは何か。Neuraleseとどう違うか
仕組みを先に整理しておかないと、その後の判断に根拠がない。
通常のTransformerがトークンを処理する場合、情報は第一層から最終層へ順に流れ、各層はそれぞれ独自の重みを持ち、最後に出力する。Looped transformerの手法は、特定の層スタックを繰り返し使う。一周目が終わると、その出力を同じ層スタックに再び入力して二周目を回し、十分な回数を重ねてから先へ進む。
Raschkaはオープンソースモデルのnanbeige 4.2を具体例として挙げた。22層のスタックを2回通過させると、深さとしては44層相当になる。しかし重みを共有しているため、保存サイズは22層分のままだ。代償として計算量はほぼ2倍になる。この手法は学術的には少なくとも2023年から研究されており、NeurIPSのMixture-of-Recursions論文はさらにルーターを加え、単純なトークンはループ回数を減らし、複雑なものは増やす仕組みを提案している。
Neuraleseは別の話だ。モデルがほぼ完全に高次元の潜在空間で推論し、中間過程を人間が読める形でまったく生成しないことを指す。比喩で言えば、思考連鎖は解答の各ステップを下書き用紙に書き出していくことであり、neuraleseはすべて暗算で、答えだけを告げることだ。
Raschkaの解説の核心はこの一文だ。層を繰り返し使うこと自体は、可視の思考連鎖を潰さない。次のトークンを出力する前に隠れ状態の計算を余分に行うだけであり、通常のTransformerが各層でやっていることと同種だ。モデルを深く・広くした場合と効果は同類だとも書いている。
言い換えれば、どちらも「より多くの計算がテキストの外で行われる」ことにつながるが、recurrent depthがその方向へ動く距離はずっと小さい。
Pachockiの「GPT-4の2倍以内」とはどういう意味か
この言葉は今回の議論で最も情報量が多い一文であり、同時に最もよく読み飛ばされた一文でもある。
「深さ」とはここでは、モデルが何かを書き出す前に一度にどれだけ遠くまで考えられるかを指す。
まず一番よくある誤解を先に退けておく。ここで言う深さとは「次の一語を出す前に何層分の計算を積み重ねるか」であり、「どれだけ長い下書きを書くか」ではない。深さは一語を生成するたびに積み重なる層の数を数えるものであり、下書きの長さとは別だ。下書きがいくら長くても、各ステップの深さは浅いままでよい。推論モデルはまさに「各ステップは浅いが、ステップ数は多い」という構成で長い推論を支えている。
GPT-4は2023年のモデルで、一度には遠くまで考えられない。それが後の推論モデルが下書きを長く書くことで推論を支えなければならなかった理由だ。Astraの各ステップの計算深度がGPT-4の高々2倍であれば、それはAstraがまだ大部分の推論を書き出す必要があることを意味する。
Rauno Arikeはこれを根拠に推定した。Astraのループ回数はおよそ3〜4回だと。彼の論拠は、looped推論モデルの素の層スタックはGPT-4よりやや浅いかもしれないが、2倍を超えて浅いことはないだろう、というものだ。
この推定はOpenAIに確認されていない。だが現時点で公開されている情報の中では最も具体的な数字であり、The Information自身が報じた「OpenAIは使用度合いを制限している」という内容とも整合している。
日本語圏の報道が増幅した三つの箇所
いくつかの日本語報道を読んだ。その中の一つに「OpenAI Astra神経語の全貌：高次元ベクトル思考でAI推論が完全に消えた」という見出しがあった。内容が完全に間違っているとは言えない。後半では「AstraはLooped Depthを使っており、完全な神経語ではない」と自ら書いてもいる。問題は増幅の比率にある。
一つ目、見出しと本文が矛盾している。 見出しはAstraが神経語で考え推論が完全に消えたと断言するが、本文はAstraがlooped depthを使っていること、OpenAIがneuraleseへの移行を明確に否定していることを認めている。一つの記事の中に正反対の結論が並んでいて、多くの読者が覚えるのは見出しの方だ。
二つ目、Huginnについての二つの数字がどちらも歪んでいる。 その記事には、メリーランド大学のHuginnモデルが「35億パラメータでループ50回、500億パラメータのモデルに近い性能を出した」と書かれていた。
論文の要旨に戻ると、モデルは3.5Bパラメータ・800Bトークンの訓練で、性能向上は「最大で500億パラメータ相当の計算負荷に匹敵する」とある。この文が語っているのは計算負荷の等価性だ。3.5Bのモデルが何周もループを回すと、消費する計算量が50Bモデルの規模に近づく、というだけの話であり、各種ベンチマークでの性能が同等かどうかは別問題で、要旨はそうは主張していない。
ループ回数も合わない。Rauno Arikeの整理によれば、Huginnの訓練時の最大ループ数は32回、テスト時の外挿は64回だ。50という数字は論文要旨では見当たらず、本文中のどこかの図から来たのか、あるいは翻訳の過程で前述の50Bと混線したのかもしれない。推測はしない。
確かなのはこれだ。計算コストに関する一文が、能力に関する一文として読まれた。そして能力の主張は、コストの主張よりずっと重く受け取られる。
三つ目、トレンドの方向がその報道が示すほど確かではない。 暗黙の結論は「ループ回数は際限なく増え続ける」だった。
私はもともと「規模が大きくなるほどループ回数はむしろ減る」という対照データを引いて反論するつもりだった。そのデータはRauno Arikeの記事の中でモデルが代わりに整理した文献まとめから来ており、彼自身「ほとんど個別には読んでいない」と注記していた。後でそれらの論文の要旨を一本ずつ確認したところ、そのループ回数は要旨の中に一つも見当たらなかった。
要旨が書いていたのは別のことだ。Loopieの著者は冒頭で、この分野で長年続く課題として「同等の事前訓練計算量では、パラメータをN倍に増やす方がループをN倍にするより通常は勝る」と述べ、この論文の貢献はその制約を突破することだと説明している。Fuらの論文はループ回数が増えると訓練が不安定になる問題を扱いながら、「ループ回数は推論時に調整できる」ことがこのアーキテクチャの本来の仕組みだと明記している。
つまり、2026年のこれらの論文が取り組んでいるのは、より多くのループを実現可能にすることだ。
だからあの日本語報道がトレンドを逆に描いていたとは言えない。ただ言えるのは、今まさに積極的に覆されようとしている制約を、確定した下り坂として書いており、その証拠として挙げたHuginnがその結論を支持していない、ということだ。
ここは私自身が踏み込んだ落とし穴でもあるので、記録として残しておく。他者がモデルに整理させた文献まとめを証拠に使って、他者の引用を不正確だと指摘しようとした。確認したらその数字は立たなかった。違いは、それが最終版に入らなかっただけだ。
反直感的な発見：ループアーキテクチャの方が解釈しやすい可能性
このポイントは日本語の報道にはまったく出てこなかった。
Rauno Arikeの記事のコメント欄で、関連実験を行ったことのある二人の研究者が同じことを指摘した。モデルが異なるループ回数で動作するよう訓練されている場合、各ループ終了時の中間状態は、それ自体が合法なトークンにデコード可能でなければならない。訓練の分布上、そのループが最後の一周になる可能性が常にあるからだ。
この制約は通常の深いTransformerには存在しない。第37層の中間状態が何らかの単語に似ている必要はない。
一人の研究者はOuro-2.6Bで実験した結果を補足した。95%を超えるトークンは各ループの出力が同一であり、変化するトークンがモデルが追加の深さを実際に使っている箇所を正確に示す、と。同時に彼は、これは完全な思考連鎖には及ばないとも述べた。得られるのは単一トークンレベルの読み取りであり、まとまった推論の流れは読めない。
ここで前提を明確にしておく必要がある。この特性全体は「モデルが異なるループ回数で動作するよう訓練されている」ことに依存している。Astraが固定ループ回数を使っており、中間のループが独立して出力を生成する必要が訓練上なかったなら、この特性はAstraには当てはまらない。Astraがどちらに当たるかについての公開情報はない。
だからこの段落を安心材料にするつもりはない。ただ一つのことを示している——「アーキテクチャが複雑になる」ことを「透明性が下がる」と直結させるのは、検証されていない直感だということだ。
では本当に心配すべきことは何か
誤読を取り除いた後に残る部分は、依然として懸念に値する。ただし懸念すべき場所が、日本語報道の指している場所と違う。
この線を多くの人が守ろうとしている背景から始める。2025年にOpenAI・Anthropic・Google DeepMindの研究者が共同発表した論文は、思考連鎖の可読性を「稀有だが脆弱なセーフティ上の機会」と表現し、業界にその保持方法を研究するよう呼びかけた。その脆弱さの理由は、思考連鎖が訓練プロセスの副産物であり、それが維持される保証が何もないからだ。
ここで自然に出てくる反論を先に退けておく。ループを増やす効果がモデルを深く・広くするのと同種なら、ループ回数を増やすことは単に大きなモデルに換えるのと同じではないか。なぜモデルを大きくすることは誰も「ノブ」と呼ばないのか。
Rauno Arikeはこの問いに対して、私には説得力があると思える区分を示した。モデルを深くするコストは事前訓練に落ちる。費用のかかる訓練を一からやり直す必要があり、訓練が終われば深さはそこで固定され、推論時に増やすことはできない。ループアーキテクチャは違う。少ないループ回数で訓練しておき、その後はわずかなファインチューニング、場合によってはゼロショットで、推論時にループ回数を引き上げられる。
どちらも「深くなる」ことに変わりはないが、一方は訓練を一からやり直す必要があり、もう一方は推論時のパラメータを一つ変えるだけでよい。ノブという言葉が指しているのは後者だ。
Greenblattはpachockiの応答の後に追記し、まさにこの点を述べた。あの声明は「Astraには現在低く設定されているが簡単に引き上げられるノブが存在する」という可能性と完全に両立する、と。そして彼は知りたい三つの問いを列挙した。そのうちの一つが、このアーキテクチャが本質的に大幅な拡大に適した新しい深度パラメータを導入しているかどうかだ。
Apollo ResearchのMarius Hobbhahnはより率直に言った。より深いことがより強いことに換算される限り、圧力の向きは深い方向だ、と。
ここにはスロープの形がある。一歩一歩はそれほど危険でなくても、しばらく歩いてから振り返ると出発点からずいぶん遠くに来ている。最初の一歩を踏み出すべきではなかったと主張する人がいるのは、そのためだ。
もう一層あり、日本の読者にはこちらの方が実用的だと思う。OpenAIの政策チームStrategic FuturesのDean Ballは今回の騒動を批判しながら、同時にこう指摘した。業界全体がSNSのタイムライン上で技術的に複雑な主張を判断しており、対照できる事実上の根拠がほとんどない、と。彼の結論は、それこそが法定の独立監査と技術評価が必要な理由だ、というものだった。
Transformerの記事のコメント欄で、ある読者が具体的な参照点を補足した。私が条文原文を確認したところ対応が取れた。EU AI法附属書XI第一節第1条(d)は、汎用モデルの提供者に「アーキテクチャとパラメータ数」の記録を義務付けており、第2条(b)は主要な設計上の選択とその根拠・前提の記録を求めている。システミックリスクのあるモデルには第二節第3条の追加要件があり、各ソフトウェアコンポーネントの連携方法を含むシステムアーキテクチャの詳細な説明を提出しなければならない。
規制の枠組みは存在する。落差は誰がそれを見られるかにある。その文書はAI Officeに提出されるものであり、読者に公開されない。主席科学者がXで引用した深さの数字と、監督機関に提出された技術文書とは、性質の異なる二つのものだ。
読めないものは管理できない
私自身の作業フローの中に、この件から直接影響を受ける小さな部分がある。
私は普段、同じコードや同じ分析を複数のベンダーのAI agentに渡してそれぞれ独立してレビューさせ、その食い違いを並べて自分で判断するという手順を踏んでいる。この方法が成り立つ唯一の理由は、それらが理由を私の読めるテキストとして書いてくれることだ。結論を鵜呑みにするわけではないが、少なくともどうやってその結論に至ったかが見え、受け入れるかどうかを自分で判断できる。
もしあるときこれらのagentが、互いにとってより効率的だが私には読めない形式でやり取りするようになったら、この相互検証は投票に退化する。賛成が何票、反対が何票、理由は見えない。それは前の記事に書いた「説明を求めるという最も基本的な監視手段すら失われる」と同じことであり、ただ一つの机の上に縮小されただけだ。
だから今回についての私の判断はこうだ。Neuraleseは起きていない。起きたのは別のことで、モデルに推論の深さを制御するノブが加わり、外部からはその目盛りが見えない。
一年以上前に〈Neuraleseとは何か〉で書いた「主要なAI企業は最前線のモデルにNeuralese CoTを正式実装していない」という文は、厳密には今もまだ成立している。
更新が必要なのは後半だ。この問いはもはや「やっているかやっていないか」の二択ではなく、「どの程度まで、誰が確認できる権限を持ち、確認した結果を誰が見られるか」の問いになった。
そしてこの三つの問いに、現時点では一つも答えが出ていない。
この線上の他の議論を読みたければ、「知性と秩序 → AIガバナンス」へ。
💬 コメント
読み込み中...