検証は暴落の翌日に始まった — 査読を通した唯一の主要AIが、驚かれた側だったという話

はじめに ── 売った人たちが見ていたのは、誰が測った数字だったのか

2025年1月27日、NVIDIAは1日で5,890億ドル（約91兆円）の時価総額を失った。米国市場史上最大の1日の下落である。

きっかけは、DeepSeekというまだ広く知られていなかった企業のモデルが、OpenAIの最上位モデルに並ぶベンチマークスコアを出した、という話だった。

ここで一つだけ確認したい。その日、そのスコアを独立に再現した人は、世界に一人もいなかった。

前回の記事（557万ドル（約8億7,000万円）は何の値段だったか）で扱ったのは、訂正が出ていたのに聞かれなかったという話だった。反証は暴落の18日前に、無料で、署名付きで公開されていた。

今回は性質が違う。訂正そのものが、まだ存在していなかった。

前者は情報の配分の失敗である。後者は、そもそも誰も測っていなかったという話だ。根はこちらのほうが深い。

検証の年表 ── 市場は、検証プロジェクトの発足より6日早く動いた

日付を並べる。この記事の骨はここにある。

市場が結論を出してから、最初の独立した数字が出るまで6日。査読という形の検証が終わるまで、8か月弱かかっている。

aiko

待つのじゃ。重みは公開されとったんじゃろ？ なら誰でも自分で走らせられるはずじゃ。6日もかかるほうがおかしくないか。

sa-tan

そこが大事なところで、技術的には数日で終わる作業なんです。 遅かったのは能力ではなく、順番のほうです。市場は6日待たなかった、というだけで。

sa-tan

ただ、「走らせる」と「再現する」も別物なんですよね。公開されたのは重みだけで、Open-R1 が最初に挙げた欠落は訓練データと訓練コードです。スコアを測り直すのは数日でできますが、「その数字がその方法で出たのか」を確かめるのは、公開されていない部分を推測で埋める作業になります。前者は検算、後者は再現で、報道はどちらも「検証」と呼びます。

最初に再現されたのは、市場が反応したモデルではなかった

2月2日の Open-R1 更新に載った数字を並べる。左が Hugging Face 自前の評価環境（lighteval）での測定値、右が DeepSeek の報告値である。

読み方が二つある。「おおむね一致した」とも読めるし、「6本中4本で下振れした」とも読める。 Open-R1 自身は前者の立場で、報告値を再現できたと書いている。

ただ、この表について正確に言えることが一つある。ここに R1 本体が無い。 並んでいるのは R1 から知識を蒸留した小型モデルで、1月27日に市場が反応した「o1 に並ぶモデル」そのものではない。

理由は単純で、R1 本体は 6,710 億パラメータあり、動かすだけで大規模なGPU群が要る。再現できる人の数そのものが、モデルの大きさで決まっている。「重みが公開されている＝誰でも検証できる」は、原理としては正しいが、実務としては人数が絞られる。

「再現できません」は、答えのないまま閉じられた

2月6日、DeepSeek の公式リポジトリに Issue が立った。

4ポイントの差である。順位が入れ替わるほどの差ではない。だから「大したことではない」とも言える。

だが、この記事が見たいのはスコアの大小ではなく、問いが立ったときに答えが返る仕組みがあるかどうかのほうだ。ここでは返らなかった。

そして重要なのは、この差が生じた原因は、いまも分かっていないということである。推論の設定なのか、評価コードの版なのか、たまたまなのか。誰も切り分けていない。切り分ける義務が誰にもないからだ。

Zash

issue が返事なく stale で閉じるのは、正直そう珍しくない。無償で公開したものに全部答える義理はないしな。運用してる側からすれば、まっとうな判断ですらある。

Zash

問題は、その「珍しくない」状態のまま、数字だけが金融市場の入力になっていたことだ。研究の作法としては普通のものが、投資判断の根拠としては薄い。薄いまま使われた。

なお、ベンチマークそのものの信頼性を疑う議論も同時期に存在している。コード系の評価では、問題文が訓練データに混入していないかという汚染（contamination）が長年の課題で、LiveCodeBench は問題を公開日で区切ることでこれを避ける設計になっている。DeepSeek 側も技術報告で除染手順を記載している。

つまり「ベンチマークは信用できない」という単純な話ではない。測る側も、測られる側も、それなりの手当てはしている。 抜けていたのは、その手当てが効いたかどうかを外から確かめる工程だけだ。

8か月後、検証は「査読」という形でやってきた

2025年9月17日、DeepSeek-R1 の論文が Nature に掲載された。表紙を飾っている。

査読の過程は公開されている。2025年2月14日から7月17日まで、3ラウンド、8人の査読者、報告と応答で64ページ。

このとき初めて公表された数字がある。R1 の強化学習にかかった費用は 29万4,000ドル（約4,300万円）、512基の H800 を80時間動かした分だという（CNN, 2025年9月19日）。これは土台となる基盤モデルの約600万ドル（約8億8,000万円）を含まない額で、前回の記事で扱った「557万ドルが何を含まないか」という論点が、そのまま繰り返されている。

そして今回も、掲載の2日以内に反論が出ている。The Register は「29万4,000ドルで作ったわけではない」と書いた。研究インフラ全体を含めない額だから、というのが理由である。

査読を通っても、数字の射程をめぐる論争は終わらない。査読が保証するのは「この方法でこの結果が出たという主張が、専門家の検討に耐えた」ことであって、「この会社が誠実だ」でも「この数字が全費用だ」でもない。

なお、性能そのものの独立評価も出そろっている。3月の METR は、R1 を「人間の専門家が約35分で終える作業を50%の確率でこなせる水準」と測り、o1-preview をわずかに上回り、当時の Claude 3.5 Sonnet を大きく下回ると結論した。9月の NIST CAISI は、ソフトウェア工学とサイバー領域で米国モデルとの差が20%以上あり、同等性能なら米国モデルのほうが平均35%安いと報告している。

「o1 に並んだ」は完全な嘘ではなく、そのまま受け取るには粗すぎる、というあたりに落ち着いた。 数十兆円が動いた日には、この粒度の答えは存在しなかった。

驚いた側は、いまも一つも通していない

ここで、この記事でいちばん妙な事実を置く。

Nature は R1 の掲載にあたり、主要な大規模言語モデルで独立した査読を通ったのはこれが初めてだと書いている。裏を返せば、こういうことになる。

1月27日に市場がやったのは、査読を通っていない数字と、査読を通っていない数字を比べるという作業だった。片方だけが疑われたのは、それが中国製で、無名で、安かったからである。数字の出所の格に差があったからではない。

aiko

……ということは、査読を通したDeepSeekのほうが正しかったって話になるのか？ なんかスッキリせんのじゃが。

sa-tan

そこは分けたほうがいいと思います。査読が言えるのは「論文に書かれた方法と結果が、8人の専門家の検討に耐えた」までで、会社の姿勢を保証するものではないんです。実際、同じ9月に CAISI が別の欠点を挙げていて、セキュリティ面では米国モデルより大きく弱いと報告しています。

aiko

じゃあ結局どっちなんじゃ。良かったのか悪かったのか。

sa-tan

「どっち」で答えられる問いではなくなった、というのが答えなんだと思います。 1月27日に売買した人たちは、一つの数字で優劣を決められる世界に住んでいました。いま手元にあるのは、査読は通った・性能は当時の最上位には届かない・費用の内訳は依然もめている・安全性には弱点がある、という噛み合わない4つの事実です。

sa-tan

評価が複数の軸に割れると売買の判断は作れません。だから当時、一つの数字に圧縮されたんですよね。市場が急いだのは無知だからというより、一つの数にしないと動けない仕組みだからです。

まとめ ── 「誰が測ったか」は、1行で確認できる

この記事の結論を一つに絞る。開発元の自己申告と、第三者の再現は、別の重みを持つ情報である。 1月27日に起きたのは、その二つが同じ扱いを受けた、ということだった。

この区別は、AIの話にだけ効くものではない。次の3つは形が同じである。

確認は1行で済む。「その数字、誰が測ったの？」 それだけである。

答えが「売っている本人」なら、嘘だという意味ではない。まだ確かめられていない、という意味だ。 その状態のまま、金額の大きい判断をしないほうがいい。

そしてもう一つ。1月27日の反応を「中国製を疑いすぎた」と読むと、半分しか合わない。疑うこと自体は正しかった。片方しか疑わなかったことが誤りだった。 疑いの向け先を国籍で決めると、こうなる。

本記事はDeepSeek論争の検証シリーズです。「557万ドル（約8億7,000万円）が何の値段だったか」は第1回、「その後の価格競争で何が起きたか」は価格戦争編で扱っています。