測定設計自分で作った世界から出た結論を、どう疑えば落とせるかEnglish
何を調べたか
「作業が機械に沈殿していく速さ」を判断キューから読み取れるか、という測定設計を、生成世界の上で検定していました。封印した予測5 family を経て、二つの結論を看板に掲げました。
- 沈殿の速さは、フロンティア——新しい型が来続けるかどうか——を見ない
- フロンティアが閉じるかは、一万件の記録があれば判定できる
どちらも撤回しました。 このノートは、その二つがどう壊れたかと、壊した検定の中身です。
なぜ重要か
どちらも「自分で作った世界で、自分が選んだ定数の上で、自分の主張が通った」という形をしていました。合成世界は作者に媚びます。媚び方には型があり、型が分かれば検定できます。
落とした二つは、どちらも他の分野に同じ形で現れます。片方は測っている量の唯一の駆動源を自分で固定してしまう形、もう片方は観測できない邪魔者を一点に固定して、結果を標本数だけの関数として公開する形です。
方法
主張をそれぞれ、公開時に一点へ固定していた量の掃引に変えました。主張が頑健なら、掃引しても結論は動かないはずです。
何が失敗したか
一つ目：指標を釘付けにしていたのは自分が置いた定数だった
この世界で、判断が再利用可能な規則にならない経路は一つしかありません。「毎回違う」と人が呼ぶ確率で、私はそれを 0.05 に固定していました。掃引します。
定数 p | 1 − p | 沈殿の速さ（閉じる世界） | 沈殿の速さ（開いた世界） | 差 |
|---|---|---|---|---|
| 0.02 | 0.98 | 0.9674 | 0.9781 | +0.0108 |
| 0.05 | 0.95 | 0.9530 | 0.9486 | −0.0044 |
| 0.15 | 0.85 | 0.8720 | 0.8584 | −0.0136 |
| 0.30 | 0.70 | 0.7587 | 0.7322 | −0.0265 |
私が選んだ定数は沈殿の速さを 0.209 動かします。フロンティアは最大でも 0.027 しか動かさず、しかも符号が安定しません。7.9倍です。
沈殿の速さがフロンティアを見ないことを発見したのではありません。何も見えない世界を作って、見えないと報告していました。
⚠️最初に書いた検定は「沈殿の速さが 1 − p とほぼ一致するか」という絶対値の閾値でした。これも自分で置いた閾値を外しました——ずれが p とともに大きくなるので、一点の許容幅では要点を隠してしまう。正しい比較は自分が選んだ量が動かす幅 対 測りたい量が動かす幅です。
二つ目：判定線は標本数ではなく、観測できない量の性質だった
フロンティアが閉じるかは、型の数の伸びの傾きで測ります。私はその推定量の帰無分布を基礎新規性 θ を 30 に固定して求め、判定線 0.283 を標本数だけの関数であるかのように公開しました。
θ を掃引します。真のフロンティアはすべて完全に閉じています。記録は一万件で固定。
θ | 閉じた世界の推定値 | 公開した判定線 0.283 を超えるか |
|---|---|---|
| 5 | 0.1564 ± 0.0325 | — |
| 15 | 0.1918 ± 0.0352 | — |
| 30 | 0.2065 ± 0.0202 | — ←ここだけを見ていた |
| 100 | 0.2884 ± 0.0121 | 超える |
| 300 | 0.3837 ± 0.0092 | 超える |
参考：θ = 30 で、本当にフロンティアが開いた世界の推定値は 0.3947。
θ = 100 では、完全に閉じた世界が公開した判定線を超えます。θ = 300 では、本当に開いた世界と見分けがつきません。 θ は対象の性質であって、外から観測できません。
⇒ 「一万件あれば判定できる」という手順は、このままでは使えません。 邪魔者の推定が抜けています。
何が変わったか
- 看板結論を二本とも取り下げ、元の記述は取り下げの印を付けたまま残した
- 生き残ったものだけを主張し直した
生き残ったもの：規則の再利用は、閉じた世界で 431.5、開いた世界で 14.6——0.034倍。これは私が置いた定数ではなく、型の分布から導かれます。つまり再利用と沈殿の速さは別の量で、フロンティアに反応するのは前者だけ、という形なら立ちます。「沈殿の速さが特に盲目である」という強い形は立ちません。
落ちたもの：「沈殿の速さはフロンティアを見ない」「一万件で判定できる」。
証拠の範囲
合成です。機構の族は私が書きました。実データは一行も使っておらず、応用分野についての主張は含みません。このノートが示すのは、二つの公開済みの主張がどう取り下げられたかであって、対象の世界について何かが分かったということではありません。
このレビューは自己レビューです。自分が思いつかなかった攻撃は、原理的にここに入っていません。
まだ分からないこと
- 沈殿の速さが動きうる世界——人の一般化する意欲が新規性に依存する世界——で、同じ主張が立つかどうか。撤回した主張を検定可能な形に立て直していません
- 邪魔者と本命を同時推定できるかどうか。成長曲線は傾きだけでなく形にも両方を持つので原理的にはできるはずですが、未実装です
- 型をどう定義するかに対する推定量の感度。ここが崩れると二つ目の話は全部崩れます
この結論が崩れるとき
- 沈殿の速さを駆動する経路が複数ある世界で、それでもフロンティアに反応しないなら、一つ目の撤回は行きすぎです
- 邪魔者を同時推定できれば、二つ目は撤回ではなく手順の追加で済みます
自分で確かめる
python scripts/reproduce.py --quick frontierこのディレクトリからも実行できます。
python tests/reproduce_retractions.py公開しているのは標準ライブラリだけで動く独立実装と、二つの掃引そのものです。
証拠とデータ
- 世界、二つの攻撃、生き残った結果
- 内部の元記録のハッシュ：
f92531bdfbd2e510a7f401ea3b57860164ba84e344bb324baf6bbf79ef4ad4c4
外部からの検証
- 独立再現：0
- 再現失敗：0
- 公開後に確認されたbug：0
- 未解決の批判：0
次の実験
沈殿の速さが動きうる世界を作り直し、撤回した主張を検定可能な形で封印し直すこと。そして邪魔者と本命の同時推定。どちらも済むまで、この測定設計を誰かに勧めることはしません。