独立再現とは、元の研究過程の外にいる人が、対象の記事とデータのバージョンを明示して行う再現です。
同じ過程による再実行は、再現性の検査であって独立再現ではありません。各記事に載せている scripts/reproduce.py --quick も、公開データと限られた経路の検査であって独立再現ではありません。
各記事は、独立再現、再現の失敗、確認されたbug、未解決の批判を、いずれも0から始めます。現時点ですべて0です。
報告するときは、次を含めてください。
- 対象のコミット
- 実行環境
- 実行したコマンド
- 入力
- 観測された出力
- 公開している手順との差分