本文へ移動Open Research Lab

独立再現とは、元の研究過程の外にいる人が、対象の記事とデータのバージョンを明示して行う再現です。

同じ過程による再実行は、再現性の検査であって独立再現ではありません。各記事に載せている scripts/reproduce.py --quick も、公開データと限られた経路の検査であって独立再現ではありません。

各記事は、独立再現、再現の失敗、確認されたbug、未解決の批判を、いずれも0から始めます。現時点ですべて0です。

報告するときは、次を含めてください。

  • 対象のコミット
  • 実行環境
  • 実行したコマンド
  • 入力
  • 観測された出力
  • 公開している手順との差分