相撲日和 モデル検証場予想は、答え合わせまで公開する

OUT-OF-SAMPLE TEST

2020–2026年、未学習期間の成績。

87,375

的中率だけなら、50.1%予想も99%予想も同じ一勝です。そこで確率の誠実さを見るBrierスコアとlog loss、予想帯と実勝率のずれも並べます。

CALIBRATION

「70%」は、本当に7割勝ったか。

土俵日和 v2
0–10%
予想実績
22.9%83
10–20%
予想実績
26.7%985
20–30%
予想実績
32.5%1,704
30–40%
予想実績
36.4%6,769
40–50%
予想実績
48.2%28,760
50–60%
予想実績
59.0%35,910
60–70%
予想実績
72.8%9,979
70–80%
予想実績
79.8%2,053
80–90%
予想実績
86.6%987
90–100%
予想実績
89.7%145

YEAR BY YEAR

年ごとに、勝ち逃げしていないか。

LOG LOSS
EloGlicko-2土俵日和 v2土俵日和 v3実験
20200.67040.67310.67270.6728
20210.66390.66380.66330.6629
20220.66580.66360.66280.6623
20230.66270.66060.65980.6594
20240.66470.65990.65890.6582
20250.66930.66670.66550.6653
20260.66710.65960.65920.6597

DATA QUALITY

使えるデータと、まだ危ないデータ。

監査
99.5%体格データの取組カバー率

高いが、計測時点履歴がないためv3では研究扱い。

85.6%決まり手カバー率

予測時点より前の勝ち技だけで傾向を作成。

25.0%漢字しこ名カバー率

2,260 / 9,048 力士を照合済み。

PUBLIC MODEL POLICY

改善しなかった特徴は、足さない。

01

時系列で分割

未来の勝敗を過去のレートや相性へ混ぜません。

02

確率で採点

当否だけでなく、自信過剰もlog lossで罰します。

03

実験表示を分離

v3が僅かに改善しても、データ時点が弱い間は正式採用しません。