交差検証 - 限られたデータを有効に使う

前回の3分割の話なんですが、例えばデータが300件しかない場合だと、テストに回す余裕がほぼないんです。
こういう時はどうすればよいですか?

つまり5分割なら、5パターンの学習・評価を行い、5つの結果を平均して最終的な性能とするわけですね。

注意点としては、計算コストがk倍になります。
大規模データや深層学習では現実的でないため、単純に訓練/検証を分ける方式(ホールドアウト法)が使われることも多いです。

その通りです。
また、時系列データでは未来→過去への情報漏れを防ぐため、時間順を維持した特殊な交差検証(Time Series CV)を使います。
ランダムに分けると未来情報が過去の予測に混入してしまうので。

補足すると、交差検証で得られる評価は平均値と標準偏差の両方を見ると品質が掴めます。
ばらつきが大きいモデルは運で良いスコアが出るだけかもしれないので要注意です。

Kaggleなどのコンペでは、交差検証スコアと公開リーダーボードのスコアが一致するかを見て、『このモデルは汎化しているか』を判断します。
交差検証は実務でも欠かせない道具です。