言語モデルのスケーリング測 | AIが発展する根拠

理学や生物学など幾つかの分野に「スケーリング則」（Scaling Laws）という用語があるが、本稿では人工知能／機械学習分野の自然言語処理におけるスケーリング則について紹介する。

ニューラル言語モデル（＝ニューラルネットワークの自然言語処理モデル）における「スケーリング則（Scaling Laws for Neural Language Models）」とは、自然言語処理モデルのパラメーター数（＝モデルのサイズ）や、データセットのサイズ、トレーニングに使用される計算（Compute）量が増えるにつれて、損失（Loss、誤差）が「べき乗則」*1に従って減少する、という法則のことである（図1）。つまり、時間と費用を掛けた巨大なモデルほど、より高い性能を発揮できる、ということだ。