Die Forscher stellten fest, dass kleine Sprachmodelle bei seltenen Aufgaben versagten, weil häufige Aufgaben die gelernten Repräsentationen wiederholt überschrieben, und zeigten, dass eine Erhöhung der Häufigkeit der Zielaufgaben in den Trainingsdaten das Problem beheben konnte, ohne die Modellgröße zu erhöhen.