判断题预训练过程中不会使用到如遮蔽语言模型这样的自监督学习任务。
判断题预训练模型一旦完成,其权重和参数就不能再次被修改。
判断题预训练模型在所有语言上都适用,无需考虑语言的差异。
判断题预训练大模型时,应该尽可能使用更多的模型参数来提高性能。
判断题在预训练过程中,使用更多的计算资源一定可以得到更好的模型。