预训练模型的预训练阶段不需要考虑数据的语义结构。