找考题网-背景图
单项选择题

A.用于将文本转换为模型可处理的数值向量的工具B.用于评估模型性能的指标C.模型训练时的优化算法D.模型输出的……

在大语言模型中,什么是tokenizer()?

A.用于将文本转换为模型可处理的数值向量的工具
B.用于评估模型性能的指标
C.模型训练时的优化算法
D.模型输出的文本格式