找考题网-背景图
问答题

简答题 汉语自动分词中有哪些困难的地方。

【参考答案】

汉语自动分词中,目前还十分困难。
首先,在理论上,什么是词,什么不是词,这是一个语言学界没有定论的问题。
另外,在算法上,自动分词还有两大难题:歧义字段的切分和未登录词的处理。
另外,人名、地名以及专名名词不可能在词表中给出,如何处理这些词,也成了自动分词中的难题。