找考题网-背景图
单项选择题

以下关于网络爬虫的描述中,错误的一项是()。

A.在爬虫开始的时候,需要给爬虫输送一个URL列表,作为爬虫的起始位置
B.根据某种抓取策略爬行新发现的URL,如此重复下去
C.爬虫程序会抓取所有网页,以保证搜索正确性
D.对于商业搜索引擎来说,分布式爬虫是必须采用的技术