关于众多公共网站或平台上的robots.txt文件 正确的描述是（）。
已帮助 人
关于众多公共网站或平台上的robots.txt文件，正确的描述是（）。
A．robots.txt每个网站都有呈现给访问者
B．作为数据爬取者，不必要关注robots.txt声明的内容
C．每个网站或平台的robots.txt文件都是相同的
D．表明该网站或平台中不想被spider访问的部分，或者指定搜索引擎只收录指定的内容
回答
共1条回复-
D