防止内容被抓取训练AI 百度百科屏蔽谷歌/必应等搜索引擎

据快科技讯今日（8月22日）报道，有消息称，百度百科近期开始屏蔽Google、Bing等大部分搜索引擎。有望阻止这些搜索引擎和其他爬虫未经授权抓取百度百科内容。用于训练人工智能。

百度百科的robots.txt文件显示，目前仅允许百度搜索、搜狗搜索、中国搜索（Chinaso）、YYSpider、易搜蜘蛛等少数搜索引擎抓取其内容。

谷歌搜索、必应搜索、微软MSN、UC浏览器的Yisouspider以及所有其他搜索引擎爬虫均明确禁止爬取百度百科内容。

虽然360搜索没有单独列入禁止名单，但百度百科的政策是禁止所有非白名单爬虫，因此360搜索等搜索引擎也被屏蔽。

但百度百科的这种做法，其实只是防君子，不防小人。一定有很多爬虫通过各种方式不断地爬取内容，并用它来训练AI。