由于本站文章搜索引擎搜索机器人（以下简称：爬虫）爬取效果不是很理想，出现了导航链接大量被爬取，而文章链接爬取较少。所以准备对本站加入 SEO，其实也就是引入了 Robots协议 。Robots 协议（也称为爬虫协议、机器人协议等）的全称是「网络爬虫排除标准」（Robots Exclusion Protocol）。网站通过 Robots 协议告诉搜索引擎哪些页面可以抓取，哪些页面不能抓取，而 robots.txt 文本文件 就是 Robots 协议的表述。 …
由于本站文章搜索引擎搜索机器人（以下简称：爬虫）爬取效果不是很理想，出现了导航链接大量被爬取，而文章链接爬取较少。所以准备对本站加入 SEO，其实也就是引入了 Robots协议 。Robots 协议（也称为爬虫协议、机器人协议等）的全称是「网络爬虫排除标准」（Robots Exclusion Protocol）。网站通过 Robots 协议告诉搜索引擎哪些页面可以抓取，哪些页面不能抓取，而 robots.txt 文本文件 就是 Robots 协议的表述。 …