Robots协议的那些事

由于本站文章搜索引擎搜索机器人(以下简称:爬虫)爬取效果不是很理想,出现了导航链接大量被爬取,而文章链接爬取较少。所以准备对本站加入 SEO,其实也就是引入了 Robots协议 。Robots 协议(也称为爬虫协议、机器人协议等)的全称是「网络爬虫排除标准」(Robots Exclusion Protocol)。网站通过 Robots 协议告诉搜索引擎哪些页面可以抓取,哪些页面不能抓取,而 robots.txt 文本文件 就是 Robots 协议的表述。 …

启用Let's Encrypt免费的HTTPS证书

原文:https://github.com/diafygi/acme-tiny 为了跟随 HTTPS 浪潮,憧憬了很长时间,终于到现在本站也正式启用了 HTTPS,本文详细记录了本站申请证书的过程及途中所遇到一些的问题。 Let’s Encrypt 是由互联网安全研究小组(ISRG,一个公益组织)提供的 数字证书认证 服务。主要赞助商包括电子前哨基金会,Mozilla 基金会,Akamai 以及思科。…