特定文章反爬虫测试

有的文章, 很适合给爬虫们爬走转载. 爬走了外链多, 搜索引擎权重大, 相当好.

但是有的文章不想被他爬走, 比如我写了一篇爱情吐槽文章, 吐槽我对ex的遗忘速度太慢太慢, 那如果这个文章也被以前的老客户技术站爬虫爬走登载一堆技术文章当中, 那就相当不好了.

最后我决定试试 robots.txt 的效果, 只要url里面含有 nobot- 关键字的, 都属于disallow系列. 本文就是一个样例.

User-agent: *
Disallow: /wp-admin/
Disallow: /*/nobot-*

效果如图所示: