单个网页或者链接禁止蜘蛛爬行的代码

对于整个网站可以通过Robots.txt来设置，但对于单个网页则使用<meta name="robots" content="nofollow">代码比较方便。

nofollow 是HTML页面中a标签的属性值。打个比方如果网页上有指向淘宝的链接，但那我们可以在此链接加上了 rel="nofollow" 标注，这样可以避免百度蜘蛛爬取。

所以对于单个网页而言，禁止搜索引擎蜘蛛追踪的方法就是：

<meta name="robots" content="nofollow">

对于单个链接想要屏蔽蜘蛛或者搜索引擎就可以这样：

<a href="login.html" rel="nofollow">登录</a>

nofollow小知识：

1、nofollow可以防止不可信的内容，比如留言与评论中的垃圾链接，防止指向拉圾页面。
2、推广或者付费链接影响Google的搜索结果排名，可以使用nofollow属性。
3、引导爬虫抓取有效的页面。