【源码商城】做SEO的每一个人,干脆说只要拥有网站的人,没有一个不希望自己的网站不被搜索引擎收录,当然这一点是正确的,只是有的时候我们网站存在的一些机密性数据或者影响网站的其他因素不想被搜索引擎收录的时候,我们该怎么办呢?怎样防止被搜索引擎收录?
不向大家卖关子了,其实很简单,只需要设置robots.txt文件,那么如何设置robots文件,下面我会想大家介绍一下:
所谓robots文件,其实就是一个像蜘蛛发出警告的文件,我们都知道,蜘蛛来爬行我们的网站的时候,都是要先检查你的网站有没有 robots.txt这样一个文件,而这个文件里就写入了你不想被搜索引擎收录的内容。当然,如果你的网站不存在这些内容,那么千万不要建立robots 这样的一个文件,不然......呵呵。
1.robots.txt文件在哪里?
robots.txt文件应该在网站的根目录下,比较容易找到,也可以这样看,比如你的url为 http://www.leyuanbaby.com(本人的网站,顺便举例子),那么你的robots.txt文件应该在http: //www.leyuanbaby.com/robots.txt中,这里面限定了一个让蜘蛛机器人读取的一个范围。
2.禁止搜索引擎在搜索结果中显示网页快照,而只对网页建索引百度支持通过设置网页的meta,防止搜索引擎显示网站的快照。方法如下:要防止所有搜索引擎显示您网站的快照,请将此元标记置入网页的 部分:
要允许其他搜索引擎显示快照,但仅防止百度显示,请使用以下标记:
也许,这几点设置对大多数的站长用处不是很大,因为更多的站长还是希望自己的网站被搜索引擎收录,这点知识,也许是无用之兵。以上内容也仅仅是我最近学习的一点知识,作为心得和收获和大家分享一下。