* robots用于定义网页搜索引擎索引方式
* robots出现在name属性中,使用content属性定义网页搜索引擎索引方式
* 通过使用meta的robots属性值可以为没有文件上传权限的用户提供/robots.txt文件的所有功能
* 如果网页没有提供robots,搜索引擎认为网页的robots属性为all(index,follow);
定义了此网页不被搜索引擎索引进数据库,但搜索引擎可以通过此网页的链接继续索引其它网页
定义了此网页被搜索引擎索引进数据库,但搜索引擎不可以通过此网页的链接继续索引其它网页
定义了此网页不被搜索引擎索引进数据库,且搜索引擎不可以通过此网页的链接继续索引其它网页
针对谷歌GOOGLEBOT使用robots
针对百度baiduspider使用robots
* robots出现在name属性中,使用content属性定义网页搜索引擎索引方式
* 通过使用meta的robots属性值可以为没有文件上传权限的用户提供/robots.txt文件的所有功能
* 如果网页没有提供robots,搜索引擎认为网页的robots属性为all(index,follow);
<meta name="robots" content="noindex" />
定义了此网页不被搜索引擎索引进数据库,但搜索引擎可以通过此网页的链接继续索引其它网页
<meta name="robots" content="nofollow" />
定义了此网页被搜索引擎索引进数据库,但搜索引擎不可以通过此网页的链接继续索引其它网页
<meta name="robots" content="none" />
定义了此网页不被搜索引擎索引进数据库,且搜索引擎不可以通过此网页的链接继续索引其它网页
<meta name="googlebot" content="noindex, nofollow" />
针对谷歌GOOGLEBOT使用robots
<meta name="baiduspider" content="noarchive" />
针对百度baiduspider使用robots
原创文章,转载请注明转自快乐飞扬.本文链接地址:http://www.klfy.org/post/103/
sjdzlz :2011-12-9 10:10
这是新建文章1.html,请修改添加正文内容。
somebody :2010-6-21 23:03
robots.txt这种方式呢
mysql查询替换语句
个人网盘程序(把去年写的东西给重新拿出来)