首页 > seo优化 > robots文件相关介绍

robots文件相关介绍

[导读]:robots文件是seo优化中最为重要的,蜘蛛来抓取网站的时候第一时间访问的就是网站的robots文件。这个文件可以告诉搜索引擎蜘蛛哪些页面能抓哪些页面不能抓。robots文件处理的好,可以...
robots文件是seo优化中最为重要的,蜘蛛来抓取网站的时候第一时间访问的就是网站的robots文件。这个文件可以告诉搜索引擎蜘蛛哪些页面能抓哪些页面不能抓。robots文件处理的好,可以有效的帮助我们网站集权。
一、大家看一下织梦网站的robots文件:
User-agent: * 
Disallow: /plus/ad_js.php
Disallow: /plus/advancedsearch.php
Disallow: /plus/car.php
Disallow: /plus/carbuyaction.php
Disallow: /plus/shops_buyaction.php
Disallow: /plus/erraddsave.php
Disallow: /plus/posttocar.php
Disallow: /plus/disdls.php
Disallow: /plus/feedback_js.php
Disallow: /plus/mytag_js.php
Disallow: /plus/rss.php
Disallow: /plus/search.php
Disallow: /plus/recommend.php
Disallow: /plus/stow.php
Disallow: /plus/count.php
Disallow: /include
Disallow: /templets
robots文件
二、以上面的robots文件我们做一些解释
1、User-agent,这个表示的是哪个搜索引擎,如果你想让百度蜘蛛抓取,那就写成这样User-agent:Baiduspider。
2、*,这个可以理解为各位搜索引擎蜘蛛
3、/,这个表示网站的根目录
4、Disallow,这个表示禁止访问。如Disallow: /templets,这个就是说禁止蜘蛛抓取根目录下的templets文件
5、Allow,这个表示允许访问。如Allow: /include,这个就是说允许蜘蛛抓取网站根目录下include文件
三、robots文件放在哪边,可以生效
此文件需放置在网站的根目录,且对字母大小有限制,文件名必须为小写字母。所有的命令第一个字母需大写,其余的小写。且命令之后要有一个英文字符空格。如果不确定是否生效,你可以在浏览器中输入域名/robots.txt,如果出现了文件内容,那就说明可以了。

本文《robots文件相关介绍》由小勒seo博客原创,如若转载,请注明出处:https://www.xleiboke.cn/seoyh/69.html

说点什么吧
  • 全部评论(0
    还没有评论,快来抢沙发吧!