robots.txt怎么写

来源:收集整理作者:Yang日期:2020-10-20

①robots.txt纯文本文件,网站管理员可以在这里声明该网站不想robots访问的部分,SEO优化,所以robots优化直接影响着搜索引擎对网站的收录情况;
②robots.txt必须放置在一个站点的根目录下,SEO百度排名,并且文件名必须全部小写:;
③就算你的网站全部内容都可以被搜索引擎收录,快速排名,那也要写个空的robots.txt;因为有的服务器的设置会使没有robots.txt的时候返回200状态码和相应的错误信息;
2、robots的写法
# robots.txt file from
# All robots will spider the domain
User-agent:*
Disallow:
①允许搜索引擎访问所有部分
User-agent:*
Disallow:
②禁止搜索引擎访问任何部分
User-agent:*
Disallow:/
③禁止搜索引擎访问某几个部分
User-agent:*
Disallow:
Disallow:
Disallow:
④允许某个搜索引擎访问
User-agent:Baiduspiter
Disallow:/
⑤禁止所有浏览器访问某几个目录下的内容及文件
User-agent:*
Disallow:/sss/
Disallow:/aaa/
⑥禁止除了百度浏览器以外的所有搜索引擎抓取任何内容:
User-agent:Baiduspiter
Disallow:/
User-agent:*
Disallow:/
⑦$:通配符,匹配url结尾的字符。禁止百度抓取所有.jpg文件
User-agent:Baiduspiter

延伸阅读

本文链接:https://www.xtzwz.com/html/477.html

标签:robots

免责声明:

本站部分内容收集于互联网,分享目的仅供大家学习与参考,版权归原作者所用,不代表本站观点,请勿用于非法用途!如若违背与本站无关!如有侵权,请联系我们,我们将第一时间及时处理。

  • 上一篇:如何提高网站关键词的搜索排名?
  • 下一篇:没有了
  • 经济版

    制作周期:7天

    起价为:¥850

    响应式:支持电脑版+手机版

    续费价格:= ¥350-¥1350

    增加语言:= ¥300

    高端企业网站

    制作周期:15天

    起价为:¥3880

    响应式:支持电脑版+手机版

    续费价格:= ¥350-¥1350

    增加语言:= ¥800

    营销型网站

    制作周期:21天

    起价为:¥4880

    响应式:支持电脑版+手机版

    续费价格:= ¥350-¥1350

    增加语言:= ¥1000

    外贸网站

    制作周期:21天

    起价为:¥4880

    响应式:支持电脑版+手机版

    续费价格:= ¥350-¥1350

    增加语言:= ¥1000

    商城网站

    制作周期:35天

    起价为:¥6880

    响应式:支持电脑版+手机版

    续费价格:= ¥350-¥1350

    增加语言:= ¥1500

    首页
    建站
    优化
    流程
    电话