网站建设
 
设为首页 收藏本站 
用户ID/邮箱: 密 码:
客户中心 Customer service 您目前的位置:首 页 > 客户中心 > 网站优化 



网站优化,网站建设网站优化:robots.txt文件用法举例

robots.txt文件用法举例

  1、禁止所有搜索引擎访问网站的任何部分

  User-agent: *

  Disallow: /

  2、允许所有的robot访问(或者也可以建一个空文件 "/robots.txt")

  第1种写法

  User-agent: *

  Allow: /

  第2种写法

  User-agent: *

  Allow:

  第3种写法

  User-agent: *

  Disallow:

  3、仅禁止Baiduspider访问您的网站

  User-agent: Baiduspider

  Disallow: /

  4、仅允许Baiduspider访问您的网站

  User-agent: Baiduspider

  Allow: /

  5、禁止spider访问特定目录

  在这个例子中,该网站有三个目录对搜索引擎的访问做了限制,即robot不会访问这三个目录。

  需要注意的是对每一个目录必须分开声明,而不能写成 "Disallow: /cgi-bin/ /tmp/"。

  User-agent: *

  Disallow: /cgi-bin/

  Disallow: /tmp/

  Disallow: /~joe/

  6、允许访问特定目录中的部分url

  User-agent: *

  Allow: /cgi-bin/see

  Allow: /tmp/hi

  Allow: /~joe/look

  7、使用"*"限制访问url

  禁止访问/cgi-bin/目录下的所有以".htm"为后缀的URL(包含子目录)

  User-agent: *

  Disallow: /cgi-bin/*.htm

  8、使用"$"限制访问url

  仅允许访问以".htm"为后缀的URL。

  User-agent: *

  Allow: / .htm$

  9、禁止访问网站中所有的动态页面

  User-agent: *

  Disallow: /*?*

  10、禁止Baiduspider抓取网站上所有图片,仅允许抓取网页,禁止抓取任何图片。

  User-agent: Baiduspider

  Disallow: /*.jpg$

  Disallow: /* .jpeg$

  Disallow: /* .gif$

  Disallow: /* .png$

  Disallow: /*.bmp$

  11、仅允许Baiduspider抓取网页和。gif格式图片允许抓取网页和gif格式图片,不允许抓取其他格式图片

  User-agent: Baiduspider

  Allow: .gif$

  Disallow: /.jpg$

  Disallow: / .jpeg$

  Disallow: / .png$

  Disallow: /.bmp$

  12、仅禁止Baiduspider抓取,jpg格式图片。

  User-agent: /Baiduspider

  Disallow: /.jpg$

  附件:百度各个产品使用不同的user-agent

  无线搜索 Baiduspider-mobile

  图片搜索 Baiduspider-image

  视频搜索 Baiduspider-video

  新闻搜索 Baiduspider-news

  百度搜藏 Baiduspider-favo

  百度联盟 Baiduspider-cpro

  商务搜索 Baiduspider-ads

  网页以及其他搜索 Baiduspider


上一条: 谷歌浏览器默认样式的修改
下一条: 如何更好的做好网站URL的优化?
相关文章
css常用属性总结之 id和class的区别,使用类还是ID?
关于左边固定,右边自适应布局的响应式布局写法
html实现 页面禁止右键 禁止复制 禁止图片拖动 禁止复制和剪切
前端页面隐藏元素
URL怎么优化
URL优化方法
css中的三种基本定位机制
URL怎么优化
URL优化方法
网站进入沙盒期的处理方法
aaaa
推广经验分享
其它
网站建设资源
常见问题
网站知识
快速导航 Fast Navigation
网站建设投诉建议
投诉建议
网站建设客户服中心
客服中心
网站建设付款中心
付款方式
网站优化中心
网站优化
网站建设套餐
网站建设

网站价值

轻松一刻
站长工具
站长工具

积分兑换
网站首页关于我们业务范围新闻资讯成功案例客服中心联系我们深圳网站建设网站优化付款帐户
文档下载:网站建设服务协议 | 网站建设报价 | 网站备案资料 | 网页设计软件 | PhotoShop(图片处理) | FTP网页上传/下传软件
深圳网站建设公司专业提供各种营销型网页设计\网站优化服务... 【老字号】、重庆、广州、东莞、深圳网站建设
网页设计登陆 | 网站建设 | 网页设计 | 网站优化 | 网站地图 | 专业的深圳网站建设,深圳网站优化,网页设计,网站建设开发团队
COPYRIGHT(C) 2005-2018 亚网互联·中国 版权所有 ALL RIGHTS RESERVED  ( 粤ICP备15005241号 ) 来访IP:3.90.204.40
深圳网站建设公司地址:深圳市宝安区龙华民治大道东明大厦1529-1531 室     E-Mail:sales@yanet.cn   web@yanet.cn  
公司电话:0755-89812581(8线)   4006-800535
深圳市博士通科技有限公司