robots的优化
一、robots概述 ①robots.txt纯文本文件，网站管理员可以在这里声明该网站不想robots访问的部分，所以robots优化直接影响着搜索引擎对网站的收录情况； ②robots.txt必须放置在一个站点的根目录下，并且文件名必须全部小写：www.o-seo.com/robots.txt；③...
一、robots概述
①robots.txt纯文本文件，网站管理员可以在这里声明该网站不想robots访问的部分，所以robots优化直接影响着搜索引擎对网站的收录情况；
②robots.txt必须放置在一个站点的根目录下，并且文件名必须全部小写：www.o-seo.com/robots.txt；
③就算你的网站全部内容都可以被搜索引擎收录，那也要写个空的robots.txt；因为有的服务器的设置会使没有robots.txt的时候返回200状态码和相应的错误信息；
二、robots的写法
# robots.txt file from http://www.o-seo.com/
# All robots will spider the domain
User-agent:*
Disallow:
1、允许搜索引擎访问所有部分（一般可不写）
User-agent:*
Disallow:
2、禁止搜索引擎访问任何部分
User-agent:*
Disallow:/
3、禁止搜索引擎访问某几个部分
User-agent:*
Disallow:http://www.o-seo.com/404.html
4、允许某个搜索引擎访问
User-agent:Baiduspiter
Disallow:/
5、禁止所有搜索引擎蜘蛛访问某几个目录下的内容及文件
User-agent:*
Disallow:/sss/
Disallow:/aaa/
8、禁止除了百度蜘蛛以外的所有搜索引擎抓取任何内容：
User-agent:Baiduspiter
Disallow:/
User-agent:*
Disallow:/
9、$：通配符，匹配url结尾的字符。禁止百度蜘蛛抓取所有.jpg文件
User-agent:Baiduspiter
Disallow:.jpg$
10、禁止和允许搜索引擎访问某个目录，如：禁止访问admin目录；允许访问images目录。
User-agent:*
Disallow:/admin/
Allow:/images/
11、禁止和允许搜索引擎访问某个后缀，如：禁止访问admin目录下所有php文件；允许访问asp文件。
User-agent:*
Disallow:/admin/*.php$
Allow:/admin/*.asp$
12、禁止索引网站中所有的动态页面（这里限制的是有“？”的域名，如：index.php?id=8）。
User-agent:*
Disallow:/*?*
本文结束，非常感谢您阅读完鹊巢SEO技术文章，"网站推广是长期的过程，需要持之以恒，与时俱进！"。 鹊巢SEO是喜鹊软件科技旗下核心产品之一，致力于企业级网站建设与SEO一体化解决方案，提供PaaS架构快速建站系统，SEO服务，网站建设等服务，鹊巢SEO专注SEO技术探索与相关软件研发，同时，官网为广大用户免费提供更多SEO技术文档与SEO行业资讯，仅供参考使用和学习交流。若对您有帮助，可以点击收藏本文地址：https://www.o-seo.com/archive/seo-docs/seo-211207153647484-89.html 。
您有任何意见或建议，请在评论区留言，也欢迎大家和我们交流互动，促进共同发展。
– 鹊巢SEO助力您的网站获得高曝光请扫二维码与产品经理沟通
鹊巢SEO竭诚为您服务，欢迎垂询！
产品经理能为您解答：seo外包,网站优化,网站建设,seo优化,企业级软件开发
官网：www.o-seo.com
