当我们的网站上线后,有两项必备的基础工作要做,一个是网站地图sitemap另一个是网站的优化协议robots,这是最基本的网站内容优化收录实现方法,那如果说我们不想让搜索引擎收录某页面内容怎么办,我们可以通过对robots的设置进行一个最优的收录推送,来告诉蜘蛛哪些页面链接是不需要被收录的,那对于wordpress来讲有很多程序文件及标签或是自动的feed文件完成没有必要收录,那我们可以通过对robots的写法优化来实现收录内容最优。
wordpress程序robots文件写法大全
1 2 3 4 5 6 7 8 9 10 11 12 13 14 15 16 17 18 19 20 21 22 23 24 25 26 27 28 29 |
User-agent: * //设置robots规则适用的浏览者身份为全部UA身份 Disallow: /*?* //屏蔽掉页面中的动态路径 Disallow: /?p=* //屏蔽掉非固定链接的文章页面路径,因为每个页面中都会有一个shortlink使用的是?p= 的路径。 Disallow: /index.php //屏蔽掉首页默认页面的index.php 页面地址 Disallow: /wp-admin //屏蔽掉后台登陆页面地址,主要是考虑到服务器安全 Disallow: /wp-content/plugins //屏蔽掉wordpress的插件目录 Disallow: /wp-content/themes //屏蔽掉wordpress的模板目录 Disallow: /wp-includes //屏蔽掉wordpress的底层程序目录 Disallow: /trackback //屏蔽wordpress的页面回评路径 Disallow: /*/*/trackback //屏蔽wordpress分类目录、文章页面的回评路径 Disallow: /feed //屏蔽wordpress的内容订阅路径 Disallow: /*/*/feed //屏蔽wordpress分类目录、文章页面的订阅路径 Disallow: /comments/feed //屏幕wordpress评论的订阅路径 Disallow: /page/ //屏蔽默认的翻页路径 Disallow: /*/*/page/ //屏蔽分类目录的翻页路径 Disallow: /page/1$ //屏蔽翻页路径中的数字路径 Disallow: /tag/ //屏蔽标签页面 Disallow: /?s=* //屏蔽搜索结果路径,主要是避免搜索结果的缓存被搜索引擎收录 Disallow: /?r=* Disallow: /*/comment-page-* Disallow: /*?replytocom* Disallow: /date/ //屏蔽按日期分类显示的列表页面 Disallow: /author/ //屏蔽作者文章列表页面 Disallow: /category/ //屏蔽以category为起始路径的分类路径,如果您没有使用插件生成不带category前缀的路径时,请不要使用此项规则。 Disallow: /?p=*&preview=true Disallow: /?page_id=*&preview=true Disallow: /wp-login.php //屏蔽后台登陆页面 Sitemap: http://www.wazhuti.com/sitemap.xml //引导蜘蛛爬取网站地图 Sitemap: http://www.wazhuti.com/sitemap_baidu.xml //引导百度蜘蛛爬取网站地图 |