当前位置:首页 > SEO教程 » 正文:robots.txt应该怎么写?来看看顶级网站优化高手的操作手法?

robots.txt应该怎么写?来看看顶级网站优化高手的操作手法?

39 人参与  2018年03月19日  分类 : SEO教程     评论     

robots.txt应该要怎么设置,怎么写呢?今天我们一起来看看顶级网站优化高手的操作手法。

前几天听了几个SEO大神讲解robots的写法,分析了一些流量大站为什么robots的写法各不相同,为什么要那样写,意义是什么?

上海SEO小松就举2个站点作为例子,为大家详细分析讲解下吧。

一、seo视频教程:robots.txt写法

首先,咱们先看这个站点,他的robots写法是如下图所示:

 seo视频教程robots

        seo视频教程robots

分析结果:首先使用红色框框起来的,一看就是织梦网站搭建自带的,而下面两行边上站长本人添加的。咱们来重点说这两行:

Disallow: /*?* 指的是:只要url链接地址中包含问号“?”,直接禁止蜘蛛抓取下载;

Disallow: /*list*指的是:url中只要包含了list字符(“list”),也直接禁止蜘蛛抓取。

详细解读:

第一个,为什么屏蔽带“?”的url:因为带“?”的url都是动态地址,对搜索引擎并不友好,都晓得静态地址是对排名有利的,所以屏蔽带“?”的url是必须的。

第二个,为什么屏蔽url中只要包含了list字符:因为带list的url,一般都是列表页,列表页都会有很多分页,而有分页的话,这些页面有一个共同点:title基本都是相同的,只是末尾会有不同的“第几页”,而这样会被搜索认为都是重复title,所以必须屏蔽

再来看一个大站,2345电影站,他的robots:

2345网站的robots

   2345网站的robots

从中可以发现,这些大流量排名好的站一个共同点:都屏蔽了带“?”url的抓取。而且屏蔽了:Disallow: /search_* 搜索结果页面的抓取。其他的不做多解释,屏蔽的目的只有一个:这些页面不想被搜索收录,因为这些页面不在参与排名的页面当中。

再深入讲讲:当你要做某个网站时,网站搭建之初,网站关键词挖掘,布局,参与排名的页面(url)都有哪些,站内优化,站外优化的方式是什么。这些问题,在网站建设前就要部署计划好。所以说seo也是一个系统的工程。成功之前,是要有准备、有铺垫。有了一份合理经过仔细分析考虑的seo策划书,才是一个好的优化方案。(这里有篇关于提高网站排名的,推荐优化的朋友们查看:SEO营销推广应该怎么才能做好?如何提升网站的排名?

本文地址:http://seoxss.com/mu/l81.html

相关阅读

无相关信息
1楼李雪凤  2018年09月18日 15:48:47
D1262负责心强,效率高,质量好,格式,写的挺不错的 D1136 值得信任,符合我的要求!你们一定要找她!我不会骗你们的!相信我!,优秀,有深厚的文化功底,强烈推荐。,
顶: 94302 回复
2楼韩准  2018年09月18日 15:00:13
常非常快!!!下次一定还来!!!,找3558号小姐姐写的读后感,写得很好 速度超快,600字还多给写了300多字,昨天下单今,赞!,
顶: 84907 回复
3楼曹新红  2018年09月18日 14:21:39
编号4127 速度比较快,写得也不错!,2点半。整个过程一直温和,有礼!200,钱有点小贵800字60元,但很快就写完了,查重要求也过了!感谢~,
顶: 99036 回复
<< 上一篇 下一篇 >>

上海SEO小松网站优化

近期热门

热门标签

最新文章