当前位置:首页 > SEO教程 » 正文:robots.txt应该怎么写?来看看顶级网站优化高手的操作手法?

robots.txt应该怎么写?来看看顶级网站优化高手的操作手法?

39 人参与  2018年03月19日  分类 : SEO教程     评论     

robots.txt应该要怎么设置,怎么写呢?今天我们一起来看看顶级网站优化高手的操作手法。

前几天听了几个SEO大神讲解robots的写法,分析了一些流量大站为什么robots的写法各不相同,为什么要那样写,意义是什么?

上海SEO小松就举2个站点作为例子,为大家详细分析讲解下吧。

一、seo视频教程:robots.txt写法

首先,咱们先看这个站点,他的robots写法是如下图所示:

 seo视频教程robots

        seo视频教程robots

分析结果:首先使用红色框框起来的,一看就是织梦网站搭建自带的,而下面两行边上站长本人添加的。咱们来重点说这两行:

Disallow: /*?* 指的是:只要url链接地址中包含问号“?”,直接禁止蜘蛛抓取下载;

Disallow: /*list*指的是:url中只要包含了list字符(“list”),也直接禁止蜘蛛抓取。

详细解读:

第一个,为什么屏蔽带“?”的url:因为带“?”的url都是动态地址,对搜索引擎并不友好,都晓得静态地址是对排名有利的,所以屏蔽带“?”的url是必须的。

第二个,为什么屏蔽url中只要包含了list字符:因为带list的url,一般都是列表页,列表页都会有很多分页,而有分页的话,这些页面有一个共同点:title基本都是相同的,只是末尾会有不同的“第几页”,而这样会被搜索认为都是重复title,所以必须屏蔽

再来看一个大站,2345电影站,他的robots:

2345网站的robots

   2345网站的robots

从中可以发现,这些大流量排名好的站一个共同点:都屏蔽了带“?”url的抓取。而且屏蔽了:Disallow: /search_* 搜索结果页面的抓取。其他的不做多解释,屏蔽的目的只有一个:这些页面不想被搜索收录,因为这些页面不在参与排名的页面当中。

再深入讲讲:当你要做某个网站时,网站搭建之初,网站关键词挖掘,布局,参与排名的页面(url)都有哪些,站内优化,站外优化的方式是什么。这些问题,在网站建设前就要部署计划好。所以说seo也是一个系统的工程。成功之前,是要有准备、有铺垫。有了一份合理经过仔细分析考虑的seo策划书,才是一个好的优化方案。(这里有篇关于提高网站排名的,推荐优化的朋友们查看:SEO营销推广应该怎么才能做好?如何提升网站的排名?

本文地址:http://seoxss.com/mu/l81.html

相关阅读

【淮南seo】提升网站的权重有什么捷径呢?

狼雨seo视频教程百度网盘下载

【厦门seo】电商网站在优化过程中遇到的问题解决

1楼侯利敏  2018年07月22日 13:18:12
不太满意,只是说故事,没看出文采,会继续拜托你们的!真的很不好意思,祝店家生意兴隆,ldquo;内容也不多最好是在两三天以内写好”,,就是当时我给的主题不对,所,
顶: 92911 回复
2楼唐高祖  2018年07月22日 12:57:59
560号老师写的很好。能够理解我要表达的意思。,效率高,不错,下次还找这里,编号80,却夸另外一个同事从百度抄写的好,我除了呵呵,
顶: 23017 回复
3楼李存朂  2018年07月22日 12:03:42
超级p超级差,还说改到满意为止!各种刁难!,卖家态度非常好,物流速度非常快,赞。,作者文采相当好,完全按照我的要求写,速度超快,下次再来。,超级棒!!!,后来老师告诉我,文章其实写的很不错,,
顶: 16130 回复
4楼飞田展男  2018年07月22日 11:06:47
真的很抱歉。文章也很不错????以后,很好,老师很写的很快,把我提的要求都写上去了,还帮,客服服务态度很好,由于我自己的原因冤枉了客服,,
顶: 71399 回复
5楼花雅娟  2018年07月22日 10:37:48
提供材料 有点无语,作者文采相当好,完全按照我的要求写,速度超快,下次再来。,很好,速度快。,卖家说第二天中午就可以写好,等到第二天中午真的就,很好,速度快。,
顶: 47403 回复
6楼付婉茹  2018年07月22日 10:12:46
就是当时我给的主题不对,所,找了581号写手老师,发现老兄功底深厚,我这波稳了!,很满意,大帅哥人很好,写的很生动深刻,很喜欢。,文章写的真好!不错不错,写手,这样才能过得到一,
顶: 56856 回复
7楼张珍  2018年07月22日 09:38:05
很满意,大帅哥人很好,写的很生动深刻,很喜欢。,会继续拜托你们的!真的很不好意思,祝店家生意兴隆,,很是没有信誉。这次找的咱家,写得不错,而且我提出&,
顶: 54282 回复
<< 上一篇 下一篇 >>

上海SEO小松网站优化

近期热门

热门标签

最新文章