当前位置:首页 > SEO教程 » 正文:robots.txt应该怎么写?来看看顶级网站优化高手的操作手法?

robots.txt应该怎么写?来看看顶级网站优化高手的操作手法?

36 人参与  2018年03月19日  分类 : SEO教程     评论     

robots.txt应该要怎么设置,怎么写呢?今天我们一起来看看顶级网站优化高手的操作手法。

前几天听了几个SEO大神讲解robots的写法,分析了一些流量大站为什么robots的写法各不相同,为什么要那样写,意义是什么?

上海SEO小松就举2个站点作为例子,为大家详细分析讲解下吧。

一、seo视频教程:robots.txt写法

首先,咱们先看这个站点,他的robots写法是如下图所示:

 seo视频教程robots

        seo视频教程robots

分析结果:首先使用红色框框起来的,一看就是织梦网站搭建自带的,而下面两行边上站长本人添加的。咱们来重点说这两行:

Disallow: /*?* 指的是:只要url链接地址中包含问号“?”,直接禁止蜘蛛抓取下载;

Disallow: /*list*指的是:url中只要包含了list字符(“list”),也直接禁止蜘蛛抓取。

详细解读:

第一个,为什么屏蔽带“?”的url:因为带“?”的url都是动态地址,对搜索引擎并不友好,都晓得静态地址是对排名有利的,所以屏蔽带“?”的url是必须的。

第二个,为什么屏蔽url中只要包含了list字符:因为带list的url,一般都是列表页,列表页都会有很多分页,而有分页的话,这些页面有一个共同点:title基本都是相同的,只是末尾会有不同的“第几页”,而这样会被搜索认为都是重复title,所以必须屏蔽

再来看一个大站,2345电影站,他的robots:

2345网站的robots

   2345网站的robots

从中可以发现,这些大流量排名好的站一个共同点:都屏蔽了带“?”url的抓取。而且屏蔽了:Disallow: /search_* 搜索结果页面的抓取。其他的不做多解释,屏蔽的目的只有一个:这些页面不想被搜索收录,因为这些页面不在参与排名的页面当中。

再深入讲讲:当你要做某个网站时,网站搭建之初,网站关键词挖掘,布局,参与排名的页面(url)都有哪些,站内优化,站外优化的方式是什么。这些问题,在网站建设前就要部署计划好。所以说seo也是一个系统的工程。成功之前,是要有准备、有铺垫。有了一份合理经过仔细分析考虑的seo策划书,才是一个好的优化方案。(这里有篇关于提高网站排名的,推荐优化的朋友们查看:SEO营销推广应该怎么才能做好?如何提升网站的排名?

本文地址:http://seoxss.com/mu/l81.html

相关阅读

网站优化中robots协议容易被忽略的致命小细节

带你分析影响网站排名的因素,玩会seo网站优化

揭开seo网站优化中常被忽略的关键词排名上不去的罪魁祸首

<< 上一篇 下一篇 >>

上海SEO小松网站优化

近期热门

热门标签

最新文章