共享VIP立即开通
原创VIP立即开通
办公VIP立即开通
超级VIP立即开通
企业VIP立即开通

rodots.txt的正确使用

[复制链接]
mikestrike 发表于 2019-9-9 18:01:20 | 显示全部楼层 |阅读模式 打印 上一主题 下一主题
 
一般使用rodots.txt文件来屏蔽不想被搜索引擎抓取的页面,那都有哪些页面是“不想被抓取的”呢?今天石家庄网站制作达文科技就给大家分享几个简单的例子。
1、多版本URL情况下,非主显URL的其他版本,比如网站链接伪静态后就不希望搜索引擎抓取动态版本了。
2、网站内有大量的交叉组合查询所生成的页面(肯定有的页面是没有内容的),对于没有内容的页面可以单独设置一个URL特征,这时候可以使用robots.txt进行屏蔽,以防被搜索引擎认为网站制造垃圾页面。
3、网站进行改版或因为某些原因突然删除了大量页面。网站突然出现大量死链对网站在搜索引擎上的表现是不利的。虽然现在可以直接向百度提交死链,但是不如直接屏蔽百度对死链的抓取,这样在理论上百度就不会突然发现网站多了太多死链,或者两者同时进行。当然站长最好把站内的死链清理干净。
4、网站有类似UGC的功能,且为了提高用户提供内容的积极性并没有禁止用户在内容中夹杂链接的,此时为了不让这些链接浪费网站权重或牵连网站,就可以把这些链接做成站内的跳转链接,然后使用robots.txt进行屏蔽。
5、常规的一些不希望被搜索引擎抓取的内容,比如隐私数据、用户信息、管理后台页面等都可以使用robots.txt进行屏蔽。
以上就是robots.txt常见功能。合理的使用不仅可以保护网站隐私数据,还可以只给搜索引擎展现网站高质量的一面,同时也可以使得搜索引擎多多抓取其他允许的页面。武汉盛达高新-武汉网站建设,武汉seohttp://www.whsdgx.com/
对节白蜡http://www.duijiebAIla.cc/
回复

使用道具 举报

 

精彩评论2

正序浏览
凯尔爱蒂 发表于 2019-9-21 16:23:52 | 显示全部楼层
 
凯尔爱蒂trackid是什么
回复

使用道具 举报

 
托德·斯派沃克 发表于 2019-11-5 17:34:26 | 显示全部楼层
 
托德·斯派沃克普通老百姓戴海军帽犯法吗
回复

使用道具 举报

 
您需要登录后才可以回帖 登录 | 立即注册

本版积分规则

排行榜

关注我们:QQ订阅号

官方QQ

QQ群

全国服务热线:

153-9695-9698

公司地址:江苏省淮安市银翔路655号B区1068室

运营中心:苏州市吴中区东华正街42号广电仕百达国际大厦25楼

邮编:200000 Email:87382376@qq.com

Copyright   ©2019-2020  搜酷-搜你所想Powered by©Discuz!技术支持:搜酷网    ( 蜀ICP备08105188号 )|网站地图