0 SEO优化_robots设置详细解读,问吧 — 整站优化,SEO整站优化网 -

SEO整站优化

查看: 335|回复: 0

SEO优化_robots设置详细解读

[复制链接]

160

主题

161

帖子

494

积分

中级会员

Rank: 3Rank: 3

积分
494
 楼主| 发表于 2021-7-31 10:18:14| 字数 1,953 | 显示全部楼层 |阅读模式
SEO劣化_robots设置具体解读整站劣化,robots内乱容具体解读3 t* A1 v- _& h
robots.txt是杂文本文件,用于声明网站中没有念被蜘蛛抓与的部门,robots没有是一个划定,是一种束缚  L! o6 m  h/ O1 A4 f# W
蜘蛛会见网站的时间起首检察的是robots:若是存正在便根据robots划定规矩抓与、若是没有存正在蜘蛛便沿着链接间接匍匐
% b; W; }! }% U9 S1.robots感化
/ H) M8 o; c& {- \0 d* H7 x1.1、避免公稀或主要的内乱容被搜刮引擎抓与
. F9 L- G& h! y" ~! d( v1.2、节约效劳器资本
) d( ?) |, p4 p1 k1.3、淘汰反复抓与,进步网站量量
% N# u, V' J9 e1.4、制订sitemap文件地位
5 }* b2 C3 o9 J7 D+ m2.写法0 R5 N1 Z, v; G. p+ v
该文件安排正在文件的根目次下,而且文件名必需小写:http://www.dbgzs.shop/robots.txt# ~. b+ F8 U7 L: N$ Q( N
3.语法$ `( [8 A. G0 A6 _
3.1、User-agent:& S1 ?9 ?7 m# l2 Y& D5 g% |! q
3.1.1、指定哪一个搜刮引擎蜘蛛:Baiduspider(百度)、Googlebot(谷歌)、Sogouspider(搜狗)
4 V# B* y2 l  {. L) F& K3.1.2、*代码一切搜刮引擎
/ ]3 ?$ w1 y5 f. J7 `- E  N) C9 `3.2、Allow:表现许可蜘蛛抓与的栏目或文件
" q; u+ d7 V- S+ O3 M+ c# t6 h( H3.2.1、Allow:/web/ 表现许可会见web目次, y$ J- q( A. \
3.2.2、Allow:/*.htm$ 表现许可会见html文件
- X5 H% M6 D* y7 m& }% ~4 Q3.3、Disallow:克制抓与栏目或文件
9 U: k9 E* V9 f3 WDisallow:/web/:克制抓与web目次
% W+ `1 m$ N( ~( ^: c( aDisallow:/*.htm$:克制抓与html文件

: z' H+ K) m2 x& _" B8 c% [& BDisallow:/ 克制抓与网站一切内乱容:
4 I6 c7 h) m# S; x: K: I( L! E/表现根目次
: N1 K  Y. t9 N" Q' t& z$ f

' y9 G' m% Y1 }" D# u% ^& }& x3 A  f/ Z
9 l% R3 G9 ~' [
SEO劣化_robots设置具体解读-1.jpg
3 b: m$ J$ E. z. i7 y3 X
3 }; s: G. G6 N( ^# {6 @, |
2 F- [- W% K! x3 F  g- X
4.东西:http://tool.chinaz.com/robots/" l4 g! _- B! B5 w+ n+ C3 `4 j9 ]
5.成绩
8 ^; @) B7 @  X9 v, i4 y/ w* O5.1、若是搜刮引擎曾经支录了您的网页,这时候候您没有念让搜刮引擎支录网页 咋办?1 ~, z4 G9 Z3 S1 E
5.2、robots是不克不及删除搜刮引擎中曾经支录的页里& j' @8 \* X" Z+ m9 M
5.3、robots meta标签去处理该成绩6 }% _& n- v1 v! G5 a2 E* w5 D
6.robots meta标签:针对详细的页里4 v& F& E7 k3 C# U" t, I$ V& `0 h
6.1、语法. y8 b; n, B/ @0 B: h* o
6.1.1、<meta name='robots' content='index,follow'/>(<meta name='robots' content='all'/>):许可搜刮引擎抓与页里取页里的链接1 V$ @$ B  T1 l  M  y
<meta name='robots' content='noindex,follow'/>:没有许可搜刮引擎抓与页里取许可页里的链接" l& A" t3 Q0 _* z. B3 p
<meta name='robots' content='index,nofollow'/>:许可搜刮引擎抓与页里取没有许可页里的链接
% p+ V2 L6 V0 O<meta name='robots' content='noindex,nofollow'/>(<meta name='robots' content='none'/>):没有许可搜刮引擎抓与页里取没有许可页里的链接
/ S. C; n- c' K2 V+ _7.诠释# \  t7 _3 N. n" d
index:表现搜刮引擎能够抓与该页里
7 k$ c2 F3 I  z' \noindex:表现搜刮引擎不行以抓与该页里
1 p( ]& H+ u0 X2 q3 k8 y) Pfollow:表现搜刮引擎蜘蛛能够爬觅该页里的上的链接
8 T+ F, y: s/ }5 f$ z5 N" Rnofollow:表现搜刮引擎蜘蛛不行以爬觅该页里的上的链接2 P$ |1 ]4 e$ F0 X" x( D
. ^: M0 }7 ?, I* {* a" Z
提示:有些时间也友谊链接交流能够会被减上nofollow,各人能够检察一下(制止灰帽)
/ ?: ?- K. R. d6 b% l

- H+ p* J; s4 I$ L" H+ [本文链接:小花操生涯|存眷整站劣化网 进修更多seo相干要领...
回复

使用道具 举报

您需要登录后才可以回帖 登录 | 立即注册

本版积分规则

  • 发布新帖

  • 在线客服

  • 微信

  • 客户端

  • 返回顶部

  • QQ|Archiver|手机版|小黑屋|SEO整站优化 — 外包整站SEO优化,万维网【SEO外包】整站优化网 ( 粤ICP备19158344号 ) |

    GMT+8, 2022-5-26 04:18 , Processed in 0.148864 second(s), 28 queries , Gzip On, Redis On.

    Powered by Discuz! X3.4

    © 2001-2017 Comsenz Inc.

    快速回复 返回顶部 返回列表