各大搜索引擎蜘蛛的特点

1970-01-01

做SEO每天打交道最多的就是搜索引擎放出来的小机器人，也叫搜索引擎蜘蛛，我们要做的事情就是把它们伺候好，顺其意投其好。下面环球视野为你介绍下各大搜索引擎蜘蛛的特点。

一、各大搜索引擎蜘蛛介绍

google蜘蛛： googlebot；百度蜘蛛：baiduspider；搜狗蜘蛛：sogou spider；搜搜蜘蛛：Sosospider；yahoo蜘蛛：slurp；alexa蜘蛛：ia_archiver；msn蜘蛛：msnbot；altavista蜘蛛：scooter；lycos蜘蛛： lycos_spider_(t-rex)；alltheweb蜘蛛： fast-webcrawler；inktomi蜘蛛： slurp；有道蜘蛛：YodaoBot和OutfoxBot；热土蜘蛛：Adminrtspider 。

二、各大搜索引擎蜘蛛的习惯

百度蜘蛛：爬谨慎，收录更谨慎。

google蜘蛛：不太爱爬，但爱收录。

搜搜蜘蛛：爱爬图片，经常绕在动态地址里出不来。

雅虎蜘蛛：恪守规则，每次都是先爬robots.txt。

三、对于robots.txt的支持程度

google表现：写了禁止就不再爬，会在谷歌站长工具中列出来它想爬被你阻止了。

百度的表现：写了禁止之后很少爬，但是偶尔也会爬，相信是起作用了，因为越来越少，以前一天几次现在几天一次。

搜狗蜘蛛：可以说是基本不听话，也不知道是不是不吃这个规则，说它完全不吃它也吃了一点，只是把动态地址的问号拿掉了，然后照爬，一爬就是一大片，这不知道它能爬出什么东西。

搜搜蜘蛛跟雅虎蜘蛛好像差不多，感觉还是挺有效的，禁止之后没有再有它爬过的痕迹。

聚焦网络18年专注外贸网络营销推广，为超多家企业提供外贸网络营销，

全网营销型建设制作、外贸营销策划、英文营销型网站建设、海外网络营销解决方案等服务。

聚焦网络，让网络营销更简单!

产品服务

品牌战略定位
个性化建站
SEM广告营销
SEO全方位引流
社媒推广
视频&VR拍摄
视频通
社媒手机

关于聚焦

我们的故事
发展历史
客户见证

实战学院

总裁班
何孔说
外贸学院

联系聚焦

咨询热线: 020-22818315
客服热线: 400-678-6206
电子邮箱: master@weyes.cn
地址: 广东省广州市越秀区水荫路117号星光映景大厦5AF整层、30F整层

友情链接

关注何孔说公众号

站点地图

聚焦网络

聚焦网络以“让网络营销更简单有效”为使命，深入人工智能自然语言处理、机器学习、数据挖掘等技术领域，

研发了国内知名的人工智能自动化营销系统，凭借着上线快、效果好、功能强大、高性价比的特点，成为了越来越多企业的首选。

关于聚焦

广州聚焦网络技术有限公司作为国内知名人工智能营销机构，是一家集技术研发与网络营销服务为一体的创新型高新技术企业。

公司成立于2005年，总部设立于广州市CBD，在佛山、深圳等地设立多家分支机构，拥有专业的技术团队及客服队伍，以及拔尖研发人才。

走近聚焦

联系聚焦

咨询热线(HOT LINE) ：020-22818315
客服热线(CUSTOMER SERVICE)：400-678-6206
电子邮箱(E-MAIL)：master@weyes.cn
地址(OFFICE ADD)：广东省广州市海珠区磨碟沙大街133号国美智慧城西塔13楼全层
联系我们 >>

聚焦网络作为国内知名人工智能营销机构，是一家集技术研发与网络营销服务为一体的创新型高新技术企业。

站点地图

暂无友情链接数据