一对一免费咨询: 13913005726 025-66045668

搜索引擎可以给网站带来可观的来路,所以搜索引擎对一个网站的收录相当重要,这不用再多说。

但我们一般不太清楚搜索引擎蜘蛛何时第一次来到咱们的网站,也不太清楚第一次来过之后,蜘蛛随后再西藏网站建设公司来的频率等等。

从搜索引擎前端,可以通过快照(cache)看到搜索引网站界面视觉设计擎对网站的某一个网页的收录时间,但这对于搜索引擎对全站的抓取情况不能很好地统计了解。没辙了吗?当然也不是,通过北京延庆县网站建设公司网站详细的访问日志,可以观察出一些端倪来。以Apache服务器的Access Log访问日志为例:

65.55.106.108 - - [21/Nov/2009:15:01:10 +0800] GET /robots.txt HTTP/1.1 200 150 ---日志1

65.55.106.108 - - [21/Nov/2009:15:02:09 +0800] GET / HTTP/1.1 200 4888 ---日志2

目前市面上几乎所有的搜索引擎都遵循一个游戏规则,那就是它们都会根据网站根目录下设定的robots.txt来决定抓取哪些网页、不抓取哪些网页。那么我们就可以在访问日志文件里面搜索robots.txt来大致确定搜索引擎到来的时间。为什么说大致呢,因为同一个搜索引擎可能会多次读取 robots这个文件,那当然就是根据时间最早的一个日志记录看成该搜索引擎第一次到来的时间。从上面日志1可以看出,某搜索引擎在11月21号对库吧网(www.libzone.cn) 进行了第一次抓取。把IP地址65.55.106.108输入到IP138或其他查询IP的系统里面可以看出,该IP地址对 应的是美国 Microsoft公司,那么我们可以看成微软的bing搜索引擎的蜘蛛的第一次到来。搜索引擎根据robots.txt的设定,知道了哪些允许抓取,哪些不希望被抓取,那它就在这个网站上开工了,日志2显示的是bing首先抓取了该网址的主页(斜杠/意为主页)。

203.208.60.197 - - [17/Nov/2009:13:28:04 +0800] GET /icof/102104/102104124/4b2b6b30242458d2012424d38cd77283.html HTTP/1.1 200 5813--日志3

203.208.60.194 - - [13/Nov/2009:09:02:46 +0800] GET /login/ HTTP/1.1 200 8191 --日志4

66.249.67.50 - - [13/Nov/2009:22:44:12 +0800] GET /icof/102104/102104112/4b2b6b30242458d2012424c8733a67f6.html HTTP/1.1 200 5731 --日志5

把IP 203.208.60.194和203.208.60.197输入到IP138等查询系统可以看出,这两个IP对应的都是谷歌(中国)公司。从这里我们可以看出,谷歌(中国)把蜘蛛程序放在多台服务器上,有一个IP段都属于google中国的搜索引擎。另外有意思的是,日志5所对应的IP是 66.249.67.50,查询其归属,是美国加利福尼亚州山景市谷歌公司。从日志4和日志5看出,在11月13号,谷歌中国和美国的蜘蛛同时来到了该网站进行抓取。大公司的搜索引擎蜘蛛都应该是这样吧,协同工作。

202.160.178.146 - - [17/Nov/2009:13:29:44 +0800] GET /catalogOfYongle/402881872323df84012323e0f0be00ab.html HTTP/1.0 200 45002 --日志6

把日志手机网站建设6里面对应的IP地址202.160.178.146 拿去查询,查询系统直接就很精确地告诉你结果为雅虎中国 yahoo中国蜘蛛,说明雅虎中国搜索引擎的蜘蛛也对该网站进行了抓取。

总的来说,网站的访问日志记录了搜索引擎到来抓取的详细信息。多观察日志文件、多熟悉每个搜索引擎所在的IP范围,就可以大致对各家搜索引擎对你的网站的收录有一个了解。最重要的是,内容为王,搜索引擎喜欢原创内容较多、更新较快的网站,多进行远程内容的发布吧,搜索引擎蜘蛛会经常光顾你网站的,只怕到时候塞爆你的日志文件 :-)

本文由库吧网站长田东山首发于库吧网,版权所有:http://html.libzone.cn/blog/2009/11/21/125879090551788.html


 


 南京牧狼文化传媒有限公司简介:


      牧狼传媒,牧者之心,狼者之性,以牧之谦卑宽容之心待人,以狼之团结无畏之性做事!


  公司注册资金100万,主营众筹全案服务、网站营销全案服务、网站建设、微信小程序开发、电商网店设计、H5页面设计、腾讯社交广告投放以及电商营销推广全案等相关业务,致力于为客户提供更有价值的服务,创造让用户满意的效果!


  为百度官方及其大客户、苏宁易购、金山WPS秀堂、美的、创维家电、新东方在线、伊莱克斯、宝丽莱等国内国外知名品牌服务过,服务经验丰富!同时,公司也是南京电子商务协会会员单位、猪八戒网官方认证签约服务商、江苏八戒服务网联盟、南京浦口文化产业联合会会员单位,可以为您提供更好的服务!


  主营项目:众筹全案服务、网站营销全案服务、网站建设、微信小程序开发、电商网店设计、H5页面设计、腾讯社交广告投放、竞价托管、网站优化、电商代运营等


  合作客户:百度、苏宁易购、饿了么、美的、创维家电、新东方在线、宝丽莱、金山WPS秀堂、伊莱克斯


  资质荣誉:百度商业服务市场2017年度最佳图片服务商、南京电子商务协会会员单位、猪八戒网官方认证签约服务商、江苏八戒服务网联盟、南京浦口文化产业联合会会员单位、八戒通TOP服务商、"易拍即合杯"H5创意大赛"三等奖"。



致力于为客户创造更多价值
13913005726 025-66045668
需求提交
电话咨询
在线咨询