在网站的SEO优化过程中,并不是说所有的站点问题都可以直接从站长工具上得到信息,在长春网站优化小编看来,往往站长工具上得到的信息都是在站点出现问题后才能察觉到,对于蜘蛛的抓取,爬行、收录,以及恶意攻击,恶意扫描这些情况,百度站长工具,以及一些统计工具上我们是很难看到的,对此,长春网站优化网小编今天就和大家说说,如何通过IIS日志,查看网站更深层次的内容,如何通过服务器日志看到一些隐私的信息内容。
作为一名长春SEOer,我们更需要学会如何查看网站的隐性信息,例如,这几天做的外链效果怎样?我们的内容那些方面更加容易受到搜索引擎蜘蛛的喜爱?搜索引擎蜘蛛对于我们站点的爬行积极度如何?……,这些都是隐藏在站点内部的一些关键信息。
虽说这些信息通过站长工具很难分析出来什么结果,可这些信息恰恰可以从我们的站点IIS日志上找到答案,那么,我们该如何通过IIS日志分析网站的隐形信息呢?请看长春网站优化小编下面的详细介绍。
一、为何IIS日志在分析站点隐性信息中如此重要
1、通过IIS日记的记录我们可以更加清楚的分析出搜索引擎蜘蛛在网站上的爬行信息,这些信息包含有蜘蛛的爬行路线以及爬行深度。
通过这一些数据信息,我们可以分析近期我们建设的外链效果如何?因为我们知道外链就像是引导蜘蛛爬行的蜘蛛丝,如果外链建设的好的话,蜘蛛爬行的自然而然频繁,而且我们可以记录下从哪一个“入口”进入蜘蛛的频率高。
2、网站的内容更新与蜘蛛爬行存在一定的关系,一般只要我们更新稳定频繁,蜘蛛的就会爬行得更加的勤,对此,长春网站优化网建议你可以借助日志中的蜘蛛来访频率对网站内容的更新频率做一个细调。
3、通过日志我们可以发现空间存在的一些故障,这些故障可能是一些站长工具无法察觉到的。
比如曾经很火的美橙空间因为技术员误操作robots文件导致空间屏蔽了百度了蜘蛛事件,假如站长们事先分析一下分析一下空间日志,或许可以发现这一错误。
二、如何获得日志文件以及应注意的事项
1、IIS日志,它是一个文件文件,扩展名为.log,在默认状态下,服务器每天都会在这些目录下创建日志文件,并用日期给日志文件命名(例如,exYYMMDD.log)。我们查看他的方法很简单,就是将其从FTP中下载下来,然后放到桌面,用记事本文件就可以打开了。
2、要获得该日志文件我们的空间需要有iis日志记录的功能,假如我们的空间有这一功能的话,一般该日志文件会记录在weblog或Logfiles文件夹中,有的也叫log文件夹中,我们可以直接从这一文件夹中下载我们站点的日志文件。
3、在使用这一功能时我们需要注意日志的生成时间设置,长春网站优化网的建议是如果站点是一个小型的站点可以让它一天生成一次,假如是比较大的站点我们可以让其每小时更新,以免生成的文件出现过大的情况。
三、如何分析解读蜘蛛行为
那找到并下载了IIS日志文件,这个时候我们该怎么查看呢?有些朋友会抱怨不知道怎么去查看,看不懂代码,不知道如何去分析,事实上IIS的日志代码分析很简单的,都是一些固定的东西,接下来,长春网站优化就为你简单的介绍一下:
1、如何查看IIS日志文件?
我们可以记事本的方式打开我们站点的日志文件,使用记事本的搜索功能搜索百度和谷歌的蜘蛛,分别是BaiduSpider和Googlebot(更多的搜索引擎蜘蛛标识 参考阅读:>>>抓取网站的搜索引擎蜘蛛<<<
(1)、查看百度蜘蛛的记录
(2)、查看谷歌蜘蛛的记录
我们可以分段对这个IIS日志进行分析:
2012-04-5 00:47:10 是在这一个事件点蜘蛛爬进了我们的站点。
116.255.169.37 这个ip是指我们的站点。
GET紧跟其后的就是蜘蛛爬行的页面,从这边我们可以了解近期我们的什么页面被爬行过。
200 0 0代表的是网页正常的状态码,当然还有其他不同数值的状态码,如500表示服务器超时等等。我们可以借由这些状态码来分析站点空间近来的表现情况。
220.187.51.144这一IP搜索引擎蜘蛛的ip地址,当然这边就可能会出现真假两种地址。
2、如何识别这一个地址是真的蜘蛛还是伪装的呢?
长春网站优化小编也为大家分享一个自己的小方法,我们可以打开命令窗口,在窗口中执行nslookup+这一个所谓蜘蛛的地址。假如是货真价实的蜘蛛,那么就会有自己的服务器,反之则是无法找到信息。
(1)、真蜘蛛
(2)、假蜘蛛
3、为什么IIS日志中会有伪造的蜘蛛呢?
原因就是有其他站点伪造成假蜘蛛来爬行抓取你的站点内容,如果任由这些假蜘蛛横行的话,会对站点的服务器消耗造成一定的影响。
对此,我们需要通过一些方法找到并屏蔽他们,当然我们还需要细心处理,否则把真蜘蛛拒之门外就不好了!
最后,我们可以分析日志文件中蜘蛛最常光顾的几个页面,记录下来,并且找到为何会受到蜘蛛青睐的内外部原因。
作为长春SEO或站长,大多数人可能比较熟悉那些直观的数据,如:流量、收录、反链等等的数据分析,对于日志文件的分析可能较为生疏。
但IIS日志对于网站优化分析却至关重要,查看网站IIS日志可让我们知道网站的死链接,404,301,502等等,可让我们知道网站那些链接是搜索引擎经常爬取的?每天那些页面是被搜索引擎爬取过?也可以用于分析网站为什么不收录?或者网站快照为什么不更新?隐藏在站点内部的一些关键信息。
百度蜘蛛的抓取你了解多少那?
作为长春网站优化站长你真的了解百度蜘蛛么?蜘蛛到了你的网站都做了什么,抓走了什么?留下了什么?也许很多长春SEO站长都不太知道。
蜘蛛又称网络爬虫,网络机器人,在FOAF社区中间,更经常的称为网页追逐者),是种按照定的规则,自动地抓取万维网信息的程序或者脚本。
另外些不常使用的名字还有蚂蚁、自动索引、模拟程序或者蠕虫。
百度蜘蛛(baiduspider),是百度搜索引擎的个自动程序。它的作用是访问收集整理互联网上的网页,图片,视频等内容,然后分门别类建立索引数据库,使用户能在百度搜索引擎中能所搜到您的网站页面,图片,视频等内容。
之所以取名叫蜘蛛,是因为此程序有类似蜘蛛的功能,铺下天罗地网,能够收集到互联网商的信息。接下来长春网站优化小编就给大家做一些普及知识介绍:
百度蜘蛛工作原理
蜘蛛是网站与用户之间的信息搬运工,抓取网站内容,通过索引库呈现给用户。
工作流程
索引区出发抓取网页信息,通过临时库处理内容,将部分符合规则的内容带回索引库,不合格的将会清理掉,后将合格内容展现给搜索引擎查询结果。
某某网站长所说,通过日志查询到蜘蛛抓取量并不少,但收录却很少。
那么也是说内容是抓取了,被蜘蛛带到索引库的内容却很少。
如果是PC移动适配站点,只想抓取PC端内容是否可以直接robots移动端?
百度蜘蛛分别有PC/移动通吃蜘蛛,也有移动端专属蜘蛛。它们的识别命令都是一样的,也是说只要robots百度蜘蛛,那么百度无法抓取到内容。不管是想robots移动或者PC站点都不能使用robots百度蜘蛛。
会导致百度无法抓取到站点内容。
如何提高百度抓取量
1、网站的更新频率
网站的内容需要经常定时更新高价值的内容,能优先抓取。
在网站优化中,创建内容要有频率,因为蜘蛛爬行是有策略的,网站创建内容越频繁,蜘蛛爬行的频率会越频繁,所以更新的频率可以提高抓取的频率。
举例:小明同学天更新10篇,剩下的7天不更新了,这样的做法是不对的。正确的做法是,每天持续更新篇文章。
2、网站受欢迎程度
网站的欢迎程度,是指我们的用户体验。
对于用户体验好的网站,百度蜘蛛会优先录取。
那么这里就会有长春SEO站长疑惑,我们该怎么提高用户体验呢?其实很简单,首先是网站的颜色搭配和页面布局必须合理,另外重要的是广告,必须避免太多的广告,不要让广告遮住正面的内容,否则百度会判定你的网站用户体验非常糟糕。
3、优质的入口
优质的入口主要是指网站的外链,优质的站点follow(跟踪)的站点,优先抓取。
现在百度对外部链接做了个很大的调整,对于垃圾外链,百度已经过滤的非常严格。
基本上在论坛上发外链或者留言板之类的外链,百度都会在后台过滤。
但是真正高质量的外链,对于排名和抓取来说事很重要的。
4、安全记录优异站点,优先抓取
网络安全越来越重要,对于个经常受到攻击(被黑)的网站,是能严重危害用户的。所以,SEO优化过程中要注意网站的安全性。
5、历史抓取效果好的
百度不管是排名还是蜘蛛的爬行,历史记录非常重要。
这好比个人的历史记录样,如果之前作弊过,那会留下污点。
网站亦是如此。在优化网站中切记不要作弊,旦留下污点会降低百度蜘蛛对站点的信任,影响抓取网站的时间和深度。要坚持更新高质量的内容,非常的重要。
6、服务器稳定,优先抓取
从15年开始,百度对于服务器的稳定性因素权值做了个很大的提升。服务器稳定包括稳定和速度两个方面。速度越快的服务器,蜘蛛抓取的效率越高。服务器越稳定,蜘蛛抓取的连通率越高。另外有个高速稳定的服务器,对于用户体验上来说也是件非常重要的事情。
长春网站优化教你_如何看IIS日志分析网站隐私信息 http://www.121seo.cn/jiaocheng/995.html
以上文章出自长春SEO自学网未经作者许可,不得转载。2019-02-21 06:19:54"