亚洲天堂电影网,国产福利久久精品,国产精品美女xx

一、搜查引擎的蜘蛛，是不是爬得越多越好

當(dāng)然不是!不管什么搜查引擎的爬蟲，來(lái)抓取你網(wǎng)站的頁(yè)面的時(shí)候，判斷在消耗你的網(wǎng)站資源，例如網(wǎng)站的連接數(shù)、網(wǎng)絡(luò)帶寬資源、服務(wù)器的負(fù) 載、甚至還有盜鏈等。不是所有的搜查引擎蜘蛛都是有用的。另外，搜查引擎的爬蟲來(lái)抓取你的頁(yè)面數(shù)據(jù)后，它也不一定收用數(shù)據(jù)。只代表它“到此一游”留下痕跡罷了，有的搜查引擎室成心過來(lái)找它想要的資源，甚至還有很多是開發(fā)人員的蜘蛛測(cè)試。

對(duì)一個(gè)原創(chuàng)內(nèi)容豐富，URL結(jié)構(gòu)公道易于爬取的網(wǎng)站來(lái)說(shuō)，幾乎就是各種爬蟲的盤中大餐，很多網(wǎng)站的拜訪流量形成當(dāng)中，爬蟲帶來(lái)的流量要遠(yuǎn)遠(yuǎn)超過實(shí)在用戶拜訪流量，甚至爬蟲流量要高出實(shí)在流量一個(gè)數(shù)量級(jí)。像進(jìn)步網(wǎng)站有效利用率誠(chéng)然設(shè)置了相稱嚴(yán)格的反爬蟲策略，然而網(wǎng)站處理的動(dòng)態(tài)懇求數(shù)量仍然是實(shí)在用戶拜訪流量的2倍。可能判斷的說(shuō)，當(dāng)今互聯(lián)網(wǎng)的網(wǎng)絡(luò)流量至少有2/3的流量爬蟲帶來(lái)的。因此反搜查引擎爬蟲是一個(gè)值得網(wǎng)站長(zhǎng)期摸索跟解決的問題。

搜查引擎爬蟲對(duì)網(wǎng)站的負(fù)面影響

1.網(wǎng)站有限的帶寬資源，而爬蟲的量過多，導(dǎo)致畸形用戶拜訪緩慢。原本虛構(gòu)主機(jī)主機(jī)的連接數(shù)受限，帶寬資源也是有限。這種情況搜查引擎爬蟲受影響顯現(xiàn)更明顯。

2.搜查引擎爬蟲過頻密，抓取掃描很多無(wú)效頁(yè)面。甚至抓頁(yè)面抓到服務(wù)器報(bào)502、500 、504 等服務(wù)器內(nèi)部錯(cuò)誤了，蜘蛛爬蟲還在不停使勁抓取。

3.與網(wǎng)站主題不相干的搜查引擎爬蟲消耗資源。

典范的例子搜查引擎“一淘網(wǎng)蜘蛛為一淘網(wǎng)抓取工具。被各大電子商務(wù)購(gòu)物網(wǎng)站屏蔽。拒絕一淘網(wǎng)抓取其商品信息及用戶產(chǎn)生的點(diǎn)評(píng) 內(nèi)容。被禁止的起因首先應(yīng)當(dāng)是它們之間不配合互利的關(guān)聯(lián)，還有就是EtaoSpider爬蟲是一個(gè)抓取猖狂的蜘蛛。統(tǒng)計(jì)發(fā)明EtaoSpider爬蟲的一天爬行量比“百度蜘蛛：Baiduspider”“360蜘蛛：360Spider”“SOSO蜘蛛：Sosospider”等主流蜘蛛爬蟲多多少倍，并且是遠(yuǎn)遠(yuǎn)的多。重點(diǎn)是EtaoSpider被抓取只會(huì)消耗你的網(wǎng)站資源，它不會(huì)給你帶來(lái)拜訪量，或者其它對(duì)你有利用的。

4.一些搜查引擎開發(fā)程序員，它們寫的爬蟲程序在測(cè)試爬行。

5.robots.txt文件不是!

判斷有很多人認(rèn)為，在robots.txt設(shè)置屏蔽搜查引擎爬蟲即可，或者容許某些特定的搜查引擎爬蟲，能達(dá)到你料想后果。不錯(cuò)正規(guī)搜查引擎會(huì)依照規(guī) 則，不過不會(huì)及時(shí)生效。然而實(shí)際中某些蜘蛛往往不是這樣的，先掃描抓取你的頁(yè)面，疏忽你的robots.txt。也可能它抓取后不一定留用;或者它只是統(tǒng) 計(jì)信息，收集互聯(lián)網(wǎng)行業(yè)趨勢(shì)剖析統(tǒng)計(jì)。

6.還有一種它們不是蜘蛛，但其有蜘蛛的特點(diǎn)。例如采集軟件，采集程序，網(wǎng)絡(luò)掃描e-mail地址的工具，各式各樣的SEO剖析統(tǒng)計(jì)工具，千奇百怪的網(wǎng)站漏洞掃描工具等等。

　　二、有效指引搜查引擎對(duì)應(yīng)的辦法，及解決方法：

1.依據(jù)空間流量實(shí)際情況，就保存多少個(gè)常用的屏蔽掉其它蜘蛛以節(jié)儉流量。以臨時(shí)空間流量還足夠利用，先保障畸形瀏覽器優(yōu)先。

2.從服務(wù)器防火墻iptable直接屏蔽蜘蛛IP段、具體的IP。這是直接、有效的屏蔽方法。

3.WWW服務(wù)器層面做限度。例如Nginx，Squid，Lighttpd，直接通過“http_user_agent”屏蔽搜查引擎爬蟲。

4.后robots.txt文件做限度。搜查引擎國(guó)際規(guī)矩還是要遵守規(guī)矩的。

91免费的视频在线播放_色综合91久久精品中文字幕_色吧影院999_极品尤物一区二区三区

91免费的视频在线播放_色综合91久久精品中文字幕_色吧影院999_极品尤物一区二区三区

新聞資訊

搜索引擎蜘蛛爬行太多未必好