麻豆成人91精品二区三区,国产91在线播放,加勒比无码专区中文字幕,欧美黑人XXXX高潮猛交

×

關(guān)于網(wǎng)站的爬蟲(chóng)機(jī)制

  • 作者：新網(wǎng)
  • 來(lái)源：新網(wǎng)
  • 瀏覽：100
  • 2018-02-24 17:14:44

網(wǎng)站的爬蟲(chóng)就是由計(jì)算機(jī)自動(dòng)與服務(wù)器交互獲取數(shù)據(jù)的工具，爬蟲(chóng)的最基本就是get一個(gè)網(wǎng)頁(yè)的源代碼數(shù)據(jù)，如果更深入一些，就會(huì)出現(xiàn)和網(wǎng)頁(yè)進(jìn)行POST交互，獲取服務(wù)器接收POST請(qǐng)求后返回的數(shù)據(jù)。

 網(wǎng)站的爬蟲(chóng)就是由計(jì)算機(jī)自動(dòng)與服務(wù)器交互獲取數(shù)據(jù)的工具，爬蟲(chóng)的最基本就是get一個(gè)網(wǎng)頁(yè)的源代碼數(shù)據(jù)，如果更深入一些，就會(huì)出現(xiàn)和網(wǎng)頁(yè)進(jìn)行POST交互，獲取服務(wù)器接收POST請(qǐng)求后返回的數(shù)據(jù)。

20170702102759694.jpg
<div>反爬及反反爬概念的不恰當(dāng)舉例：
 
基于很多原因(如服務(wù)器資源，保護(hù)數(shù)據(jù)等)，很多網(wǎng)站是限制了爬蟲(chóng)效果的?？紤]一下，由人來(lái)充當(dāng)爬蟲(chóng)的角色，我們?cè)趺传@取網(wǎng)頁(yè)源代碼?最常用的當(dāng)然是右鍵源代碼。
 
網(wǎng)站屏蔽了右鍵，怎么辦?拿出我們做爬蟲(chóng)中最有用的東西 F12，同時(shí)按下F12就可以打開(kāi)了，在把人當(dāng)作爬蟲(chóng)的情況下，屏蔽右鍵就是反爬取策略，F(xiàn)12就是反反爬取的方式。
 
講講正式的反爬取策略：
 
事實(shí)上，在寫(xiě)爬蟲(chóng)的過(guò)程中一定出現(xiàn)過(guò)沒(méi)有返回?cái)?shù)據(jù)的情況，這種時(shí)候也許是服務(wù)器限制了UA頭(user-agent)，這就是一種很基本的反爬取，只要發(fā)送請(qǐng)求的時(shí)候加上UA頭就可以了…是不是很簡(jiǎn)單?
 
其實(shí)一股腦把需要不需要的Request Headers都加上也是一個(gè)簡(jiǎn)單粗暴的辦法……
 
有沒(méi)有發(fā)現(xiàn)網(wǎng)站的驗(yàn)證碼也是一個(gè)反爬取策略呢?為了讓網(wǎng)站的用戶能是真人，驗(yàn)證碼真是做了很大的貢獻(xiàn)。隨驗(yàn)證碼而來(lái)的，驗(yàn)證碼識(shí)別出現(xiàn)了。
 
說(shuō)到這，不知道是先出現(xiàn)了驗(yàn)證碼識(shí)別還是圖片識(shí)別呢?
 
簡(jiǎn)單的驗(yàn)證碼現(xiàn)在識(shí)別起來(lái)是非常簡(jiǎn)單的，網(wǎng)上有太多教程，包括稍微進(jìn)階一下的去噪，二值，分割，重組等概念。
 
思考一些這種驗(yàn)證碼應(yīng)該怎么識(shí)別?這種時(shí)候去噪就派上了用處，根據(jù)驗(yàn)證碼本身的特征，可以計(jì)算驗(yàn)證碼的底色和字體之外的RGB值等，將這些值變成一個(gè)顏色，將字體留出。
 
在驗(yàn)證碼的發(fā)展中，還算清晰的數(shù)字字母，簡(jiǎn)單的加減乘除，網(wǎng)上有輪子可以用，有些難的數(shù)字字母漢字，也可以自己造輪子(比如上面)，但更多的東西，已經(jīng)足夠?qū)懸粋€(gè)人工智能了。
 
再加一個(gè)小提示：有的網(wǎng)站PC端有驗(yàn)證碼，而手機(jī)端沒(méi)有。反爬取策略中比較常見(jiàn)的還有一種封IP的策略，通常是短時(shí)間內(nèi)過(guò)多的訪問(wèn)就會(huì)被封禁，這個(gè)很簡(jiǎn)單，限制訪問(wèn)頻率或添加IP代理池就OK了,當(dāng)然，分布式也可以。
 
還有一種也可以算作反爬蟲(chóng)策略的就是異步數(shù)據(jù)，隨著對(duì)爬蟲(chóng)的逐漸深入，異步加載是一定會(huì)遇見(jiàn)的問(wèn)題，解決方式依然是F12。
 
以上就是小編對(duì)于網(wǎng)站的爬蟲(chóng)機(jī)制的解析。
 

免責(zé)聲明：本文內(nèi)容由互聯(lián)網(wǎng)用戶自發(fā)貢獻(xiàn)自行上傳，本網(wǎng)站不擁有所有權(quán)，也不承認(rèn)相關(guān)法律責(zé)任。如果您發(fā)現(xiàn)本社區(qū)中有涉嫌抄襲的內(nèi)容，請(qǐng)發(fā)送郵件至：operations@xinnet.com進(jìn)行舉報(bào)，并提供相關(guān)證據(jù)，一經(jīng)查實(shí)，本站將立刻刪除涉嫌侵權(quán)內(nèi)容。

免費(fèi)咨詢獲取折扣

Loading
国产欧美日韩视频在线观看| 成人永久毛片| 91国偷自产| 极品少妇高潮喷水| 亚洲毛片hh| 欧美大成色WWW永久网站婷| 成人日韩www一区| 亚洲区一区| 美日韩黄色大片| 老色批该看的| 91国际在线观看| 日韩在线试看| 草在线观看视频免费| 人妻丰满熟妇av无码区动漫| 噜久久AV| 亚洲看逼69久久熟女| 成人久久香蕉| 亚洲AV婷婷五月产AV中文| 白浆久久| 一本av网站| 亚洲一区二区三区在线看| 色欲AV永久无码精品无码| 欧美日韩搞逼| 乆乆免费精品播放| java并进入网站| 丝袜高潮流白浆潮喷在线播放 | 九九日无码视频| 欧美日韩 精品| 精品久久九九| 国产品无码一区二区三区在线 | 好爽网址| 丁香五月15p| 无码人妻久久一区二区三区蜜桃| 一本久到国产欧美| 夜夜操夜夜拍天天爱| 麻豆出品| 真实国产乱子伦xxxx| 黄色仓库日韩在线99| 亚洲夜夜操天天操| 草吧久久| 久久丫精品国产亚洲av|