一般爬蟲訪問一個網(wǎng)站的時候,首先會根據(jù)該站點下的Robots.txt文件來確定可爬取的網(wǎng)頁范圍,Robots協(xié)議是需要網(wǎng)絡(luò)爬蟲共同遵守的協(xié)議,這個老師也說說吧
jpgo
展開
|
|
學(xué)習(xí)達人
|
wyykapo
展開
|
MR蔣蔣
展開
現(xiàn)在手機顯示的也是:百度一下,你就知道?我用了好幾個不同的use-agent,運行結(jié)果都是:百度一下,你就知道 bluer99
展開
Mozilla/5.0 (iPhone; CPU iPhone OS 7_0_4 like Mac OS X) AppleWebKit/537.51.1 (KHTML, like Gecko) CriOS/31.0.1650.18 Mobile/11B554a Safari/8536.25
百度一下
[Finished in 0.3s]
網(wǎng)上找個老款手機的資料。 aa765685928
展開
url=r"http://m.baidu.com/" 百度上的網(wǎng)址和電腦和手機是有區(qū)別的,你登入的是電腦的網(wǎng)址。你用手機的網(wǎng)址就好了 |
|
學(xué)習(xí)達人
|
sbynidxv
展開
|
陳肖杰
展開
|
|
打卡Lv1
|
江小墩墩
展開
|
承擔因您的行為而導(dǎo)致的法律責任,
本站有權(quán)保留或刪除有爭議評論。
參與本評論即表明您已經(jīng)閱讀并接受
上述條款。