上一篇我們提到： 今天我們來說說新都網站推廣蜘蛛池做seo優化排名推廣的文章，說白了，蜘蛛池就是一組由垃圾域名組成的網站。 每個站點下都會生成大量頁面（一堆文本內容相互組合），頁面模板與普通網頁沒有太大區別。 由于每個站點都有大量的頁面，整個站點組的蜘蛛抓取總量也是巨大的。 未收錄頁面引入蜘蛛就是在站群正常頁面的模板中單獨
接下來我們進入今天的正文:今天新都網站建設公司無意中發現我的兩個站點的訪問速度都很慢。 登錄阿里云查看ECS服務器后，發現CPU使用率經常達到99-100%。 看了日志，發現yisouspider（一只蜘蛛，應該是現在的蜘蛛在瘋狂爬行，即使我在robots.txt中設置了禁止爬行的路徑，它們也在爬行。如果是凌晨爬行，我 不說了，原來是光天化日之下瘋狂爬，分分鐘就可以癱瘓我們的網站，我發現很多人都在吐槽這個yisouspider，新都網站建設公司Yisou爬行如何屏蔽一搜蜘蛛訪問網站了啦？最后的解決辦法就是直接禁止yisouspider的爬取和訪問。
robots.txt必須放在網站根目錄下，且文件名要小寫。
具體寫法：
1) 完全禁止yisouspider抓?。?/p>
User-agent: yisouspider
Disallow: /
2) 禁止yisouspider抓取指定目錄
User-agent: yisouspider
Disallow: /update
Disallow: /history
禁止抓取update、history目錄下網頁
以上就是新都網站建設公司Yisou爬行如何屏蔽一搜蜘蛛訪問網站的處理辦法。
掃一掃，瀏覽關注本文
金鹿凱斯服飾/服裝網站建設
五菱電動觀光車網站建設
宏冠服飾網站建設
蜀豐食品包裝網站建設
天翊裝飾網站建設
伊卡璐服飾/服裝網站建設?
功夫螞蟻餐飲火鍋加盟網站建設
明霆基礎工程網站建設
掃碼訪問手機網站
版權所有 Copyright ? 2007-2022 四川冠辰科技開發有限公司 
川公安網備案：51010602001006號
地址：四川省成都市金牛區五福橋東路229號龍湖北城天街28棟903 蜀ICP備11012605號-1
始于2007年，十五年品牌網站建設,值得信賴!
手機
官網
掃碼訪問手機官網
