• <optgroup id="u64fw"><strong id="u64fw"></strong></optgroup>

  • 十五年風雨路 · 一心鑄精品

    一個官網 留一件精品 做一個項目 樹一塊樣板

    新都網站建設公司Yisou爬行如何屏蔽一搜蜘蛛訪問網站

    上一篇我們提到: 今天我們來說說新都網站推廣蜘蛛池做seo優化排名推廣的文章,說白了,蜘蛛池就是一組由垃圾域名組成的網站。 每個站點下都會生成大量頁面(一堆文本內容相互組合),頁面模板與普通網頁沒有太大區別。 由于每個站點都有大量的頁面,整個站點組的蜘蛛抓取總量也是巨大的。 未收錄頁面引入蜘蛛就是在站群正常頁面的模板中單獨

    接下來我們進入今天的正文:
    2022-03-23

    今天新都網站建設公司無意中發現我的兩個站點的訪問速度都很慢。 登錄阿里云查看ECS服務器后,發現CPU使用率經常達到99-100%。 看了日志,發現yisouspider(一只蜘蛛,應該是現在的蜘蛛在瘋狂爬行,即使我在robots.txt中設置了禁止爬行的路徑,它們也在爬行。如果是凌晨爬行,我 不說了,原來是光天化日之下瘋狂爬,分分鐘就可以癱瘓我們的網站,我發現很多人都在吐槽這個yisouspider,新都網站建設公司Yisou爬行如何屏蔽一搜蜘蛛訪問網站了啦?最后的解決辦法就是直接禁止yisouspider的爬取和訪問。


    限定Yisouspider訪問權限的robots協議寫法

    robots.txt必須放在網站根目錄下,且文件名要小寫。

    具體寫法:

    1) 完全禁止yisouspider抓?。?/p>

    1. User-agent: yisouspider

    2. Disallow: /

    2) 禁止yisouspider抓取指定目錄

    1. User-agent: yisouspider

    2. Disallow: /update

    3. Disallow: /history

    禁止抓取update、history目錄下網頁

    以上就是新都網站建設公司Yisou爬行如何屏蔽一搜蜘蛛訪問網站的處理辦法。

    二維碼

    掃一掃,瀏覽關注本文

    主營業務

    • 高端網站定制
    • SEO網站優化
    • 手機網站建設
    • 網站維護
    • 網頁設計制作
    • 微信小程序開發

    TAGS

    隨機案例

    • 金鹿凱斯服飾/服裝網站建設

      金鹿凱斯服飾/服裝網站建設

    • 五菱電動觀光車網站建設

      五菱電動觀光車網站建設

    • 宏冠服飾網站建設

      宏冠服飾網站建設

    • 蜀豐食品包裝網站建設

      蜀豐食品包裝網站建設

    • 天翊裝飾網站建設

      天翊裝飾網站建設

    • 伊卡璐服飾/服裝網站建設?

      伊卡璐服飾/服裝網站建設?

    • 功夫螞蟻餐飲火鍋加盟網站建設

      功夫螞蟻餐飲火鍋加盟網站建設

    • 明霆基礎工程網站建設

      明霆基礎工程網站建設

    案例展示 / CASE

    嬰之皇/孕嬰/母嬰連鎖加盟/網站建設

    查看詳情

    康偉管業/PP超靜音排水管材/網站建設

    查看詳情

    修柏建筑幕墻工程網站建設

    查看詳情

    天翊裝飾網站建設

    天翊裝飾公司網站以html5響應式一體化設計制作,高端大氣上次,關鍵詞:裝修公司網站建設,裝飾公司網站建設,成都裝修公司網站建···

    查看詳情

    五菱電動觀光車網站建設

    網站以HTML5制作,pc+wap網站制作自動跳轉。關鍵詞:五菱觀光車網站建設,五菱巡邏車網站建設,封閉電動巡邏車網站建設,封閉電動觀···

    查看詳情

    晉沙匯川服裝定制網站建設

    查看詳情

    金鹿凱斯服飾/服裝網站建設

    金鹿凱斯服飾/服裝網站建設以html5響應式一體化設計制作,手機端自動響應,高端大氣上次,關鍵詞:成都職業裝網站建設,成都職業裝···

    查看詳情

    新文必生印務、印刷網站建設、包裝網站建設

    成都印刷網站建設,成都印刷廠網站設計,成都畫冊印刷網站制作,成都畫冊制作網站建設,成都印刷廠家網站建設,四川印刷網站建設,四川···

    查看詳情

    伊卡璐服飾/服裝網站建設?

    網站以定制,訂制服裝網站建設為主的關鍵詞,網站全新的以HTML5框架定制設計,整站目錄清新明了,利于網站優化,搜索引擎蜘蛛爬行···

    查看詳情

    宏冠服飾網站建設

    查看詳情

    明霆基礎工程網站建設

    查看詳情

    高鐵乘務/成都職業學校/四川高鐵職業技術學校/網站建設

    查看詳情

    聯系我們 / CONTACT US

    • 四川省成都市金牛區五福橋東路229號龍湖北城天街28棟903
    • 服務熱線:028-86088588  18080432432(微信同號)
    • 總機:028-62322623-0
    • QQ:3575114  107086147

    掃碼訪問手機網站

    版權所有 Copyright ? 2007-2022 四川冠辰科技開發有限公司    川公安網備案:51010602001006號     

    地址:四川省成都市金牛區五福橋東路229號龍湖北城天街28棟903  蜀ICP備11012605號-1

    始于2007年,十五年品牌網站建設,值得信賴!  xml地圖txt地圖

    学生粉嫩下面自慰喷水

  • <optgroup id="u64fw"><strong id="u64fw"></strong></optgroup>