十年風雨路 · 一心鑄精品

接一個官網 留一件精品 做一個項目 樹一塊樣板

蜘蛛爬行死循環如何解決?

我的網站,蜘蛛一直都在抓取篩選器哪里的鏈接,5千條爬行記錄有4800是在爬那個篩選器的鏈接,有效內容頁幾乎不爬。把那個篩選器里面的鏈接全NF掉貌似也沒什么作用。該如何解決呢?一般通過屏蔽蜘蛛改善收錄有幾種靠譜的方法:①nofollow+robots.txt②js封裝③頁面緩存(Last-m

時間:2014年04月04日 點擊量:

我的網站,蜘蛛一直都在抓取篩選器哪里的鏈接,5千條爬行記錄有4800是在爬那個篩選器的鏈接,有效內容頁幾乎不爬。把那個篩選器里面的鏈接全NF掉貌似也沒什么作用。該如何解決呢?

 
一般通過屏蔽蜘蛛改善收錄有幾種靠譜的方法:
① nofollow + robots.txt
② js封裝
③ 頁面緩存(Last-modified + Etag)
④ 調整鏈接入口(數量 + 位置)

基于你網站的情況,個人認為最適合第四種方法。

至于具體原因,“國際會展”頻道內容總數497,各種篩選條件組合后數量輕松上萬。也就是說內容總數不多,但篩選條件卻不少,以目前的內容數量還不足以支撐這么多的篩選條件,結果是導致絕大多數的篩選結果頁都是空的。你可以看下一禮拜內抓取的篩選結果頁其中沒有內容的能占多大比例,估計不少。。。

所以說你這問題原因不是蜘蛛不抓,而是沒得抓。什么nofollow、js之類的自然沒用,因為原因沒找對嘛。。。

改善抓取的個人建議:
1.調整篩選條件的展現規則,只允許有內容的篩選條件才能展現在前端中
2.增加篩選結果頁中內容詳情頁的調用數量(增加詳情頁抓取概率,本身數量就不多的,就甭弄啥分頁了)
3.充實詳情頁內容(信息量少、無更新、沒給同類相關頁面提供鏈接,所以蜘蛛不會定期重訪)
4.篩選結果頁TDK修改(上萬的篩選頁TDK都是一樣的。。。。)

推薦案例

  • 成都森美啦園林綠化工程公

  • 四川尚恒科技有限公司

  • 成都九邦物流有限責任公司

  • 四川品睿餐飲管理有限公司

  • 美繪陶社陶藝手繪工作室-暖

  • 成都恩多施生物工程技術有

  • 汶川羌人土特產有限公司

  • 印刷設計公司網站No.3138

聯系我們 / CONTACT US

  • 四川省成都市金牛區五福橋東路229號龍湖北城天街28棟903室
  • 服務熱線:400-000-2367 028-86088588
  • 總機:028-62322623-0
  • 傳真:028-62322623-823

掃碼訪問冠辰手機網站

版權所有 Copyright © 2002-2019 四川冠辰科技開發有限公司  www.mtlum.tw 保留所有權利  蜀ICP備11012605號

地址:四川省成都市金牛區五福橋東路229號龍湖北城天街28棟903室

服務熱線:400-000-2367 028-86088588 總機:028-62322623-0 傳真:028-62322623-823

捕鱼王游戏机 1分3分快彩在哪下载 青海快3 超神pk10计划app 官方黑龙江时时彩 江苏时时开奖走势图 河南中原风采22远5开奖结果 直播足球 pc带人骗局 2019海南中学高中招生计划 福建36选7中3个多少钱 足球比赛 吉林快三直播平台 上海市的大学排行榜 开奖论坛684545 赌博中梭哈什么意思 老时时360历史数据 1分3分快彩在哪下载 青海快3 超神pk10计划app 官方黑龙江时时彩 江苏时时开奖走势图 河南中原风采22远5开奖结果 直播足球 pc带人骗局 2019海南中学高中招生计划 福建36选7中3个多少钱 足球比赛 吉林快三直播平台 上海市的大学排行榜 开奖论坛684545 赌博中梭哈什么意思 老时时360历史数据