?
我們的客戶
2000年-今天

我們一直與時代同行,做有價值的互聯網品牌傳播者

08 18

為什么蜘蛛不來抓取網站網頁?

發布者:深圳網站建設 來源:www.xerxesband.com時間: 2017-05-24 16:43

有些人很不明白自己很用做心的網站,沒想到蜘蛛壓根就沒來爬過。有些人時不時會問小編曲:為什么蜘蛛不來抓取我的網頁呢?那就讓深圳網站建設的中為科技小編就給大家來分析一下原因吧。

  一般情況下遇到這種情況有:一、你屏蔽了蜘蛛。二、你被蜘蛛屏蔽了

  一、你屏蔽蜘蛛了

  如果我們屏蔽了蜘蛛,蜘蛛當然不可能來抓取我們的網站拉。

  1.首先我們要檢測自己的網站robots.txt文件,看看文件的書寫是否正確,是否有大小寫混亂的情況出現,是否建站初期的時候有屏蔽所有蜘蛛的爬行的指令忘記修改了。正常情況下robots.txt檢測的事情就直接交給站長工具檢查就可以了

  2.服務器商是否屏蔽了蜘蛛的爬行。別認為這事不可能,當初就有過一次烏龍,某服務商主機就誤把百度蜘蛛當成黑客攻擊給屏蔽了,不知道導致多少人被K站。如果是主機商屏蔽了蜘蛛的爬行盡早換主機,不能耽誤。

  二、你被蜘蛛屏蔽了

  1.查看自己的域名以前的記錄,看看域名以前是否做了違法的站點。如果是的話那么蜘蛛不爬是完全有道理的,一但長時間被列入黑名單,那要轉白那就的難了,所以一定要查看域名之前的記錄,實在不行最好還是換個域名。

  2.查看下自己同服務器的站點,是否有非常嚴重違規的行為,若有的話,搜索引擎很有可能屏蔽整條IP的站點,為了自己的網站發展健康還是選擇獨立IP的服務器吧。

如果發現自己網站的爬行日志壓根沒出現蜘蛛來訪,那么我們就應該考慮自己的站點是否出現以上的情況,應該及時的清理。然后向相關的搜索引擎提交,或者利用高質量的外鏈引導蜘蛛爬行。

當然蜘蛛不來抓取還有一種情況就是:搜索引擎偶爾也有抽風的時候,但是一般這種情況時間并不長,而且影響沒有上面兩個這么嚴重,所以可以只做為參考。

查看一下最近網站有做哪些改動,如果是因為這些改動引起的那就是做了不恰當的操作,便是如果操作都和日常一樣,而且所有的都排查過了那就應該是搜索引擎本身的問題,等幾天就好了。正所謂身正不怕影子斜,只要沒做違規改動,那遲早會恢復的。

  • 最新文章 LATEST ARTICLES
企業QQ咨詢:642767003
服務咨詢熱線:

0755-824849660755-82484966

立刻在線咨詢

建站案例

COMSTRUCTION CASE

  • 網站建設案例:招商局集團

  • 網站建設案例:中國科學院

  • 網站建設案例:招商證券

  • 網站建設案例:中國人壽

  • 網站建設案例:華潤租賃

  • 網站建設案例:小牛資本

  • 網站建設案例:香港中文大學深圳研究院

  • 網站建設案例:港大醫院內網

  • 網站建設案例:嘉里建設

  • 網站建設案例:沃爾瑪

  • 網站建設案例:港中旅(中國)投資有限公司

  • 網站建設案例:北大研究院深圳灣實驗室

  • 網站建設案例:鴉片戰爭博物館

  • 網站建設案例:深圳衛生監督局

  • 網站建設案例:中國醫學科學院腫瘤醫院深圳醫

  • 網站建設案例:麒麟山療養院

  • 網站建設案例:派生

  • 網站建設案例:富安娜

  • 網站建設案例:五洲賓館

  • 網站建設案例:免稅集團

?

點擊咨詢

18676686468

0755-82484966

聯系我們

您好HELLO!
感謝您來到深圳網站設計公司,若您有合作意向,請您為我們留言或使用以下方式聯系我們,
我們將盡快給你回復,并為您提供真誠的設計服務,謝謝。

電話:0755-82484966??82481178

商務合作郵箱:kefu@lonwin.net

合作QQ:642767003

深圳總公司地址:羅湖區北站路1號中貿大廈202-208室

在線提交需求

...您也可發需求信息至郵箱:642767003@qq.com
亚洲Av -宅男色影视