我經(jīng)常遇到這樣的狀況,許多人都來問我:“為啥屏蔽了的頁面還被抓取?”這兒我簡單的說下吧,一般有兩種狀況:一種是:對現(xiàn)已錄入的網(wǎng)頁使用robots屏蔽,老網(wǎng)頁依照robots規(guī)矩的刪去時刻會很長,這個時分或許會形成百度沒有遵守robots規(guī)矩。第二種狀況是:假如你屏蔽的頁面或欄目存在大量的外鏈,那么這個網(wǎng)頁或欄目的URL會被百度錄入,但內(nèi)容不會被百度索引,一般這樣的多見于首頁域名。當然,假如你連URL都不想被錄入,可以針對蜘蛛回來404即可。