停止條件的設(shè)定通常是以時(shí)間或是數(shù)量為依據(jù),可以通過(guò)鏈接的層數(shù)來(lái)限制網(wǎng)絡(luò)蜘蛛的爬取。同時(shí)頁(yè)面信息的重要性為客觀因素決定了蜘蛛對(duì)該網(wǎng)站頁(yè)面的檢索。站長(zhǎng)工具中的搜索引擎蜘蛛模擬器其實(shí)它就是這個(gè)原理?! 』谶@蜘蛛工作原理,站長(zhǎng)都會(huì)不自然的增加頁(yè)面關(guān)鍵詞出現(xiàn)次數(shù),雖然對(duì)密度產(chǎn)生量的變化,但對(duì)蜘蛛而言并沒(méi)達(dá)到一定的變化。這在搜索引擎優(yōu)化過(guò)程中應(yīng)該要避免的。