搜索引擎蜘蛛找到網頁后能不能抓取
發(fā)布者: 華企立方 發(fā)布時間:2016-5-9 15:21:33
搜索引擎蜘蛛找到網頁后能不能抓取。首先,要明確一點的是網頁的URL必須是可以被抓取的,如果沒法搜索引擎沒法抓取到網頁URL,那只能說明這個網站廢了,所以要確保網頁是否能被抓取。一般來說URL都是可以被抓取的,如果你的網頁是由數據庫動態(tài)生成的,那么URL要做偽靜態(tài)處理,也就是說站長要去掉URL里帶有問號參數之類的東西,我見過很多網站都沒有去掉這類的參數,最終出現搜索引擎不信任這類URL,所以為了避免這樣的現象發(fā)生最好還是做好優(yōu)化。
如果你網站上有大量的flash文件,建議去掉或者做改善,經驗告訴了我搜索引擎很難讀取上面的內容,而且這種也稱為蜘蛛陷阱??赡墁F在百度這塊在解決讀取flash信息的問題,但目前為止估計是行不通了。另外還要去避免框架結構frame,現在很少有網站做框架結構了,要記住一點千萬別做,這是蜘蛛的大敵。
更多資訊來源于:佛山網站建設m.abccg.com.cn
此文關鍵字: