現(xiàn)在百度搜索引擎組織抓取鏈接的方法有兩種，一種就是自己主動(dòng)去發(fā)現(xiàn)并且收錄;第二種就是通過(guò)百度站長(zhǎng)上面的鏈接提交工具來(lái)獲得數(shù)據(jù)。兩種方法當(dāng)中百度搜索引擎蜘蛛主動(dòng)抓取的鏈接是受歡迎的。對(duì)于站長(zhǎng)而言，如果網(wǎng)站優(yōu)化了很長(zhǎng)一段時(shí)間但是卻沒(méi)有看到被收錄，那么不妨嘗試主動(dòng)推送，特別是剛剛才建成的新網(wǎng)站，把首頁(yè)的數(shù)據(jù)進(jìn)行主動(dòng)推送，將會(huì)有助于內(nèi)頁(yè)數(shù)據(jù)的抓取。那么有的人就要問(wèn)了，為什么我提交了數(shù)據(jù)但是很長(zhǎng)時(shí)間都沒(méi)有看到什么進(jìn)展呢?開(kāi)啟網(wǎng)站建設(shè)人員表示可能出現(xiàn)在下面幾個(gè)方面。
網(wǎng)站的服務(wù)器不穩(wěn)定
我們都知道百度搜索引擎蜘蛛在爬取網(wǎng)站的時(shí)候，都要提前對(duì)服務(wù)器進(jìn)行訪問(wèn)，如果網(wǎng)站的服務(wù)器不穩(wěn)定，在搜索引擎蜘蛛爬取的時(shí)候正好因?yàn)椴环€(wěn)定而導(dǎo)致無(wú)法正常訪問(wèn)，那么就會(huì)對(duì)抓取頁(yè)面造成影響，從而對(duì)收錄造成影響。百度搜索引擎蜘蛛訪問(wèn)網(wǎng)站的時(shí)間是不固定的，如果很長(zhǎng)時(shí)間都碰到無(wú)法正常訪問(wèn)，那么搜索引擎蜘蛛就會(huì)判定這個(gè)網(wǎng)站是不正規(guī)的，就會(huì)降低對(duì)網(wǎng)站的訪問(wèn)次數(shù)，訪問(wèn)次數(shù)的減少就會(huì)直接導(dǎo)致網(wǎng)站被收錄的幾率降低。 服務(wù)器不穩(wěn)定造成網(wǎng)站不被收錄是非常重要的一個(gè)原因，很多網(wǎng)站頁(yè)面、內(nèi)容的質(zhì)量明明做的非常好，就是因?yàn)榉?wù)器的問(wèn)題而沒(méi)有一個(gè)好的收錄情況。
域名被列入黑名單
有的網(wǎng)站負(fù)責(zé)人在購(gòu)買(mǎi)域名的時(shí)候并沒(méi)有做好調(diào)查工作，沒(méi)有去查查這個(gè)域名的使用歷史，有的域名其實(shí)已經(jīng)被列入了百度黑名單或者是進(jìn)入了可以域名名單。如果你使用的是這樣的一個(gè)域名，那么就算網(wǎng)站的內(nèi)容很好，也會(huì)造成無(wú)法被收錄。 解決的方法是我們要盡早對(duì)域名的歷史使用情況進(jìn)行調(diào)查，如果有發(fā)現(xiàn)過(guò)去被百度懲罰過(guò)，已經(jīng)被列入了黑名單的話，那么就一定不能使用這樣的域名。
頁(yè)面沒(méi)有被搜索引擎蜘蛛抓取到
有一些頁(yè)面不論你怎樣進(jìn)行修改就是沒(méi)有收錄，但是網(wǎng)站里面的其他頁(yè)面又沒(méi)有問(wèn)題。一般來(lái)說(shuō)，碰到這樣的情況就要想去看看網(wǎng)站日志，看一看搜索引擎蜘蛛是不是已經(jīng)對(duì)這個(gè)頁(yè)面進(jìn)行了成功的抓取，如果沒(méi)有抓取的話那么當(dāng)然就不會(huì)被收錄。 解決的方法是如果網(wǎng)站里面的別的頁(yè)面能夠被百度搜索引擎蜘蛛正常收錄，而且收錄的情況還比較好的話，那么不妨為那些沒(méi)有被收錄的頁(yè)面增加一個(gè)鏈接入口，包括了內(nèi)部鏈接和外部鏈接。
ROBOTS協(xié)議設(shè)置有問(wèn)題
百度搜索引擎蜘蛛只會(huì)對(duì)具備robots文件搜索協(xié)議的頁(yè)面進(jìn)行抓取，百度會(huì)在網(wǎng)站建設(shè)網(wǎng)站之前或者是在調(diào)試的古城當(dāng)中對(duì)robots文件進(jìn)行設(shè)置，這樣就可以避免搜索引擎在這個(gè)階段進(jìn)行抓取。但是有的時(shí)候網(wǎng)站正式上線了，但是自己卻忘記修改robots文件，導(dǎo)致網(wǎng)站始終都是在一個(gè)被百度屏蔽的狀態(tài)，那么自然就無(wú)法獲得收錄了。 解決的方法是發(fā)現(xiàn)網(wǎng)頁(yè)沒(méi)有被收錄的一時(shí)間就檢查一下robots文件的設(shè)置是不是有問(wèn)題。