在seo優(yōu)化的過程中，經(jīng)常會(huì)遇到日志中有很多無效抓取，或者同一頁面收錄多個(gè)等問題，那怎樣引導(dǎo)蜘蛛正確抓?。勘苊庠斐梢恍┎槐匾氖珍浐妥ト?？

無效抓取的原因

通過我們對(duì)搜索引擎抓取策略的了解，我們知道搜索引擎會(huì)通過互聯(lián)網(wǎng)鏈接和目錄等形式分布式抓取，那導(dǎo)致我們出現(xiàn)無效抓取的原因也不外乎是以下5點(diǎn)：

robots.txt未設(shè)置完善，導(dǎo)致無關(guān)路徑被抓取；

程序規(guī)則適配未設(shè)置，導(dǎo)致單一頁面重復(fù)收錄；

網(wǎng)頁鏈接布局重復(fù)，導(dǎo)致無關(guān)頁面頻繁被抓?。?/p>

css、js等相關(guān)文件未做合并，導(dǎo)致抓取資源占取較大；

404頁面未配置，導(dǎo)致的無效頁面抓??；

而這些文件和規(guī)則的配置，通常seo都會(huì)做，但做的還不夠，必須正確配置才能將搜索引擎分配給我們的抓取資源合理利用，況且如果結(jié)構(gòu)不合理或無效文件抓取過多也會(huì)給搜索引擎造成質(zhì)量較差的印象。

正確配置的方式方法

關(guān)于robots配置

在robots中，除了對(duì)目錄的屏蔽還有對(duì)鏈接的屏蔽規(guī)則。

我們不希望搜索url被抓取收錄，便可以通過規(guī)則來進(jìn)行屏蔽，找到規(guī)則中共有的 ?s= 然后在它的后面加上 * 便可以形成規(guī)則。

關(guān)于程序配置

關(guān)于程序配置需要注意的點(diǎn)便是避免產(chǎn)出重復(fù)url，如果無法在程序端修改，那一定要在服務(wù)器端適配好跳轉(zhuǎn)規(guī)則，以免造成重復(fù)收錄。典型的案例就是翻頁重復(fù)問題，這個(gè)翻頁重復(fù)問題一般來說都是程序?qū)е碌?，例如：www.xxx.com/news/和www.xxx.com/news/list_1.html

本質(zhì)上來說，這倆頁面URL雖然不同，但內(nèi)容缺是相同的，所以需要及時(shí)適配跳轉(zhuǎn)規(guī)則，避免無效抓取和重復(fù)收錄。

關(guān)于網(wǎng)頁鏈接布局

合理使用 nofollow 屬性，單一頁面出現(xiàn)重復(fù)鏈接或者無需抓取鏈接均可以使用 nofollow 屬性來解決。

關(guān)于css與js相關(guān)文件

對(duì)于搜索引擎來說，一切新的內(nèi)容都可以是被重視抓取的，但眾所周知網(wǎng)頁中的css和js文件對(duì)于seo來說并不需要占取大量抓取資源，為了合理性考慮，相關(guān)配置文件數(shù)量可少便少，可按照類型和用途進(jìn)行歸類匯總。

另外我們之前也提到過，主域名的跳轉(zhuǎn)適配也需要在建站過程中進(jìn)行正確配置，否則很有可能造成www和不帶www二者同時(shí)收錄的情況，也是權(quán)重不集中的體現(xiàn)。