早期的搜索引擎蜘蛛是通過結(jié)構(gòu)層次一級一級的獲取內(nèi)容的，后來鏈接分析出來以后，蜘蛛獲取的網(wǎng)狀效果就出來了，可以直接通過不同頁面之間的鏈接進行隨意獲取新頁面，有選擇性的進行訪問，以達到最快速接觸新頁面的目的，也加速了搜索引擎的成長。不過這里我們主要了解站點的結(jié)構(gòu)層次方面，鏈接方面將會在接下來的內(nèi)容中進行分享。
在上文《SEO全局觀：用戶體驗第一》的最后我問了
搜索引擎蜘蛛的問題，在這里我們假設(shè)這個搜索引擎的蜘蛛是第一次來訪問站點，為了讓它進入網(wǎng)站以后能高效率地進行內(nèi)容抓取，網(wǎng)站建設(shè)前必須要考慮到結(jié)構(gòu)的問題。一定要避免在后期進行結(jié)構(gòu)方面的大改動，因為后期改動的成本太高。
如果在前期能夠為網(wǎng)站設(shè)置合理的結(jié)構(gòu)層次，那么可以為我們后期的優(yōu)化帶來事半功倍的效果。
目前來說網(wǎng)站主要有兩種結(jié)構(gòu)方式：樹型、扁平型。
目前絕大部分的站點都在采用樹型結(jié)構(gòu)，一部分站點采用了扁平型結(jié)構(gòu)。還有少部分站點采用了極不符合搜索引擎抓取的結(jié)構(gòu)層次。
我們先來看：扁平型
這是很理想化的一種狀態(tài)，就像我們在桌面上放置大量的常用快捷方式，讓我們快速打開文件非常方便。
在網(wǎng)站當中，通常發(fā)生在使用動態(tài)地址及偽靜態(tài)地址的站點，這種結(jié)構(gòu)可以讓蜘蛛到達首頁后的一次路徑就到達最終內(nèi)容頁面。
通常情況下，我們的站點可能有成千上萬的頁面，如果想要實現(xiàn)這種方式，是極為困難的。
但一些小型的站點是可以做到的，比如只有不到幾十個頁面的企業(yè)站點。完全可以想辦法讓蜘蛛一次到達最終內(nèi)容頁。
接下來我們看：樹型
上圖是一張很典型的樹型結(jié)構(gòu)，類似我們的硬盤分區(qū)，每個區(qū)有不同的文件夾，文件夾下有不同的文件，層級一直可以循環(huán)下去。
假如你的網(wǎng)站內(nèi)容不多，上圖的這三種層級足夠用了。不過一些內(nèi)容相對較多的站點，可能存在維護方面的問題，相對來說在第二層級可能再細分層級。
通常采用這種結(jié)構(gòu)的站點，URL在一定程度上會相對具有語義，有利于蜘蛛理解內(nèi)容結(jié)構(gòu)以及后期我們對SEO方面進行的各種分析。
可以看到上圖的箭頭指向基本上都是單一化的，從首頁至欄目再至內(nèi)容，或者從首頁至專題再至內(nèi)容，或者從首頁直接至內(nèi)容。
其實上圖也是一種很理想化的層次了，首頁直接至內(nèi)容的箭頭有可能不會發(fā)生或者影響的內(nèi)容頁非常少，因為首頁的位置是有限的，對于大型站點來說，不可能在首頁堆積上萬個內(nèi)容頁面的鏈接。
那么我們只能對內(nèi)容采取分流的形式，放置于第二層級的頁面列表當中。
在第三層級的內(nèi)容，如果不能在第一層級得到展示，那么一定要在第二層級進行展示，否則蜘蛛可能找不到這些內(nèi)容，造成收錄減少。
有的時候即使我們采取了在第二層級展示的辦法，也會因為第二層級的內(nèi)容過多，如列表頁面非常多的時候，蜘蛛要通過不斷地進行翻頁進入第2個、第3個、第N個列表頁，這樣一樣會造成一些內(nèi)容無法被訪問到。這就是樹型結(jié)構(gòu)的弱點。如下圖中的效果：
這兩種結(jié)構(gòu)的好處及可能產(chǎn)生的問題：
用扁平型結(jié)構(gòu)做出來的站點，由于結(jié)構(gòu)層次短，
蜘蛛效率高，收錄會加快，而且會帶來好的排名效果，因為搜索引擎，尤其在
百度上，短的URL通常占有一定的優(yōu)勢。
但是這種結(jié)構(gòu)的層級是不能從URL上識別出來的，不只是語義上會有一些問題，蜘蛛在對站點進行整體分析的時候也會存在問題，從鏈接上來說，權(quán)值傳遞起來可能存在不集中的后果，導致內(nèi)鏈方面的效果無法很好地體現(xiàn)。從管理上來說，頁面數(shù)據(jù)越多導致后期管理越麻煩，因為沒有分類，就像桌面圖標排滿了以后，效率越來越低，長時間找不到文件一樣。
用樹型結(jié)構(gòu)做出來的站點，結(jié)構(gòu)清楚，URL語義明確，識別度高，搜索引擎處理內(nèi)部鏈接的權(quán)值傳遞會比較容易，后期管理比較容易。
那樹型結(jié)構(gòu)還有一些好處就是，在后期收錄量的分析上面，我們可以通過類似：“inurl：目錄URL site：域名”的方式進行。
但這種結(jié)構(gòu)可能導致收錄存在一些問題，就是一些頁面無法在3次點擊之內(nèi)到達，蜘蛛獲取困難，導致收錄周期長或者丟失收錄。
當然這是可以處理的，針對搜索引擎來解決上面樹型結(jié)構(gòu)問題的時候，我們基本上都是通過站點地圖進行處理。做出的這個站點地圖應(yīng)該盡量靠近扁平型的結(jié)構(gòu)，讓蜘蛛在3次點擊之內(nèi)到達最終內(nèi)容頁面。如果大家觀察仔細，分析過一些大型站點的，應(yīng)該可以了解到他們的站點地圖是非常強大的，有的網(wǎng)站僅地圖頁面就有幾萬的收錄量，已經(jīng)能夠很好的幫助到蜘蛛獲取內(nèi)容。
最后，大家一定要根據(jù)自己站點本身的要求來進行規(guī)劃，如果內(nèi)容量比較少的，就像blog.robinclub.org 一樣，用扁平型結(jié)構(gòu)吧，因為這個數(shù)量級的內(nèi)容完全可以使用這種結(jié)構(gòu)。如果你想做一個幾萬甚至十萬、百萬級別內(nèi)容的站點，就應(yīng)該仔細考慮了。希望這篇內(nèi)容對大家有所幫助。
