接觸網(wǎng)站優(yōu)化的站長(zhǎng)都知道優(yōu)化分為站內(nèi)優(yōu)化和站外優(yōu)化，站內(nèi)優(yōu)化除了網(wǎng)站的內(nèi)部結(jié)構(gòu)以及各種標(biāo)簽的使用還有以下三大點(diǎn)非常重要：
第一，網(wǎng)站地圖，網(wǎng)站地圖指的是一個(gè)頁(yè)面，上面放置了網(wǎng)站上所有頁(yè)面的鏈接，一個(gè)網(wǎng)站上所有鏈接的容器，根據(jù)網(wǎng)站的結(jié)構(gòu)、框架、內(nèi)容，生成的導(dǎo)航網(wǎng)頁(yè)文件。要是在網(wǎng)站上找不到自己所需要的信息時(shí)，可能會(huì)將網(wǎng)站地圖作為一種補(bǔ)救措施，蜘蛛非常喜歡網(wǎng)站地圖，喜歡在網(wǎng)站地圖上爬來爬去尋找自己喜歡的新鮮的東西。
第二，404頁(yè)面
404是W3C規(guī)定的http狀態(tài)碼中的一種，是訪問網(wǎng)站比較常出現(xiàn)的錯(cuò)誤。告訴瀏覽者其所請(qǐng)求的頁(yè)面不存在或鏈接錯(cuò)誤，同時(shí)引導(dǎo)用戶使用網(wǎng)站其他頁(yè)面而不是關(guān)閉窗口離開，這種專業(yè)的官方解釋，通俗點(diǎn)將404頁(yè)面就是一個(gè)網(wǎng)站內(nèi)的報(bào)錯(cuò)頁(yè)面，當(dāng)我們輸入你的網(wǎng)站網(wǎng)址出現(xiàn)錯(cuò)誤是就會(huì)直接跳轉(zhuǎn)到404頁(yè)面，404頁(yè)面會(huì)引導(dǎo)用戶返回到網(wǎng)站的首頁(yè)或者其他用戶比較關(guān)注的頁(yè)面，這就需要我們?cè)谥谱?04頁(yè)面時(shí)給用戶或者蜘蛛做一個(gè)很好的引導(dǎo)作用，引導(dǎo)用戶回到你的網(wǎng)站首頁(yè)或者其他頁(yè)面，要是你的404頁(yè)面什么都沒有的話，蜘蛛或者用戶訪問到你的這個(gè)頁(yè)面找不到任何的信息就會(huì)直接關(guān)閉，這樣的用戶體驗(yàn)是很不好的。
第三，就是我們常見的robots.txt
在搜索引擎訪問網(wǎng)站的時(shí)候，robots.txt是第一個(gè)要被查看的文件，蜘蛛程序會(huì)根據(jù)文件上允許的頁(yè)面進(jìn)行爬取，在進(jìn)行網(wǎng)站優(yōu)化的時(shí)候，通過蜘蛛文件把一些不想讓蜘蛛抓取的內(nèi)容，比如js等文件攔截，假如說沒有robots.txt文件，蜘蛛會(huì)抓取你網(wǎng)站上所有的文件，這樣的話一些不想讓蜘蛛抓取的文件也會(huì)被抓取到，久而久之，會(huì)讓蜘蛛對(duì)你的網(wǎng)站產(chǎn)生很嚴(yán)重的排斥心理，會(huì)大大降低網(wǎng)站的搜索引擎抓取效率。