蜘蛛作用是訪問互聯網上的html網頁，建立索引數據庫，在網站優化中使用戶能在搜索引擎中搜索到您網站的網頁。做seo的人一般都知道，研究蜘蛛爬行規律對于網站優化意義重大，本文簡單說明一下蜘蛛爬行網站后返回代碼所代表的具體含義：

2xx 成功

200 正常;請求已完成。

201 正常;緊接 post 命令。

202 正常;已接受用于處理，但處理尚未完成。

203 正常;部分信息 — 返回的信息只是一部分。

204 正常;無響應 — 已接收請求，但不存在要回送的信息。

3xx 重定向

301 已移動 — 請求的數據具有新的位置且更改是永久的。

302 已找到 — 請求的數據臨時具有不同 uri。

303 請參閱其它 — 可在另一 uri 下找到對請求的響應，且應使用 get 方法檢索此響應。

304 未修改 — 未按預期修改文檔。

305 使用代理 — 必須通過位置字段中提供的代理來訪問請求的資源。

306 未使用 — 不再使用;保留此代碼以便將來使用。

4xx 客戶機中出現的錯誤

400 錯誤請求 — 請求中有語法問題，或不能滿足請求。

401 未授權 — 未授權客戶機訪問數據。

402 需要付款 — 表示計費系統已有效。

403 禁止 — 即使有授權也不需要訪問。

404 找不到 — 服務器找不到給定的資源;文檔不存在。

407 代理認證請求 — 客戶機首先必須使用代理認證自身。

410 請求的網頁不存在(永久);

415 介質類型不受支持 — 服務器拒絕服務請求，因為不支持請求實體的格式。

5xx 服務器中出現的錯誤

500 內部錯誤 — 因為意外情況，服務器不能完成請求。

501 未執行 — 服務器不支持請求的工具。

502 錯誤網關 — 服務器接收到來自上游服務器的無效響應。

503 無法獲得服務 — 由于臨時過載或維護，服務器無法處理請求。