您的服務器是否把Googlebot當作普通的網站訪問者?

盡管Googlebot盡力表現的像一個普通用戶，但有一些服務器可能還是會感到困惑而以比較奇怪的方式進行回應。比如，當用戶以Googlebot為user-agent進行訪問時，雖然您的服務器在大多數時間里都可以完美無暇地工作，但是有一些運行IIS的服務器會返回服務器錯誤(或者其他一些和發生服務器錯誤相關的操作)。在網站管理員支持論壇里，我們曾經碰到過IIS服務器返回500錯誤(服務器錯誤)和404錯誤(文件找不到)出現在"網絡抓取"診斷部分的情況，還有提交網站地圖(Sitemap)文件時出現302錯誤。如果您的服務器重定向到錯誤頁面，您應該確保我們可以抓取這個錯誤頁面，并且確保服務器返回正確的錯誤代碼。當您做好這些以后，我們就可以在網站管理員工具里顯示這些錯誤。

如果您的網站托管在運行MicrosoftIIS的服務器上，請記住，自然情況下網址是區分大小寫的(我們也是如此處理他們的)。這包括那些出現在robots.txt文件里的網址。如果您的服務器以不區分網址大小寫的形式工作，您應該小心處理這一部分。例如,"disallow:/paris"將阻止我們訪問/paris，而不是/Paris。

您的網站是否存在一些系統性的已損壞的鏈接?

現代內容管理系統(CMS)經常會導致一些問題，而這些問題往往能夠影響大批的網頁。有時候這些問題很直接，當您在瀏覽這些頁面時就可以發現;有時候，靠您自己很難發現這些問題。如果某個類似上述的問題產生了大量損壞的鏈接，它們一般會顯示在您網站管理員工具帳戶的"網絡抓取"診斷部分(列出那些正常返回404代碼的已損壞的網址)。在最近的一個個案中，一個網站的RSSfeed出了一個小的編碼錯誤，結果導致超過60,000個壞的網址顯示在該網站的網站管理員工具帳戶里。您一定能理解，我們更愿意將時間花在抓取內容而不是這些404錯誤頁面上:)。