重复页面是指同时具有带

sanabiul2

图4 待Google抓取 保持层次结构浅薄且 URL 易于理解 您网站的层次结构越浅，您的网站就越容易被抓取。 由于Google爬虫是从浅层开始爬行的，层数越深，爬行顺序越慢，爬行能力越低。 根据 Google 的说法，拥有较深的 URL 并不一定意味着对 SEO 不利，但较深且复杂的 URL 会使爬虫程序精疲力尽，并使其更难爬行。 如果层次结构不可避免，请使用等易于理解的 URL 创建易于抓取的结构。


删除重复页面 通过删除重复页面提高了可爬行性。 “www”和不带“www”的URL的页面，或者同时可 电话号码数据 以从“L访问的页面，并且被判定为复制内容的页面。因这样做而受到谷歌的处罚。 为了避免这种情况，请设置 301 重定向。 301重定向是指当网站更新时，访问原网站的用户会自动重定向到新网站。 Google 5 抓取的图片 这会告诉 Google 您的网站已移动，并防止任一页面被抓取并被视为重复。




重定向需要设置一段时间，但有些人可能想知道应该持续这样做多长时间，因为 URL 每个周期都需要更新。 谷歌的加里建议重定向至少一年。因此，通过持续重定向至少一年，直到Google爬虫过程完成，如果有时间，不会对吸引客户产生负面影响。 减小文件大小 谷歌爬虫会抓取网站上的所有信息，即不仅是文本，还包括图像、视频和代码，因此如果文件大小很大，就会耗尽，无法注册所有信息谷歌数据库。 因此，尽量压缩文件大小，以减轻爬虫的负担。