Crypto Database

Distilled 的客户都是电子商务品牌，他们索引中有数百万个页面被抓取，但实际上这些页面不应该被抓取。这些页面不会给网站带来任何价值、收入等。我们应该关注的主要原因是，我们希望避免索引膨胀和抓取错误或问题。

3. 在控制哪些页面被索引/抓取时，我们有哪些选择？
我们要讨论的第三件事是，我们在控制其中某些内容方面有哪些选择，例如控制页面是否被索引或抓取等。今天我不打算深入讨论每一个细节，但我有一篇关于这个主题的博客文章，我们会在底部提供链接。

我们控制此类事情的主要、最常见的选项是不对页面进行索引并阻止 Google 对其进行索引，使用规范标签选择本质上是规范版本的页面，在 robots.txt 中使用禁止规则阻止 Google 抓取网站的某个部分，或者也使用nofollow 元指令。这些是一些最常见的选项。同样，我们不会深入讨论每个选项的细节。它们各有优缺点，所以你可以自己研究一下。

4. 解决方案是什么样的？
好吧，我们知道了这一切。什么才是理想的解决方案？在我开始讨 哥伦比亚手机号码数据 论这个问题之前，我不希望你们跑到老板面前说：“这就是我们需要做的。”

请事先做好研究，因为根据您的网站，情况会有很大差异。根据您拥有的开发资源，您可能需要对其进行仔细研究。此外，主要围绕长尾进行一些关键字研究。在很多情况下，您可能希望对三四个方面进行索引。

因此，再次强调：这不是万能的解决方案。这是我们在适当的时候向客户推荐的方法。那么，让我们来看看理想的解决方案、不理想的解决方案和可能的解决方案是什么样子的。

开放供索引和抓取的类别、子类别和子子类别页面


我们在这里看到的是，我们将开放类别、子类别和子子类别页面以供索引和抓取。在我们的示例中，这将是此页面，即 /computers/laptops/apple。完全没问题。人们可能正在搜索 Apple 笔记本电脑。事实上，我知道他们正在搜索。