然后让 Screaming Frog 关注我们想要从中获取数据的 URL。为此，我们使用“设置”菜单项中的“包含”和“排除”选项。
通过“include”，我们可以使用正则表达式将 SF 配置为仅抓取网站上的特定 URL 。在此示例中，我们正在寻找非常简单的内容，因为我们只想包含我们最初找到要包含的内容的网站的 /folder/subfolder 中的任何内容。只需一个参数即可。
“排除”使事情变得有些复杂，但也只是一点点。您应该记下 Screaming Frog 不从中提取信息的 URL，这些 URL通常存储在各个子文件夹中。当我们找到它们时，我们告诉程序将它们从搜索中排除。
要剪切这些文件夹，我们将以下行添加到排除过滤器中：
经过进一步的测试，我们可能还 公关总监电子邮件列表 需要排除更多的文件夹，所以我们添加了：
值得注意的是，虽然Screaming Frog并没有从这些URL中提取信息，但这根本不会打扰我的分析，只要定义的文件夹包含我们想要的信息，这些“无用”的页面就不会干扰结果。 。如果我们让尖叫青蛙自由发挥，它会捕获我们需要的所有信息，甚至更多，并且追踪这些无用信息所需的时间可以忽略不计。