这引发了一场更大的讨论:面对不断增长的 AI 流量,网站所有者该如何保护性能?
如果您优先考虑经济实惠和便捷性,那么共享主机是完美的选择,但它也有一些缺点。
当多个网站驻留在同一服务器上时,它们共享有限的资源,例如 CPU、RAM、带宽和磁盘 I/O。当流量保持可预测时,这种设置效果很好,但 AI 爬虫并不遵循这些规则。相反,它们往往会产生剧烈且突然的流量峰值。
共享主机中一个反复出现的问题是所谓的“吵闹邻居综合症”。一个网站流量大或资源消耗大,最终会影响到其他所有网站。对于人工智能爬虫来说,只要一个网站引起这些机器人的注意,就能破坏整个服务器的性能。
这并非理论上的。系统管理员报告称,即使在优化的服务 斯洛文尼亚 whatsapp 号码数据库 器上,爬虫活动高峰期 CPU 使用率也会飙升至300% 。
AI爬虫高峰流量期间的 CPU 使用率
图片来源:Github 用户,' galacoder '
在共享基础设施上,这些峰值可能会导致该服务器上托管的每个客户的节流、暂时中断或页面加载延迟。
而且,由于这种流量是机器生成的,它不会转化,不会参与;用在线广告术语来说,它被标记为GIVT(一般无效流量)。
如果性能问题还不够严重,由于 AI 爬虫流量会影响网站速度,它必然会影响您的技术 SEO。