robots.txt如何只允许GPTBot抓取首页

张子凡 昨天 00:11
最近子凡我发现我们的泪雪网被 GPTBot 大量的抓取,GPTBot 是 OpenAI 为了训练 GPT 5 和更高级别模型的网络爬虫,所有本着不想自己...