标签：搜索引擎蜘蛛

OpenAI

robots.txt如何只允许GPTBot抓取首页

最近子凡我发现我们的泪雪网被 GPTBot 大量的抓取，GPTBot 是 OpenAI 为了训练 GPT 5 和更高级别模型的网络爬虫，所有本着不想自己...

张子凡 2023年09月 440 阅读 评论(0)

