默认全部放行。想拦哪个就取消勾选。
—
1 · 默认模板把 AI 爬虫全 block。不少 CDN / WAF 和建站框架的 robots 模板里，AI 爬虫是默认拒绝的。结果内容全在、GEO 零效果——因为根本没人来抓。
2 · GPTBot 和 OAI-SearchBot 是两个 UA。只放行 GPTBot，OpenAI 的搜索抓取依然进不来。同理 ClaudeBot / Claude-User / Claude-SearchBot 也各是各的。
3 · robots.txt 只是"君子协定"。它挡不住不守规矩的抓取。真要保护后台，用鉴权（basic auth / 登录）而不是靠 robots。
4 · 只改 robots 还不够。纯前端渲染（SPA）的站点，爬虫抓到的是空壳。我们给一个 Vue 站点加友链时踩过：必须同时改 JS 数组（真人看）和 387 个预渲染快照页（爬虫看），少改一边等于白干。