资源
群里大家聊过的 1111 个好用的工具、网站、仓库、框架和平台,每一个都附上大家讨论的总结
SEO12Google11收录8站长工具6SEO工具4爬虫3AI2AI编程2API2Bing2GitHub2国内可直接用2安全2广告变现2性能2Cloudflare1Open Graph1中文界面1关键词研究1流量分析1百度1邮件1页面优化1
OAI-SearchBot(OpenAI 搜索爬虫)
站长与收录工具 · 群里提到 3 次 · 最近 2026-10-26
OpenAI 用于 ChatGPT 搜索的网页爬虫,帮助发现和展示网站内容。站长可通过官方爬虫文档了解其身份与抓取规则;抓取记录不代表网站已被推荐或保证获得排名。
SEOAI收录爬虫
Google-Extended
属于 Google · 站长与收录工具 · 群里提到 3 次 · 最近 2026-07-26
Google 的 AI 训练爬虫,可通过 robots.txt 控制是否允许抓取用于 AI 训练。
Google爬虫AIGooglebot
属于 Google · 站长与收录工具 · 群里提到 2 次 · 最近 2026-07-26
Google 的搜索爬虫,用于抓取网页内容以建立搜索索引。
Google爬虫收录