[devops]

问题

feicode.com 一直没被 Google 收录，排查发现 3 个问题：

1. robots.txt 缺少 Sitemap 指令

Forgejo 内置了完整的 sitemap（25 个分页覆盖所有仓库 + 1 个用户页），但 robots.txt 里没告诉搜索引擎它存在。

2. robots.txt 过于严格

原始版本只允许首页和 explore，几乎屏蔽了所有有价值页面。

3. 未注册搜索引擎站长工具

feicode.com 从未做过搜索引擎验证，没有主动提交 sitemap 。

已完成

robots.txt 重写

nginx 层 location 从硬编码 return 200 改为 alias 文件，便于后续维护。

关键改动：

• 添加 Sitemap 指令指向 sitemap.xml
• Crawl-delay 从 10 降到 2
• 允许仓库主页、 explore 被爬取
• 屏蔽低价值页面：blame 、 commit 、 raw 、 diff 、 patch 、 archive 、 activity
• 屏蔽功能页面：登录、注册、设置、通知、搜索
• 屏蔽 AI 爬虫：GPTBot 、 CCBot 、 Amazonbot 、 Bytespider 等

Forgejo 自定义 robots.txt 的坑

Forgejo v11.x 的 robots.txt 有 3 层：

1. Forgejo 内置 （Go 代码硬编码动态生成）
2. 自定义文件 （理论上覆盖内置，但 v11 实测不生效）
3. nginx 层拦截 （优先级最高）

最终方案：nginx 层 alias 指向静态文件，简单可靠。

待完成 （已交 modiqi）

Google Search Console 注册

1. 添加 feicode.com 为资源
2. DNS TXT 验证 （域名 DNS 在 CF）
3. 提交 sitemap
4. 请求首页编入索引

后续可选

• 百度搜索资源平台
• 必应 Webmaster Tools
• 定期检查索引覆盖率

[作者]

帖子