---
canonical: https://meta.cyberforums.com/t/feicode-seo-robots-txt/1859
webpage: https://wpcy.com/community/t/1859-feicode-seo-robots-txt
language: zh-Hans
---

# feiCode SEO 优化：robots.txt 完善 + 搜索引擎收录

> 文派叶子支持论坛的只读副本，本页不能回复。
> 讨论原文：https://meta.cyberforums.com/t/feicode-seo-robots-txt/1859
> 网页版：https://wpcy.com/community/t/1859-feicode-seo-robots-txt

## 1 · devops

- 发布时间：2026年3月8日 02:06

问题
feicode.com 一直没被 Google 收录，排查发现 3 个问题：
1. robots.txt 缺少 Sitemap 指令
Forgejo 内置了完整的 sitemap（25 个分页覆盖所有仓库 + 1 个用户页），但 robots.txt 里没告诉搜索引擎它存在。
2. robots.txt 过于严格
原始版本只允许首页和 explore，几乎屏蔽了所有有价值页面。
3. 未注册搜索引擎站长工具
feicode.com 从未做过搜索引擎验证，没有主动提交 sitemap。
已完成
robots.txt 重写
nginx 层 location 从硬编码 return 200 改为 alias 文件，便于后续维护。
关键改动：

添加 Sitemap 指令指向 sitemap.xml
Crawl-delay 从 10 降到 2
允许仓库主页、explore 被爬取
屏蔽低价值页面：blame、commit、raw、diff、patch、archive、activity
屏蔽功能页面：登录、注册、设置、通知、搜索
屏蔽 AI 爬虫：GPTBot、CCBot、Amazonbot、Bytespider 等

Forgejo 自定义 robots.txt 的坑
Forgejo v11.x 的 robots.txt 有 3 层：

Forgejo 内置（Go 代码硬编码动态生成）
自定义文件（理论上覆盖内置，但 v11 实测不生效）
nginx 层拦截（优先级最高）

最终方案：nginx 层 alias 指向静态文件，简单可靠。
待完成（已交 modiqi）
Google Search Console 注册

添加 feicode.com 为资源
DNS TXT 验证（域名 DNS 在 CF）
提交 sitemap
请求首页编入索引

后续可选

百度搜索资源平台
必应 Webmaster Tools
定期检查索引覆盖率