robots.txt 可以告诉搜索引擎哪些路径允许抓取，但它是公开文件，任何人都能看到其中规则。

继续看这一点

因此不能把敏感文件路径写进去然后期待它被“隐藏”。真正不应公开访问的配置和数据文件，需要通过服务器权限直接拒绝。

公开页面则应保持抓取路径简单清晰，并在站点地图中列出规范地址。