robots.txt生成 - 小妖精工具箱 - 一站式在线实用工具平台

搜索引擎设置

默认策略：

国内搜索引擎：

{{ engine.label }}

国外搜索引擎：

{{ engine.label }}

爬行时间间隔（Crawl-delay，秒）：

Sitemap路径：

禁止访问的目录/文件

Disallow（禁止访问的路径）：

允许访问的目录/文件

Allow（允许访问的路径）：

生成的robots.txt内容

{{ robotsContent }}

工具说明

本工具可以在线生成robots.txt文件，控制搜索引擎蜘蛛的访问权限。

通过web界面设置好要配置的数据，点击生成即可生成robots.txt文件内容。

创建一个空白的文本文件，命名为："robots.txt"，然后把上面的内容，复制并粘贴到"robots.txt"中去。

把"robots.txt"放在你网站的根目录，访问robots.txt，确保他能让搜索蜘蛛访问到。

评论区

0条评论