Robots.txt 文件告诉搜索引擎如何抓取你的网站，这使它成为一个难以置信的强大的 SEO 工具。在本文中，我们将向您展示如何为 SEO 创建一个完美的 Robots.txt 文件。

什么是 Robots.txt 文件？

Robots.txt 是一个文本文件，网站所有者可以创建它来告诉搜索引擎机器人如何在他们的网站上抓取和索引页面。

它通常存储在网站的根目录，Robots.txt 文件的基本格式如下:

User-agent: [user-agent name]
Disallow: [URL string not to be crawled]
 
User-agent: [user-agent name]
Allow: [URL string to be crawled]
 
 
Sitemap: [URL of your XML Sitemap]

您可以使用多行指令来允许或不允许特定的 url，并添加多个 sitemap。如果您不禁用 URL，那么搜索引擎机器人就会认为它们可以对其进行抓取。

下面是一个 Robots.txt 的示例文件：

User-Agent: *
Allow: /wp-content/uploads/
Disallow: /wp-content/plugins/
Disallow: /wp-admin/
 
Sitemap: https://example.com/sitemap_index.xml

在上面的 Robots.txt 例子中，我们允许搜索引擎在我们的 WordPress 上传文件夹中抓取和索引文件。

在那之后，我们禁止搜索机器人从爬行和索引插件和 WordPress 管理文件夹。

最后，我们提供了 XML 站点地图的 URL。

你的 WordPress 网站需要 Robots.txt 文件吗？

如果你没有 Robots.txt 文件，那么搜索引擎仍然会抓取并索引你的网站。然而，你将不能告诉搜索引擎哪些页面或文件夹他们不应该抓取。

当你刚开始写博客，内容不多的时候，这不会有太大的影响。

然而，随着你的网站内容的增加，网站中的链接会非常多，那么你可能想更好地控制你的网站如何爬行和索引。

搜索机器人对每个网站都有一个搜索配额。

这意味着它们在爬行会话期间爬行一定数量的页面。如果他们没有完成对你站点上所有页面的爬行，那么他们将在下一个会话中回来继续爬行。

这会降低你的网站索引率。

你可以通过禁止搜索机器人抓取不必要的页面来解决这个问题，比如你的 WordPress 管理页面、插件文件和主题文件夹。

通过禁止不必要的页面，您可以节省您的爬行配额。这可以帮助搜索引擎在你的网站上抓取更多的页面，并尽可能快地建立索引。

使用 Robots.txt 文件的另一个好理由是，当你想要阻止搜索引擎索引你网站上的一篇文章或页面时。

这不是向公众隐藏内容的最安全的方法，但它可以帮助你防止它们出现在搜索结果中。

最佳的 Robots.txt 文件应该是什么？

许多流行的博客使用一个非常简单的 Robots.txt 文件。它们的内容可能会根据特定网站的需要而有所不同:

User-agent: *
Disallow:
  
Sitemap: http://www.example.com/post-sitemap.xml
Sitemap: http://www.example.com/page-sitemap.xml

这个 Robots.txt 文件允许所有机器人索引所有内容，并为它们提供到网站的 XML 站点地图的链接。

对于 WordPress 站点，我们在 Robots.txt 文件中推荐使用以下规则：

User-Agent: *
Allow: /wp-content/uploads/
Disallow: /wp-content/plugins/
Disallow: /wp-admin/
Disallow: /readme.html
Disallow: /refer/
 
Sitemap: http://www.example.com/post-sitemap.xml
Sitemap: http://www.example.com/page-sitemap.xml

这告诉搜索机器人索引所有 WordPress 图片和文件。它禁止搜索机器人索引 WordPress 插件文件，WordPress 管理区域，WordPress 自述文件和附属链接。

通过添加 Sitemaps 到 Robots.txt 文件，谷歌机器人可以很容易地找到你网站上的所有页面。

现在您已经知道了理想的 Robots.txt 文件是什么样的，让我们看看如何在 WordPress 中创建 Robots.txt 文件。

如何在 WordPress 中创建 Robots.txt 文件？

有多种方法可以在 WordPress 中创建 Robots.txt 文件。您可以选择最适合自己的方法。

方法一：使用 All in One SEO 编辑 Robots.txt 文件

All in One SEO 也被称为 AIOSEO 是市场上最好的 WordPress SEO 插件，被超过 200 万个网站使用。

它易于使用，并附带一个 Robots.txt 文件生成器。如果你还没有安装 AIOSEO 插件，你可以看看我们如何安装 WordPress 插件的一步一步指南。

注：免费版本的 AIOSEO 也可用，并且包含此功能。

一旦插件安装和激活，你可以直接使用它来创建和编辑 Robots.txt 文件。

导航到 All in One SEO » Tools 来编辑 Robots.txt 文件：

首先，你需要打开编辑选项，点击 “启用自定义 Robots.txt”。打开这个开关后，你可以在 WordPress 中创建一个自定义的 Robots.txt 文件。所有在一个 SEO 将显示您现有的 Robots.txt 文件在 'Robots.txt 预览' 部分在屏幕底部。

这个版本将显示 WordPress 添加的默认规则。

这些默认规则告诉搜索引擎不要抓取你的核心 WordPress 文件，允许机器人索引所有内容，并为它们提供到你站点的 XML 站点地图的链接。

现在，您可以添加自己的自定义规则来改进用于 SEO 的 Robots.txt。要添加规则，请在 “user agent” 字段中输入用户代理。使用 a * 将把规则应用到所有用户代理。

然后，选择 “允许” 还是 “不允许” 搜索引擎爬行。接下来，在 “目录路径” 字段中输入文件名或目录路径。该规则将自动应用于 Robots.txt。要添加另一条规则，请单击 “添加规则” 按钮。

我们建议添加规则，直到您创建了上面我们分享的理想的 Robots.txt 格式。您的自定义规则将如下所示。

修改完成后，不要忘记保存文件。

方法二：使用 FTP 工具上传 Robots.txt 文件

对于这个方法，您将需要使用 FTP 客户端来编辑 Robots.txt 文件。只需使用 FTP 客户端连接到您的 WordPress 托管帐户。

进入后，你就可以在你的网站根目录下看到 Robots.txt 文件。如果根目录下没有 Robots.txt 文件，则可以创建一个。

将修改后的 Robots.txt 上传到网站根目录即可。

检查 Robots.txt 文件是否正确

检测 Robots.txt 文件的正确性非常简单，只需要登录百度站长平台，在左侧菜单中找到“数据统计->Robots”。如果已经验证了当前网站，则可以直接点击“检测并更新”。

如果没有验证或因为其他原因无法验证网站，则可以使用“检测未验证站点的 Robots”，将域名输入到文本框中，点击检测即可。