WordPress 设置禁止抓取,阻止搜索引擎收录

WordPress 设置禁止抓取,阻止搜索引擎收录

WordPress 设置禁止抓取,阻止搜索引擎收录

通常,你不希望你的 Web 页面对搜索引擎屏蔽。你通常会希望你的网站和它的内容尽可能地可见。然而,也有一些例外情况,当你需要隐藏一个页面不被 Google 和其他搜索引擎发现时。

你这样做可能是为了保护隐私页面,限制付费内容,或者一个临时测试页面 —— 比如为促进一次性活动而构建的内容。好消息是,不管你是否愿意手动更改你的网站,你都可以使用一些方法来隐藏一个 WordPress 页面。

在本文中,我们将讨论如何从 Google 和其他搜索引擎隐藏 WordPress 页面。

隐藏 WordPress 页面的好处和坏处

在我们更进一步之前,请务必注意,我们将在整个文章中使用 "page" 一词。但是,我们将讨论的所有内容也适用于帖子和其他 Web 内容。

与任何其他内容一样,隐藏搜索引擎页面也有利弊。好处包括你可以:

  • 跟踪网站,分析以确定流量来源。你可能想让你的分析远离搜索引擎流量,以便准确地了解你的营销活动是如何执行的。
  • 屏蔽时效性页面。例如为网络研讨会、会议或产品发布创建的页面,通常不需要进行索引。如果你不隐藏这些页面,它们可能在事件完成多年后仍会显示在搜索引擎结果中。
  • 在你的网站上推广一个特定的页面。如果你有多个页面,内容有很高的相似度,搜索引擎会优先考虑其中的一个页面。因此,如果你已经创建了一个专门为推广产品而设计的页面,那么你希望所有可用的流量都路由到这个页面。你可以通过隐藏其他页面来实现这一点。

但是,屏蔽搜索引擎抓取也有一定的坏处:

  • 隐藏的页面不会通过搜索被发现。这是一个明显的缺点。隐藏页面意味着它们不会被搜索引擎编入索引,用户也不会通过搜索找到它们。
  • 不是每个搜索引擎都会尊重你的禁止抓取规则。虽然大多数搜索引擎会尊重你隐藏某些页面的请求,但恶意机器人和爬虫程序不会。例如,传播恶意软件或窃取电子邮件地址、电话号码等个人信息的机器人。

对于你的特定内容来说,利大于弊取决于你自己。如果你决定要对搜索引擎隐藏一个或多个页面,那么让我们看看可以完成这项工作的三种方法。

方法一:使用 Robots.txt 文件

我们的第一个方法包括编辑你站点的 robots.txt 文件,其中包含一个命令,告诉搜索引擎不要将你的页面编入索引。该文件位于你的网站服务器的根目录。它包含一些规则,告诉搜索引擎哪些链接可以抓取和哪些链接不能被抓取。

我们将使用四个可用命令之一 Disallow 屏蔽页面。请注意,你可以通过文件传输协议 (FTP) 找到并编辑站点的 robots.txt 文件。另一种选择是通过主机提供商访问 cPanel 中的文件管理器。

从网站根目录找到该文件,并添加以下代码:

User-agent: *
Disallow: /your-page/

每一行都包含一个 “Key / Value” 对。例如,“User-agent” 是第一行上的键,星号是值,表示所有用户标识。

如果只将 Google 搜索引擎屏蔽掉,则需要将 * 替换成 Googlebot

User-agent: Googlebot
Disallow: /your-page/

记得将链接改成需要屏蔽的链接或目录,然后保存文件。

方法二:使用 WordPress 插件

我们的第二种方法是使用 Yoast SEO 插件。这种方法比前面的方法更直接。

一旦你安装和激活插件,找到你想隐藏的页面,通过导航到页面 > 所有的页面或帖子 > 所有的帖子。然后在编辑页面找到 Yoast SEO 的高级选项:

使用 Yoast SEO 禁止某个页面被抓取

将“允许搜索引擎在搜索结果中显示此文章吗?”选项选择“否”即可。

方法三:使用密码保护页面

WordPress 提供了一个功能,可以通过设置密码来保护页面。这意味着只有具有密码的用户才能访问该页面。请注意,如果你的目标是向访问者而不是搜索引擎隐藏内容,这是推荐的方法。

上面讨论的两种技术只能防止页面出现在搜索结果中。只要有正确的 URL,任何人都可以访问它。因此,你可能希望将此方法与其他选项之一结合使用。

要设置一个页面的密码,在 WordPress 编辑器中打开它。在右侧找到“发布选项卡”,默认情况下,页面设置为 “公开”,所以要将可见性选择为密码保护:

使用密码保护 WordPress 上的帖子和页面

然后将密码输出到文本框中即可实现密码访问。

以上就是关于“在 WordPress 上屏蔽搜索引擎抓取的方法”,希望这篇文章能够帮到你。