跳到主要内容

页面收录

看看 Google 收录了什么, 又悄悄跳过了什么

SEO Stack 抓取你的网站,把每个 URL 拿到 Google 核对,并按收录状态归类。你能看到每个数字背后的页面、某个页面未被收录的原因,还能直接在报告里分析它或提交收录请求。

  • 需要信用卡
  • 无需 Google Cloud 项目
  • 跑在你自己的抓取数据上

超过 5000 位用户和品牌在用:

为什么会有这个功能

一个数字不等于一份页面清单

Search Console 会告诉你有四百个 URL 处于“已抓取但当前未编入索引”。但要从这个数字找到具体的页面,并按可以逐一处理的顺序排好,这个报告就帮不上忙了。

示例只是样本

Search Console 每种状态只展示一部分 URL,而不是全部,所以你最需要看到的页面往往不在屏幕上。

没办法处理这份列表

没法在你自己的抓取数据上筛选,没有检查记录,也无法区分哪些页面你已经修复、哪些还没看过。

判定结果是孤立的

页面返回 200 时的索引状态,和页面什么都没返回时的索引状态,含义并不相同,而这两者是分开报告的。

报告

每一个抓取到的 URL,旁边就是 Google 的判定

顶部的摘要数字就是下方的筛选条件,任何一个数字距离它背后的页面都不超过一次点击。

SEO Stack 的页面收录概览,显示抓取的 31 个 URL 中有 25 个已收录,以及状态筛选器和每个 URL 的 Google 收录状态、HTTP 状态和页面抓取结果

已编入索引

Google 已把该页面收入索引。HTTP 状态和页面抓取状态就在旁边,你能看到 Google 实际拿到的响应。

未编入索引

Google 知道这个页面,但选择不收录,并附上原因,让你知道它是被抓取、被发现、重复还是被排除。

Google 未说明

检查过了,但 Google 没有给出明确结论。值得和真正的拒收区分开,因为两者的应对方式完全不同。

尚未检查

你这边已经抓取,但还没有拿去和 Google 核对。只需重试未检查的页面,不用重新跑一遍完整抓取。

未编入索引的原因

页面未被收录的原因,直接标在页面上

原因很重要,因为每种情况的处理方式完全不同,而且其中有几种根本不算问题。

已抓取,当前未编入索引

Google 抓取了页面,看过之后决定不收录。这通常是质量或重复性的判断,而不是技术故障,所以仅凭一个数量是最难着手处理的一类。

已发现,当前未编入索引

Google 知道这个 URL 存在,但没有抓取它。这往往是抓取预算或内部链接的问题,而且通常集中在网站的某些板块,而不是单个页面。

重复,Google 选择了不同的规范网页

Google 收录了另一个 URL 来替代这一个。查看它背后的页面,才能知道 Google 更倾向哪个版本。

被 noindex 排除

页面要求不被收录。用在感谢页上是对的,但落到一个服务数百个 URL 的模板上就是问题。

被 robots.txt 屏蔽

Google 不被允许抓取它,所以没有索引结论可看。被屏蔽的 URL 和被拒收的 URL 在汇总里看着差不多,但不是一回事。

软 404 和重定向状态

页面返回的内容被 Google 当成了不存在或重定向。HTTP 状态列会告诉你这是否和你的服务器实际发送的一致。

出现哪些原因取决于 Google 对你页面的返回结果。还没有核对过的 URL 不会附带原因,因为还没有判定可以解释。

怎么管理

找到页面,理解它,然后处理它

筛选出需要你处理的页面

把报告切换到 Not indexed、Google unspecified 或 Not checked yet,只处理那份列表。摘要里的数字就是标签页,任何一个数字距离它背后的页面始终只有一次点击。

就地分析页面

打开任意 URL,查看判定结果背后的信号,不用在另一个标签页里打开 Search Console 逐个检查。

在 Search Console 中请求编入索引

直接从你正在查看的那一行把 URL 提交给 Google,找到页面并请求重新抓取就是一个动作,而不是两个工具。

重试未检查的 URL

大站点是逐步检查的,所以有些 URL 会停留在 Not checked yet。重试这些 URL,而不是重新抓取那些已经有判定结果的页面。

SEO Stack 中的页面收录表格,其中一个 URL 标记为已核对、Google 未说明,显示它的 HTTP 状态、抓取状态,以及分析它或在 Search Console 中提交收录请求的选项

在较大的站点上

逐步核对,所以大规模抓取也能先跑起来

向 Google 检查 URL 有速率限制,所以在有一定规模的站点上,抓取会在每个页面都拿到判定结果之前就结束。报告会说明已经检查了多少个,而不是假装结果已经完整。

  • 摘要显示你抓取的 URL 中目前已经检查了多少
  • 仍在等待的页面有自己的状态,不会被算作未编入索引
  • Retry unchecked 会从中断的地方继续,而不是重新抓取整个站点
  • 每页行数和筛选让几百个 URL 变得可以处理,而不是一堵墙
SEO Stack 中的一个较大网站,显示 134 个 URL 中有 57 个已与 Google 核对,其余标记为尚未核对

问题

运行之前

这和 Search Console 里的 Page Indexing 报告有什么不同?

Search Console 告诉你每种状态下有多少个 URL,并展示一部分示例。这个报告跑在你自己的抓取数据上,所以列表就是你站点上的页面,而不是样本,每一行都在 Google 的判定结果旁边带有 HTTP 状态和抓取状态,你可以在同一个界面上筛选、分析并请求编入索引。

它会显示页面未被编入索引的原因吗?

会。未编入索引的原因,例如 crawled currently not indexed 和 discovered currently not indexed,会显示在对应的页面上,所以你面对的是一份 URL 列表,而不是一个数字。

Google unspecified 是什么意思?

该 URL 已经检查过,但 Google 没有返回明确的判定结果。它被刻意与 Not indexed 分开,因为“没有答案”和“决定不收录”需要做的事情并不一样。

为什么有些页面还没有被检查?

检查要调用 Google,并且有速率限制,所以在较大的站点上,抓取会在每个 URL 都拿到判定结果之前就完成。摘要会显示已经检查了多少个,Retry unchecked 会接着处理剩下的,不用从头再来。

它能替我请求编入索引吗?

你可以从报告里把 URL 提交到 Google Search Console。是否收录以及何时收录由 Google 决定,和通过 Search Console 提交的任何请求一样。

所有套餐均包含

弄清楚 Google 到底对你的页面做了什么

在 14 天免费试用期内连接一个 Search Console 资源,运行一次抓取,看看你的哪些页面已被编入索引、哪些被跳过以及原因。

  • 需要信用卡
  • 在试用期内取消不会扣款
  • 无合约