测试robots.txt文件变得更轻松

作者:Asaph Arnon, 网站站长工具小组

是否抓取相应网址由robots.txt决定的。

创建并维护正确的robots.txt文件有时并非易事。尽管大多数网站的robots.txt文件创建工作都非常轻松(提示:这些网站通常甚至不需要robots.txt文件!),但是,当robots.txt文件非常大时,要在其中找到当前或以前规定禁止抓取个别网址的指令无异于大海捞针。为了更轻松地进行此项工作,现在我们在网站站长工具中推出了经过改进的robots.txt测试工具

您可以在网站站长工具中的“抓取”部分找到该工具:



您可以在其中查看当前使用的robots.txt文件,并可测试新网址是否已被禁止抓取。为了帮助您厘清复杂的指令,该工具会突出显示促成最终决定的指令。您可以在robots.txt文件中进行更改,并对所做更改进行测试。然后,您只需将文件的新版本上传到服务器,即可使更改生效。您可以在我们的开发者网站上找到与robots.txt指令以及robots.txt文件处理方式有关的更多内容

此外,您还可以查看robots.txt文件的旧版本,并了解访问权限问题何时会导致我们无法抓取网址。例如,如果Googlebot在查找robots.txt文件时遇到500服务器错误,通常会暂停抓取相应网站。

由于您现有的网站可能会出现一些抓取错误或警告,因此我们建议您仔细检查其robots.txt文件。您还可以将该工具与网站站长工具中的其他部分结合使用:例如,您可以使用经过改进的Google抓取方式工具来呈现您网站上的重要网页。如果相应工具报告了任何被禁止抓取的网址,您都可以使用该robots.txt测试工具查找文件中规定禁止抓取这些网址的指令,然后改进相应指令。我们经常遇到的一个问题就是因为旧版的robots.txt文件指示禁止抓取CSS、JavaScript或移动内容而导致的 - 您只要看到这样的指令,解决起来通常非常容易。

我们希望这款经过改进的工具能够让您更轻松地测试和维护robots.txt文件。如果您有任何问题,或者您需要一些帮助来编写出色的指令,请随时访问网站站长帮助论坛


现在,所有人都可以将Android应用编入索引!

原文:Android app indexing is now open for everyone!
作者:Mariya Moeva, 网站趋势分析师

除了电脑版的网站之外,您是否还拥有Android应用?现在,您可以将这两者关联起来;这样,用户在智能手机和平板电脑进行搜索时,就能够轻松找到并访问您的应用内容。

借助搜索结果中的应用深层链接,用户可以更轻松地找到您的内容,并在安装您的应用后继续与之互动。作为网站所有者,您可以在适当的时间为用户提供适当的内容 - 通过将网站上的网页与应用的相关部分关联起来,您可以控制何时将用户定向到应用,以及何时定向到网站。


目前已有上百个应用申请并被编入了Google索引。在上周的Google I/O上,我们也公布了一系列新功能。借助这些功能,您可以更轻松地在应用中设置深层链接,将网站与应用关联,以及跟踪效果和可能出现的错误。


入门非常简单

经过不懈努力,我们大大简化了将应用链接编入索引的流程。如果您的应用支持HTTP链接方案,您只需按以下步骤操作即可:
1. 为应用添加链接
2. 将网站与应用关联
3. 大功告成了:-)

将您的网址编入索引时,我们的系统会发现应用/网站之间的关联并会将其编入索引,以便开始在搜索结果中显示应用的链接。

虽然我们的系统能够自行发现应用链接并将其编入索引,但我们仍然建议您公布深层链接。如果您的应用仅支持自定义深层链接方案,此建议同样适用。您可以通过以下其中一种方法公布深层链接:

  • 在每个网页的<head>部分或在站点地图中插入rel=alternate <link>元素,以便指定应用URI。要了解具体实施方法,请访问我们的开发者网站
  • 使用App indexing API


另外,我们在网站站长工具中推出了一项新功能,以便帮助您解决在将应用页面编入索引期间遇到的任何问题。此功能会显示我们的系统在关联的“应用页面-网页”对中检测到的错误类型,并会提供一些应用URL示例,以便您解决问题:


我们的系统还会为您提供每个问题的解决方法详细说明(其中包括应用链接对应的QR码,以便您在手机或平板电脑中轻松打开链接),而且会向您发送来自网站站长工具的错误通知,以便您及时了解最新情况。



立即试试将应用编入索引吧!和以往一样,如果您需要更多帮助,请在网站站长帮助论坛中发帖咨询。



让网站迁移变得更轻松

作者: Pierre Far 和 Zineb Ait Bahajji, 网站趋势分析师

没有什么比网站迁移更令网站站长头疼的了。为了帮助您避免在网站迁移过程中出现意外,我们编写了一份详细的指南,其中介绍了如何以有利于Googlebot的方式进行网站迁移。那么到底什么是网站迁移?如何才能正确地迁移网站呢?

网站迁移基础知识

网站迁移大体上可以采用以下两种内容迁移方式之一:
  • 不更改网址的网站迁移。这种情况指的是,仅改变为网站提供服务的基础架构,而不对网址结构进行任何可见的更改。例如,您可以将www.example.com迁移至其他托管服务提供商,同时使www.example.com上的网址和网站结构保持不变。
  • 更改网址的网站迁移。采用这种方式时,您可以对网站上的网址进行各种更改,例如:
    • 协议:从http://www.example.com改为https://www.example.com
    • 域名:从example.com改为example.net
    • 网址路径:从http://example.com/page.php?id=1改为http://example.com/widget
我们发现有些网站站长在实施网站迁移时采取的方式是不正确的,或漏掉了有助于大幅提升网站迁移成功几率的关键步骤,而且此类情况屡见不鲜。为了帮助网站站长正确地设计并实施网站迁移,我们更新了帮助中心内的网站迁移指南。同时,我们将不断改进我们的抓取和索引系统,以便发现并处理网站迁移(但前提是您要遵守我们的指南)。

迁移至响应性网页设计

我们发现在网站迁移方面一个日益普遍的问题就是,如何将网站从采用单独移动版网址或动态提供内容的设计迁移至响应性网页设计?为了帮助您实施此项配置更改,我们的智能手机建议网站上推出了一个新网页,敬请参阅。

和以往一样,如果您有任何其他问题,请在我们的网站站长帮助论坛中发帖咨询。


更好地了解网页

作者:Erik Hendriks and Michael Xu, 软件工程师; Kazushi Nagayama, 网站趋势分析师

1998年,当我们的服务器在苏珊·沃西基(Susan Wojcicki)的车库中运行时,我们完全没必要担心JavaScript或CSS的问题。当时,它们还没有得到广泛应用,JavaScript也只是用于开发网页元素。但眨眼间,情况便发生了翻天覆地的变化。现在,网络中随处可见大量地运用了JavaScript的丰富多彩、美轮美奂的动态网站。今天,我们将讨论Google在呈现更丰富多彩的网站方面的能力(这意味着我们在您的网站上看到的内容更像是现代网络浏览器呈现的内容),其中包括外部资源、执行JavaScript和应用CSS。

以往,我们只关注在HTTP响应主体中获取的原始文本内容,并不会实际解译运行JavaScript的标准浏览器会看到的内容。如果网页中包含由JavaScript呈现的高价值内容,那么当该网页开始显示时,我们无法让搜索者知道,这对于搜索者和网站站长来说都不是想要的结果。

为了解决这个问题,我们决定尝试通过执行JavaScript来了解网页。在当前网络规模下这一点很难做到,但我们认为这非常值得一试。一段时间以来,我们一直在逐步改善这一问题的处理方式。在过去的几个月中,我们的索引系统一直在像普通用户采用的启用了JavaScript
的浏览器一样呈现大量网页。

有时,呈现过程并非尽善尽美,这会给与您网站有关的搜索结果带来负面影响。下面,我们列出了一些潜在的问题,以及在可能的情况下如何避免这些问题的发生:
  • 如果单独文件中的JavaScript或CSS等资源被屏蔽(例如通过robots.txt),从而导致Googlebot无法检索这些资源,那么我们的索引系统将无法像普通用户那样看到您的网站。我们建议您允许Googlebot检索JavaScript和CSS,以便我们可以更好地将您的内容编入索引。这一点对于移动网站来说尤为重要,因为CSS和JavaScript等外部资源有助于我们的算法了解相应网页已针对移动设备进行优化
  • 如果您的网络服务器无法处理资源抓取请求,则可能会妨碍我们呈现您的网页。如果您想要确保Google可以呈现您的网页,请确保您的服务器能够处理资源抓取请求。
  • 适当地将网站降级通常不失为一种非常好的方法。即使用户的浏览器没有兼容的JavaScript实现功能,这也有助于用户畅享您提供的内容。此外,这种方法还有利于停用或关闭了JavaScript的访问者以及尚无法执行JavaScript的搜索引擎。
  • 有时,JavaScript可能会因为对于我们来说过于复杂或难以理解而无法执行,在这种情况下,我们将无法完整、准确地呈现相应网页。
  • 有些JavaScript会移除网页中的内容(而非添加内容),这会导致我们无法将相应内容编入索引。
为了使问题更易于调试,目前我们正在开发一种工具,以便帮助网站站长更好地了解Google如何呈现其网站。我们非常期待不久后在网站站长工具中为您提供此工具。

如有任何疑问,请随时访问我们的帮助论坛。


使用Google抓取方式呈现网页

原文:Rendering pages with Fetch as Google
作者:Shimi Salant, 网站站长工具小组

利用网站站长工具中的Google抓取方式功能,网站站长可查看Googlebot在尝试抓取其网页时会获得的结果。所显示的服务器标头和HTML有助于诊断技术问题以及黑客攻击的负面影响,但有时会使仔细检查响应变得非常困难:求助!所有这些代码都意味着什么?这确实是我在浏览器中看到的网页吗?我们去哪儿吃午饭?对于最后这个问题,我们爱莫能助;但为了帮助您解决前两个问题,我们最近对此工具进行了扩展,以便其同时显示Googlebot呈现网页的方式。

查看呈现的网页
为了呈现网页,Googlebot将尝试找到并抓取所有涉及到的外部文件。这些文件通常包括图片、CSS和JavaScript文件,以及可能通过CSS或JavaScript间接嵌入的其他文件。然后,Googlebot将使用这些文件呈现一个预览图片,以便显示Googlebot看到的网页。

您可以在Google网站站长工具的“抓取”部分中找到Google抓取方式功能。通过“抓取并呈现”功能提交网址后,请等待系统对其进行处理(对于某些网页,此过程可能需要一些时间)。等处理完后,您只需点击响应行即可查看结果。


处理通过robots.txt阻止抓取的资源
Googlebot抓取的所有文件都是按照robots.txt指令抓取的。如果您禁止Googlebot抓取其中的某些文件(或者如果这些文件是通过禁止Googlebot抓取这些文件的第三方服务器嵌入的),那么我们将无法在呈现的视图中显示这些文件。同样,如果服务器返回错误或无法响应,我们将无法使用这些文件(您可以在网站站长工具的抓取错误部分找到类似问题)。如果我们遇到任何此类问题,都会将其显示在预览图片的下方。

我们建议您确保Googlebot可以访问任何有益于呈现网站可见内容或版式的嵌入资源。这可让您更轻松地使用Google抓取方式,并使Googlebot能够找到相应内容并将其编入索引。某些类型的内容(例如社交媒体按钮、字体或网站分析脚本)对于呈现网站可见内容或版式并无帮助,因此您可以禁止Googlebot抓取这些内容。有关详情,请查看我们之前发布的有关Google在采取什么方式来更好地了解网页的博文。

我们希望此次更新能够帮助您更轻松地诊断这些类型的问题,并能让能更轻松地发现被意外阻止抓取的内容。如有任何意见或疑问,您可以在此处告诉我们,也可以在网站站长帮助论坛中发帖。


创建适合国际用户的首页

作者:Zineb Ait Bahajji 和 Gary Illyes, 网站趋势分析师

如果您在多个国家/地区或面向使用不同语言的用户开展业务,我们建议您开设单独的网站或版块,在不同网址上分别为各国家/地区或语言的用户提供特定的内容。例如,您可以为美国用户和讲英语的用户开设一个网页,为法国用户和讲法语的用户开设另一个网页。虽然我们已经有关于如何处理多区域和多语言网站的内容,但网站的首页有点特别。本文中介绍的内容有助于您在网站上创建合适的首页,从而根据语言和位置为用户提供适当的内容。
您可以采用以下三种方式配置用户在访问首页/登陆页时看到的内容:
  • 向所有用户提供相同的内容。
  • 让用户自行选择显示的内容。
  • 根据用户的位置和语言提供内容。
下面我们将对每种方式进行详细介绍。

向全球用户提供相同的内容

这种配置指的是,您要在首页(http://www.example.com)上为一个指定的国家/地区和语言提供特定内容。所有直接通过浏览器访问该网址或专门搜索该网址的用户都会看到这些内容。就像我们之前提到的,针对各国家/地区和语言的内容版本还应该有各自的专属网址。


注意:您可以在网页上提供一个横幅,为来自其他位置或使用其他语言设置的用户推荐更适当的版本。

让用户自行选择当地版本和语言

使用这种配置时,您要在首页上提供国家/地区选择器,让用户根据国家/地区和语言选择想要看到的内容。输入该网址的所有用户看到的都是同一个网页。

如果您在自己的国际网站上采用这种配置,请务必为国家/地区选择器网页使用专门为此类网页创建的x-default rel-alternate-hreflang注释。x-default值可帮助我们识别不是针对一种语言或一个区域的网页。

根据用户的位置和语言设置,自动重定向用户或动态提供相应的HTML内容

使用第三种配置时,需根据位置和语言设置自动为用户提供相应的HTML内容。要实现这一点,您可以使用服务器端302重定向或动态提供相应的HTML内容。

切记在首页/通用页上使用x-default rel-alternate-hreflang注释,即使首页/通用页是用户无法直接访问的重定向网页,也要如此。

注意:对于您没有为其提供特定版本的用户(例如,当法语用户访问只有英语版、西班牙语版和中文版的网站时),您可以考虑将其重定向至您认为最适当的内容。

无论您要使用哪种配置,都应确保所有网页(包括国家/地区和语言选择器网页)符合以下要求:
  • 包含rel-alternate-hreflang注释
  • 允许Googlebot抓取这些网页并将其编入索引:切勿阻止Googlebot抓取您的本地化网页,也不要阻止Googlebot将其编入索引。
  • 始终允许用户切换当地版本或语言:例如,您可以通过下拉菜单实现这一点。
注意:正如本文开头所述,您应该为各国家/地区和语言的版本使用单独的网址。

关于rel-alternate-hreflang注释

请注意:无论您选择哪种方式,都要对所有网页添加注释。这非常有助于搜索引擎向用户显示适当的结果。

国家/地区选择器网页、会重定向的首页或动态提供内容的首页都应使用x-default hreflang,该注释是专门针对会自动重定向的首页和国家/地区选择器设计的。

最后,我们要向您介绍几个适合所有rel-alternate-hreflang注释的实用提示:
  • 必须通过其他网页确认系统能够正确解译您的注释。如果网页A链接到网页B,那么网页B必须要链接回网页A,否则系统可能无法正确解译您的注释。
  • 您的注释应指向自身。网页A应使用链接到自身的rel-alternate-hreflang注释。
  • 您可以在HTTP header、HTML的head部分或站点地图文件中指定rel-alternate-hreflang注释。我们强烈建议您采用同一种方式实施注释,以免出现信号不一致的情况及其他错误。
  • hreflang属性的值必须为相应语言的ISO 639-1格式和相应区域的ISO 3166-1 Alpha 2格式。不能只指定区域。如果您想只针对某个国家/地区配置网站,请使用网站站长工具中的地理位置定位功能。
如果您遵守上述建议,将有助于我们更好地了解您的本地化内容,从而能够在搜索结果中为您的用户提供相关度更高的结果。和以往一样,如果您有任何问题或反馈,请通过网站站长帮助论坛告诉我们。



利用PageSpeed Insights让您的网站更加适合移动设备访问

原文:Making your site more mobile-friendly with PageSpeed Insights
作者:Matthew Steele 和 Doantam Phan, PageSpeed Insights 小組

为了帮助开发者和网站站长优化其网页,使网页更加适合移动设备访问,我们近期对PageSpeed Insights进行了更新,提供了一些有关移动设备使用性能的补充建议。

使用性能不佳可能会削弱网页快速加载带来的优势。我们都知道,移动网页的平均加载时间超过7秒,但利用PageSpeed Insights工具并遵循其加速建议,您可以提高网页加载速度。不过,假设您的移动网站可快速加载,只需2秒,而非7秒。如果移动用户在网页加载完成后,仍需多花费5秒来执行双指张合缩放操作和滚动屏幕操作,才能开始阅读文本以及进行网页交互,那么您的网站使用起来实际上就不算快了。PageSpeed Insights的全新用户体验规则可以帮助您发现和解决这些使用性能方面的问题。

这些新建议目前涵盖了以下几个方面:
  • 配置视口:若未配置元视口代码,新型移动设备浏览器将会把您的网页视为不适合移动设备访问,因而会回退到桌面设备视口,并且可能会放大字体,从而破坏您原本期望的页面布局。要优化网站在移动设备上的性能,第一步就是配置视口(使用代码width=device-width)。
  • 调整内容尺寸,使其符合视口大小:用户希望可以垂直滚动浏览移动网站,而非水平滚动浏览。在完成视口配置后,请确保您的网页内容符合相应视口的宽度(请注意,并非所有移动设备都具有相同的宽度)。
  • 设置字体大小,使其清晰可辨:如果用户需要放大字体才能在其智能手机屏幕上阅读文章内容,那么您的网站并不适合移动设备访问。PageSpeed Insights可检查您网站上的文字字体大小是否合适,让大多数用户阅读起来舒适自在。
  • 适当调整点按目标的尺寸:在手机或平板电脑的触摸屏上点按某个按钮或链接,稍一疏忽,就容易碰到其他按钮或链接,没有比这更令人抓狂的了,因为您的指垫要比桌面设备的鼠标光标大多了。请确保您的移动网站在触摸屏上显示的点按目标足够大,便于用户轻松点按。
  • 避免使用插件:大多数智能手机不支持Flash或其他浏览器插件,因此请确保您的移动网站不依赖插件
上述规则在我们的帮助页面中都有更为详细的介绍。如果您的网页已准备就绪,便可使用PageSpeed Insights工具测试网页及所做的改进。为使用适合移动设备的设计,我们也在持续不断地更新PageSpeed Insights,并且提供了多种其他语言版本的帮助文档。

和以往一样,如果您有任何问题或反馈,欢迎您在我们的帮助论坛中发帖。


网站站长指南有关欺骗性重定向的内容已更新

作者:Aaseesh Marina,搜索质量小组

网站站长经常利用重定向来帮助访问者从一个网页转到另一个网页。重定向是网络运作的正常环节,如果运用得当,将会发挥重要作用。但有些重定向旨在操纵或欺骗搜索引擎,或者分别向用户和搜索引擎显示不同的内容。我们的质量指南严格禁止这些类型的重定向。

例如,桌面设备用户可能会被重定向到正常的网页,而黑客可能会将所有移动设备用户重定向到一个完全不同的垃圾网域。为了帮助网站站长更好地发现存在问题的重定向,我们更新了质量指南中有关欺骗性重定向的内容,并在其中列举了与重定向相关的违规情况示例。

我们还更新了被黑客入侵的内容指南,增加了遭到入侵的网站上的重定向。如果您认为自己的网站已遭到入侵,请按照这些说明来确定并修复您网站上的问题。

如果我们发现任何违反Google质量指南的情况,可能会执行相应的手动操作(例如从我们的索引中移除相关内容),以便能够始终如一地为用户提供高品质的搜索结果。如果您对我们的指南有任何疑问,请随时在网站站长帮助论坛中发帖咨询。



网站的索引状态数据将更加准确

原文:More Precise Index Status Data for Your Site Variations
作者: Zineb Ait Bahajji

Google网站站长工具中的索引状态功能可报告Google将相应网站中的多少个网页编入了索引。过去,我们不会单独提供HTTPS网站的索引状态数据,而是将所有数据都包含在HTTP网站的报告中。在过去的几个月中,我们了解到您希望使用网站站长工具跟踪网站各个部分(包括使用HTTPS的部分)中编入索引的网址数。

我们发现,现在已有将近10%的网址通过HTTPS使用安全连接传输数据,并且将来会有更多网站站长将其网站从HTTP转移到HTTPS。我们非常高兴地宣布,Google对网站的索引状态数据在网站站长工具中的显示方式进行了优化:现在,索引状态功能可以针对每种协议(HTTP和HTTPS)以及经过验证的子目录跟踪相应网站中编入索引的网址数。

这可让您轻松监控网站的各个部分。例如,网站站长工具提供的索引状态报告中会包含以下每个网址的数据(前提是这些网址都单独经过了验证):



如果网站的网址使用的是HTTPS或者子目录经过了验证(例如https://example.com/folder/),网站站长将能够看到这些优化的数据。子目录的数据将包含在以下网站的报告中:使用同一主机名和协议、经过验证且级别更高的网站。

如果您拥有使用HTTPS的网站或者您的部分内容是按不同的子网域编入索引的,您会在相应的索引状态报告中看到一些变化。下面的屏幕截图说明了您在HTTP和HTTPS网站的索引状态图中可能会看到的变化,例如:

HTTP网站的索引状态表明编入索引的网址总数在下降

HTTPS网站的索引状态表明编入索引的网址总数在上升

在该索引状态图中,3月9日处添加了一个“Update”注释,用于表明我们开始收集此类数据的时间。这项变化不会影响我们将您的网址编入索引的方式,也不会影响您的网域中编入索引的网址总数。它只会影响网站站长工具界面中的数据报告。

为了确保正确地看到数据,您需要在Google网站站长工具中验证网站的所有现有变体(www.、非www.、HTTPS、子目录、子网域)。我们建议您相应地配置您的首选网域和规范网址

请注意,如果要提交站点地图,您需要使用相应的网址对首选的网站变体执行此操作。此外,系统还会针对各个协议和主机名单独读取Robots.txt文件。

我们希望此次更新会对您有所帮助,并希望它能帮助您监控、发现和解决您的网站存在的索引问题。有关更多详情,请参阅帮助中心文章“索引状态”。和往常一样,如果您有任何问题,请在网站站长帮助论坛中发帖咨询。


关于App Engine的IP范围变化通知

原文:App Engine IP Range Change Notice
作者:Google App Engine 团队

对于不同的服务,Google使用广泛的IP地址,有时IP地址可能在没有通知的情况下更改。Goolge App Engine是一个为第三方应用提供托管服务的平台。现在,Google App Engine URLFetch 和外部sockets 应用程序接口所使用的IP地址范围和headers都发生了变化。

我们建议不要把App Engine IP 范围用在过滤内部请求上,我们意识到很多服务创建的过
滤器依赖于某些特定的地址。Google App Engine会在这个月初改变它的IP范围。请在这里查看App Engine的IP范围。

另外,允许识别App Engine应用的用户代理的header字符串应该不再依赖对应用的识别。通过使用socket for App Engine,应用现在也许可以不用URLFetch应用程序接口就进行HTTP请求,而且这些请求也许可以创建一个他们自己的用户代理。




Copyright © 2010 Google Inc. All rights reserved.
隐私政策 - 服务条款

恭喜!您已经发现了botcoins(博特币),一种站长间流通的新货币!您可以把博特币用在对网站的搜索上,甚至不需要输入任何关键字就可以完成!(100个博特币=一次搜索)。兑换您的博特币的方法很简单,找到Google搜索小组的员工,把您的博特币交给他,再告诉他您的搜索查询。这位Google员工就会为您完成这次搜索(这次对话中SSL配置并不适用)。--请注意:谷歌员工很可能会忽视您,或者当他情绪不好的时候有可能会为您的搜索选择不同的关键词。并且目前博特币没有提供挖矿的机会:)