我喜欢把 黑帽SEO 说成是“别人的义务”(Somebody Else’s Obligation)因为如果有问题，你可以把责任推给别人。工程师知道这种痛苦，因为如果有问题，会有很多人(有时候是“黑帽SEO”团队中的人)指责他们。但现实是，除非你的技术解决了所有的问题，否则没有所谓的搜索引擎优化。

工程师有责任理解他们 黑帽SEO 同样，与工程师合作的人也有责任与他们合作——不要责怪他们出了问题。为了促进这种关系，我们需要公开和诚实地分享一些信息。

我希望这篇文章能强调一些重要但很少论的话题，不仅值得工程界讨论，也值得依赖工程团队的人讨论。

服务器稳定性和停机时间

计划或意外停机时可使用 HTTP 响应码“503 Service Unavailable”。与其他 5XX 它对搜索排名的影响最小。

HTTP 响应码 500、502 和 504 会导致 G??oogle 禁止某个网页或完全取消网页索引。当有人或搜索爬虫收到响应码时，预计会丢失 5 到 10 有机访问次数。

出现问题时，快速沟通，并通知利益相关者。否则，你会被很多提问的人所困扰(这会阻碍你的团队找到解决方案)。

例如，每个错误的响应码 4XX 和 5XX 创建自定义的皮肤和跟踪事件。如果外行能提供一些细节，问题就会变得更容易诊断。

计算错误率时要非常小心。复杂的网页可能会在完成加载时调用服务器 150 次。这意味着日志文件将低估预先错误响应码的频率。例如，想象一下网页被加载了两次，第一次返回“200-OK”响应码，并加载所有内容。第二次返回“502-Bad Gateway”页面的其他部分不能加载响应码。总共调用了服务器 151 第二，只有一个是 然而，用户的错误率是502 50%，而不是 0.6%!

不要忽视“诡异”的现象，一些被认为“无法重现”错误可能是更大问题的征兆。

内容交付网络和缓存

缓存不能取代基本的黑帽网站优化。缓存页面就像放在约会网站上的照片，一开始人们只能看到照片，但在建立关系之初，“那个人”就会知道“真实的你”。用户与搜索引擎的关系也是如此。

类似，启用 AMP 慢速移动网站无法替代页面。

请注意页面大小的限制。例如，Akamai 文件大小限制为 1MB，超出时会产生 500 响应码。

内部日志和 CDN 日志合并，否则超过 90%的问题可能无法检测到。

考虑使用大型网站（包括大量不经常修改的页面）“304-Not Modified”响应码。

找出不必要的动态查询(例如，填写列表页面的逻辑)。缓存查询和刷新缓存可以避免给服务器带来不必要的压力。

重写规则和重定向管理

在改变 URL 开始时确保重定向验证。这将最大限度地结转旧页面的信任和权益。先让 URL 谷歌会随着时间的推移逐渐衰减旧页面的价值。

仔细检查重写标志或规则是否会导致重定向链。从网站开始 HTTP 迁移到 HTTPS 这种情况很容易发生。有些 URL 跳到安全版和非安全版之间，直到达到最终目的地。这些额外的跳转会破坏原始跳转 URL 的权益。

如果重定向被取消或取消，请取消 CDN 缓存，避免重定向循环。

反机器人

宁愿在被证明有罪之前做无罪的事。 由于“不自然”网站的超级用户最有可能像机器人一样浏览速度或安装浏览器插件。这听起来像是一个边缘案例，但在社区网站(如 Quora)超级用户每个月都能吸引 1 万到 1.2 访问量万。

俄罗斯机器人不一定不好，美国机器人也不一定好。亚马逊美国有许多不良分子 AWS 机器人部署在服务器上。

页面加载速度延迟

快速选择测量工具(如 Rigor、Lighthouse 或 PageSpeed Insights)并坚持下去。趋势比准确的数字更重要。

即使你在运行，移动页面的加载速度也非常重要 AMP 网站的版本。谷歌通过原创移动体验(包括加载速度、用户体验等因素)来评判一个网站。

将添加到页面中的每个跟踪像素和标签的所有权交给某人，然后让利益相关者每六个月验证一次。如果没有，人们会要求你在页面上添加越来越多的垃圾，直到你的团队因为网站变慢而受到指责。

服务器响应时间对于拥有数百万页面的网站来说尤为重要。如果你的服务器响应缓慢，谷歌不会耐心等待。

若在大型网站中使用 NGINX，请确保即时 Gzip 压缩不会带来弊大于利的效果(减慢服务器响应速度)。

清除任何影响页面渲染的东西，可以一下子改进一系列指标(即使是纯文本网站也在加载 JS、CSS 与字体也会遇到瓶颈)。

注意页面加载前 200ms 和 2s 期间发生的事情。所以有动态元素(如广告)，有些页面不会马上“完整”加载。

渲染路径的关键

加载第一批字节的时间是一个重要的指标，但第一批字节包含的内容也同样重要。在打开与服务器的新连接之前，浏览器应该能够构建首屏内容。

定义页面元素的大小，避免页面混乱。如果页面四处移动，用户会感到沮丧，即使加载速度很快，用户也会感到整个页面很慢。

“新”技术和谷歌机器人的可访问性

客户端渲染可能意味着客户端渲染 黑帽SEO 已死。谷歌建议用户提供服务器端渲染的页面，即使它呈现给用户。

为谷歌机器人提供简单的分页，以免让用户看到“无限滚动”的情况。

避免使用“块级”尽管如此，链接可以简化代码。包含在< a >标签中的所有额外内容都会使谷歌机器人难以将上下文传输到目标页面。

staging 和 QA

使用 robots.txt 禁止搜索引擎抓取文件 staging 和 QA 网站。

在 Google Search Console 中注册 staging 和 QA 网站。这似乎有点违背直觉（因为你不想让搜索引擎找到这些资源），但如果测试网站被意外索引，你可以 Search Console 取消索引。

产品需求

找个人(最好是在那里 黑帽SEO 团队，如果没有，产品经理也可以)定义页面中必须构建的所有内容，例如< title >标签和其他元数据。这件事很无聊，他们会恨你，但如果你建立了一个不能包含这些关键标签的页面，他们会更恨你。

内部链接

链接是网站和整个网络的命脉。任何重要的东西都应该在离主页五次点击之内，因此要向那些想要消除登陆页面、导航链接的“极简主义者”提出许多问题。

登记和 IP 管理

永远不要让营销人员从托管网站 IP 发短信和促销电子邮件。违反 CAN-SPAM 该法案的流氓员工可能会导致整个网站被列入黑名单。

确保有人花时间填写登记处要求的年度联系信息更新问卷调查。如果你不这样做，一些坏人更容易从技术上窃取你的域名。

JAVASCRIPT

开始渲染页面，然后变成纯白色，通常是因为只给了 write() 起始标签，而不是结束标签。

谷歌将尝试遍历 JavaScript 即使它们不存在内部的相对路径。这会污染爬虫的错误报告。

当发生错误时

因为谷歌是个善变的情人，所以行动要快。建造一所房子需要几个月，而烧毁它只需要几分钟。因此，要迅速熄灭火柴，花时间向大家传授消防安全知识！