建站时,由于一些操作,导致正常的网站无法被搜索引擎爬虫访问到,导致搜索引擎认为该页面是死链接。除了页面打不开之外,以下几点也会导致网站死链接的产生。
减少死链接的产生是SEO工作者的必修课。
不正确的 HTTP/HTTPS 设置会导致链接断开
问题场景:
1.HTTP可以访问,HTTPS不能访问
2.HTTP无法访问,HTTPS可以访问
建议:
整个站点的行为是一致的,保证所有的url都是正常的 另外,百度不推荐HTTP和HTTPS共生。
阻塞导致死链接
问题场景:
1、用户可以正常访问,但是爬虫不能。 (爬虫爬错页面)
有些网站由于其特殊性,用户可以正常访问,但是当爬虫访问时,却返回了错误的页面。
2、PC端可以访问,搜索引擎APP无法访问
搜索引擎爬虫可以访问PC端页面,但是不能访问APP。百度官方公开课提到了这个APP接入,暗示支持对APP接入进行分析,作为综合评测参考。因此,百度APP访问该网站并未被屏蔽。
3. DNS 禁令
一些特定的DNS服务商会禁止搜索引擎爬虫抓取域名内容。这是少数。毕竟目前主流的域名厂商和主流的DNS厂商都没有做DNS屏蔽。
4.服务器站点政策禁止
有些服务器有自己的安全策略,会阻止百度蜘蛛爬行。在这种情况下,将生成死链接(网页 URL 链接,但没有内容)。当整个站点都出现这种情况时,可能会导致搜索引擎将该站点判断为劣质站点。将被降职。