百度蜘蛛访问日志全HEAD开头,是什么意思?

百度蜘蛛访问日志全HEAD开头,是什么意思?,第1张

我回答下吧 百度会定期的访问你的网页 但又不想下载你网页的全部内容 所以用HEAD的方法 HEAD 一般情况下会在服务器上产生与GET相同的处理(除非代码中对HEAD的情况做了处理),只不过返回给客户端的是header信息,而没有正文。baidu通过这种HEAD请求,可以利用极少量的带宽来获得某网页的头部信息。通过头信息中的>这个是正常的。
如果客户端发送了一个带条件的 GET 请求且该请求已被允许,而文档的内容(自上次访问以来或者根据请求的条件)并没有改变,则服务器应当返回304状态码。
意思是你的这个网页自百度蜘蛛上次访问之后内容没有改变,就会返回304,就是告诉百度蜘蛛不需要在爬一次了。。
另外,IIS日志是最准确的。

s-ip:服务器IP
s-port:访问的端口
cs-username:访问者名称,如果没有参数则用“-”表示;
c-ip:访问者IP
cs(User-Agent):访问的搜索引擎和蜘蛛名称;
sc-status:>

欢迎分享,转载请注明来源:内存溢出

原文地址:https://www.54852.com/zz/12852872.html

(0)
打赏 微信扫一扫微信扫一扫 支付宝扫一扫支付宝扫一扫
上一篇 2025-08-28
下一篇2025-08-28

发表评论

登录后才能评论

评论列表(0条)

    保存