会员登录 | 注册

来去留技术信息资源

来去留技术信息资源
来去留网 > 来学技术 > 来学百度的站长抓取诊断工具 识别Baiduspider 站点IP变更

来学百度的站长抓取诊断工具 识别Baiduspider 站点IP变更

2014-05-11 09:55来源:未知发布者:laiquliu 查看:
首先来看百度的站长抓取诊断工具:站点IP变更,摘录至百度的站长资讯。

在与站长朋友私下交流中,站长表示:最怕改版,最怕换IP,每次都是万不得已身不由己。改版还好些,有改版工具可以使用。换了IP都不知道怎么通知百度。 

其实,登录百度站长平台,使用抓取诊断工具,换IP真的不是愁事。

抓取诊断工具会检查站点与百度的连接是否畅通,若站长发现IP信息还是老旧的,可以通过“报错”通知百度搜索引擎更新IP,如下图所示:

来学百度的站长抓取诊断工具 识别Baiduspider 站点IP变更

重要提示:由于spider精力有限,如遇报错后网站IP依旧没有变化,站长可进行多次尝试,直至达到预期。

那么,除了用来通知百度搜索引擎站点更换了IP,抓取诊断工具还可以做什么呢?

【诊断抓取内容是否符合预期】例如很多商品详情页面,价格信息是通过JavaScript输出的,对百度蜘蛛不友好,价格信息较难在搜索中应用。问题修正后,可用诊断工具再次抓取检验。

来学百度的站长抓取诊断工具 识别Baiduspider 站点IP变更

【诊断网页是否被加入黑链接和隐藏文本】网站被黑后加上的隐藏链接从网页表面无法观察看到,这些链接可能只在百度抓取时才会出现,可以通过抓取诊断工具进行检查。

【邀请Baiduspider】如果网站有新页面或页面内容有更新,百度蜘蛛却较长时间没有来过,此时可以通过抓取诊断工具邀请Baiduspider快速来抓取。

那么站长们又是如何识别Baiduspider呢!来看还是摘录至百度站长资讯的介绍:

上周百度站长平台接到某站长求助,表示误封禁了Baiduspider的IP,询问是否有办法获得Baiduspider的所有IP,打算放入白名单加以保护,防止再次误封。在此要告诉各位站长,Baiduspider的IP池是不断变动的,我们无法提供IP全集。

除此之外,之前还有站长发来质疑说Baiduspider光顾过于频繁,已超越服务器承受能力。而百度站长平台追查发现,Baiduspider对该站点的抓取并无异常,那只spider极有可能是个李鬼。

那么,站长该如何通过IP来判断此spider是不是来自百度搜索引擎的呢?

可以通过DNS反查方式来解决这个问题。根据平台不同验证方法不同,如linux/windows/os三种平台下的验证方法分别如下:

1、linux平台下,您可以使用host ip命令反解ip来判断是否来自Baiduspider的抓取。Baiduspiderhostname *.baidu.com  *.baidu.jp 的格式命名,非 *.baidu.com  *.baidu.jp 即为冒充。

来学百度的站长抓取诊断工具 识别Baiduspider 站点IP变更

2、windows平台或者IBM OS/2平台下,您可以使用nslookup ip命令反解ip 判断是否来自Baiduspider的抓取。打开命令处理器 输入nslookup xxx.xxx.xxx.xxxIP 址)就能解析ip 来判断是否来自Baiduspider的抓取,Baiduspiderhostname*.baidu.com *.baidu.jp 的格式命名,非 *.baidu.com  *.baidu.jp 即为冒充。

3、mac os平台下,您可以使用dig 命令反解ip 判断是否来自Baiduspider的抓取。打开命令处理器 输入dig xxx.xxx.xxx.xxx (责任编辑:laiquliu)

关注技术,信息,资源,扫描来去留网微信二维码交流。

来去留我李俊

搜索

------分隔线----------------------------
相关栏目

热点推荐
来去留技术信息资源
来去留网为您提供平台咨询交流学习方法及各类热门技术;电器,服装,保健,行业快讯等二十几个类别的资讯