IE9下访问可能不佳,推荐使用以下版本浏览器X

欢迎您来到炎黄网络!

服务热线:400-0000-786

服务器运行中宕机如何进行故障检测

—— 阅读:216次
  

   1.异常信息检测

  update消息,主要是监听并缓存uptime消息,同时避免时间窗内多次消息冲突,导致信息被覆盖。

  delete消息,通过SA判断ping不通,且ssh不通情况下发起,删除该条消息,避免延迟太长。

  insert消息,在新增加机器, 或者重装后重新上位的机器发起,该消息对宕机发现价值不大,配合uptime使用。


  2.网络异常检测

  服务器较多误报是由于网络问题干扰,无法准确判断出物理机是否宕机,有可能是网络问题。

  排除上联网络设备异常导致的误报,包括机房断网演练,小面积网络故障,上联网络故障,如通过探测丢包情况,使用一些逻辑初步判断网络问题。

  服务器本身未丢包的误报,除了需要过滤出网络问题,还要通过丢包数据分析,过滤掉SA误报问题, SA异常会上报心跳异常,被误理解为宕机。


  3.服务器异常信息检测

  个别机房有时候会出现大面积风暴式的无故的信息异常,同时网络ping包异常,但上联网络设备ping包正常,这种误报,一般根据具体case具体进行针对性的分析。如根据监控每个机房的上报频率,排除干扰。


  4.ping检测

  大部分干扰已经过滤掉,但仍有一部分误报隐藏其中。比如ping异常,都合乎宕机判断的逻辑,会导致误判成宕机,如导致网卡被打爆,或者重试率高,这种是业务原因导致网络异常,但业务认为不是异常,需要排除掉。

  再例如服务器并没有挂掉,但是IO延时和资源占用率各项指标都不正常等场景。针对以上等情况,增加uptime判断以及带外日志分析排查

收缩

在线客服

customer service