thrift server timed out超时

写于2020-01-13

一、故障描述

时间是2017年的某天：

有个服务，Python+Thrift做的Server；

对应库及版本：Cython==0.23.5，thriftpy==0.3.7。

相关配置： 服务超时时间3s

线上使用Supervisor管理进程。

一直跑着没问题，有天运维同学提问题，该服务日志出现大量time out（那时候Kibana还没搭起来，日志只能在服务器上看）。日志如下：

二、排查过程

猜测：

验证：

三、沟通问题

四、收获

昨天用HBase存数据的时候出了点小问题，程序放在服务器上，运行几分钟之后就开始报错：

而这个问题在我自己的电脑上测试时从未遇到过，查了些资料，先放解决办法：

在 conf/hbase-site.xml 中添加如下配置（每个节点都添加）

即设置超时时间为60s

参考：

hbase thrift 写数据报错

Stack Overflow——How to prevent errno 32 broken pipe?

---