一次系统扩容引起的elasticsearch故障及恢复

在公司搭建了elk集群，集群配置如下：

由于m21p22服务器配置比较老旧，而且上面还有其他人部署的其他应用。硬盘写入性能比较差，因此考虑吧elasticsearch部署在另外两台配置高的服务器，而将kibana、redis等与硬盘关系不大的软件部署在m21p22服务器。考虑到部署的复杂性以及服务器的实际情况，选择了redis接收beats的日志数据，再通过logstash实现负载均衡。这是之前elk集群的配置情况。
随着业务的深入，上述集群已经越来越难以满足业务的需要，日志量大会在redis中出现堆积，另外服务器查询量大之后，节点的cpu和load会触发告警。因此，与运维部门商议，又申请了2台服务器，作为elasticsearch的扩展节点，以降低原有服务器的负载。
如下是增加服务器之后的配置信息：

在新增加服务器到位之后，第一件事情就是决定将elasticsearch扩容。每台服务器部署2个节点，将原有集群扩大一倍，由4个节点扩大到8个节点。

原有节点：

扩展节点：

按上述配置对新增节点进行扩展，只需要配置好参数：
discoveryzenpingunicasthosts: ["1921682123", "1921682124","1921682188","1921682189"]
新增节点就可以加入集群进行水平扩容。当上述 *** 作都完成之后，新节点已加入集群，开始同步数据。

考虑到系统并未设置索引分片，全部索引一律采用的是系统默认的5个分片，而每个索引的数据可能大小不一，结果检查，决定将数据量较大的索引，分片数增加一倍。
*** 作如下：

注意，在采取put *** 作时，先采用get *** 作，得到_template信息，之后对需要修改的部分进行增加或者修改 *** 作，之后再进行put。这样保证其他不需要修改的数据不会被修改。

在做完上述这一切之后，已是晚上8点，因此打卡下班。

早上还没到单位，就被同事信息轰炸，elk集群已经不能用了！！
我赶到单位之后，连上服务器一看，新加入的节点全部处于假死状态。已经有大部分数据同步到新节点，而且服务器已无法连接。通知运维人员将elasticsearch进程干掉。
如下是恢复的过程中某个节点假死查到的状态：

对上述节点进行重启，集群状态恢复中。。

redis内存在迅速增加，已经达到10个G

查看logstash日志：

出现如下提示：

原来是宕机节点太多，导致部分节点的主分片未分配。这样日志在写入过程中会超时。这就导致logstash的写入速度下降。从而导致redis中数据增加。

至于节点假死的原因，查看了elasticsearch的日志：

发现一个关键的问题：/opt/elasticsearch/node6/data/nodes/0/indices/NP2tORUfSq6jl0lb5CzOVw/2/translog/translogckp: Too many open files in system
也就是说同时打开的文件数达到了系统的限制，这也就是无法登陆系统的原因。
不难理解上述问题的出现：一个服务器中配置了两个节点，这两个节点都运行在elastic用户下，该用户所在系统的limitconf中对该用户同时打开的文件数有限制。而在集群同步数据的过程中，系统在大量的写文件，同时实时数据又在大量写入。这样就导致文件达到最大的阈值。因此导致elasticsearch假死。

查询elasticsearch节点状态：

当天需要写入数据的索引，也存在部分分片未分配状态：

通过kibana也可发现该问题：

考虑到redis缓存一直增加，当务之急是让数据可以写入。保证redis的数据被消费。否则会出现redis服务器内存溢出。
先不考虑elasticsearch是否能自动恢复，以及自动恢复所花费的时间。
查询API后，要用到命令：reroute
通过kibana分配一个主分片

命令格式参考 >好的。
检查手机上面的网络连接状况，查看其它软件是否可以正常联网，检查一下手里面的安全管家软件是否已经限制了它的网络访问功能，如果存在限制，那么就取消限制，检查登陆帐号密码是否正确，同时区分一下大小写，如果已经忘记密码，那么可以通过密码找回功能重新设置密码，手机系统或者软件没有响应，重启一下手机再进行登陆，ES软件版本较低，将软件升级到最新版本后登陆。
WIFI未打开：检查手机的wifi是否是打开状态。SMB服务器不在同一网络内：检查路由的连接状态，不对的话，改正即可。IP地址失效：确保连接正常的情况下重新搜索SMB服务已关闭：点击“开始”菜单，在搜索框中输入“服务”单击进入。

如果ES文件浏览器所选的服务器未开启，可以尝试其他的解决方案，比如检查服务器的设置是否正确，并重新启动服务器；还可以重新安装ES文件浏览器，尝试重新配置；如果服务器上有其他程序，也要检查它们是否可以正常运行。

一般情况下，esshould失效highclient可能是由于以下原因造成的：
1highclient的网络连接出现问题；
2highclient的配置文件出现错误；
3highclient的服务器出现故障；
4highclient的账号或密码出现错误；
5esshould与highclient版本不兼容。

我遇到过这个问题，使用下面的修改方法处理掉了。
解决办法：开始菜单运行“secpolmsc”安全设置-本地策略-安全选项- "
网络访问：本地帐户的共享和安全模型,属性改为"经典 - 本地用户以自己的身份验证"

因为内存没给够,服务器有16个G内存,结果使用的是默认的1G内存

刚开始偶尔出现可能3个月挂一次,手动启动就好了,后来发现半个月左右就挂一次,
统计接口一调用 就把ES卡挂了
>

您好：

根据您描述的问题，建议您：
1此提示与服务器定期的维护、升级有关，请您换个时间再尝试。
2若多次更换时间段后依然如此，请先进行软件更新：通过三星官网下载电视型号匹配的固件，打开释放到清空的U盘中，然后连接电视，按电视遥控器的项目键，接着选择支持-软件更新进行更新。
3按电视遥控器的SMART HUB键，然后按工具键，接着依次选择设置-复位，输入自定义密码或初始密码“0000”。复位完毕后，电视将自动d出协议和条款，请仔细阅读再进行选择，选择同意后电视将重新安装智能界面中的软件。

4若上述 *** 作不能解决问题，请登陆三星官网进行报修：>

欢迎访问三星关怀：

>