有很多监控工具可用来监控本地和远程 Linux 系统，一个很好的例子是 Cockpit。但是，这些工具的安装和使用比较复杂，至少对于新手管理员来说是这样。新手管理员可能需要花一些时间来弄清楚如何配置这些工具来监视系统。如果你想要以快速且粗略地在局域网中一次监控多台主机，你可能需要了解一下 “rwho” 工具。只要安装了 rwho 实用程序，它将立即快速地监控本地和远程系统。你什么都不用配置！你所要做的就是在要监视的系统上安装 “rwho” 工具。
请不要将 rwho 视为功能丰富且完整的监控工具。这只是一个简单的工具，它只监视远程系统的“正常运行时间”（uptime），“负载”（load）和登录的用户。使用 “rwho” 使用程序，我们可以发现谁在哪台计算机上登录；一个被监视的计算机的列表，列出了正常运行时间（自上次重新启动以来的时间）；有多少用户登录了；以及在过去的 1、5、15 分钟的平均负载。不多不少！而且，它只监视同一子网中的系统。因此，它非常适合小型和家庭办公网络。
在 Linux 中监控多台主机
让我来解释一下 rwho 是如何工作的。每个在网络上使用 rwho 的系统都将广播关于它自己的信息，其他计算机可以使用 rwhod 守护进程来访问这些信息。因此，网络上的每台计算机都必须安装 rwho。此外，为了分发或访问其他主机的信息，必须允许 rwho 端口（例如端口 513/UDP）通过防火墙/路由器。
好的，让我们来安装它。
我在 Ubuntu 1604 LTS 服务器上进行了测试，rwho 在默认仓库中可用，所以，我们可以使用像下面这样的 APT 软件包管理器来安装它。
$ sudo apt-get install rwho
在基于 RPM 的系统如 CentOS、 Fedora、 RHEL 上，使用以下命令来安装它：
$ sudo yum install rwho
如果你在防火墙/路由器之后，确保你已经允许使用 rwhod 513 端口。另外，使用命令验证 rwhod 守护进程是否正在运行：
$ sudo systemctl status rwhod
如果它尚未启动，运行以下命令启用并启动 rwhod 服务：
$ sudo systemctl enable rwhod
$ sudo systemctl start rwhod
现在是时候来监视系统了。运行以下命令以发现谁在哪台计算机上登录：
$ rwho
ostechni ostechnix:pts/5 Mar 12 17:41
root server:pts/0 Mar 12 17:42
正如你所看到的，目前我的局域网中有两个系统。本地系统用户是 ostechnix （Ubuntu 1604 LTS），远程系统的用户是 root （CentOS 7）。可能你已经猜到了，rwho 与 who 命令相似，但它会监视远程系统。
而且，我们可以使用以下命令找到网络上所有正在运行的系统的正常运行时间：
$ ruptime
ostechnix up 2:17, 1 user, load 009, 003, 001
server up 1:54, 1 user, load 000, 001, 005
这里，ruptime（类似于 uptime 命令）显示了我的 Ubuntu（本地） 和 CentOS（远程）系统的总运行时间。明白了吗？棒极了！以下是我的 Ubuntu 1604 LTS 系统的示例屏幕截图：
你可以在以下位置找到有关局域网中所有其他机器的信息：
$ ls /var/spool/rwho/
whodostechnix whodserver
它很小，但却非常有用，可以发现谁在哪台计算机上登录，以及正常运行时间和系统负载详情。
建议阅读：
请注意，这种方法有一个严重的漏洞。由于有关每台计算机的信息都通过网络进行广播，因此该子网中的每个人都可能获得此信息。通常情况下可以，但另一方面，当有关网络的信息分发给非授权用户时，这可能是不必要的副作用。因此，强烈建议在受信任和受保护的局域网中使用它。
以MySQL为例：
影响数据库性能的主要因素总结如下：1、sql查询速度
2、网卡流量
3、服务器硬件
4、磁盘IO
以上因素并不是时时刻刻都会影响数据库性能，而就像木桶效应一样。如果其中一个因素严重影响性能，那么整个数据库性能就会严重受阻。另外，这些影响因素都是相对的。
例如：当数据量并没有达到百万千万这样的级别，那么sql查询速度也许就不是个重要因素，换句话说，你的sql语句效率适当低下可能并不影响整个效率多少，反之，这种情况，无论如何怎么优化sql语句，可能都没有太明显的效果。
相关内容拓展：1、SQL查询速度
风险：效率低下的SQL
2、网卡流量
风险：网卡IO被占满（100Mb/8=100MB）
方案：
①减少从服务器的数量。从服务器都要从主服务器上复制日志，所以，从服务器越多，网络流量越大。
②进行分级缓存。前方大量缓存突然失效会对数据库造成严重的冲击。
③避免使用“select ”进行查询
④分离业务网络和服务器网络
3、磁盘IO
风险：磁盘IO性能突然下降。
方案：使用更好的磁盘设备解决。
I/O 模块可分为离散、模拟和特殊模块等多种类型,这些模块都可以安装在带有多个插槽的导轨或者机架上，每个模块插人其中一个插槽。导轨或者机架具有不同规格，插槽数分为4、8、12 不等。一般情况下，电源模块插在第一插槽内，编号为0，PLC插在第二插槽内，各种类型的输入输出模块插在其余插槽内。I/O模块导轨的背面安装带有连接器的印制电路板，可以将插入I/O模块的各插槽连接起来，插槽的上下边可以使插入的模块排成一条直线。
扩展资料：
在工业控制中，某些输入量是连续变化的模拟量(如压力、温度、流量、转速等)，同时某些执行装置要求使用模拟量信号进行控制(如电动调节阀、伺服电机、变频器等)，而PLC的处理器只能处理数字量。为了使PLC能够处理模拟量，必须实现模拟量和数字量之间的AD转换及DA转换。通过AD模块将检测装置输入的电压、电流模拟量转换为数字量传送给PLC。
参考资料来源：百度百科-I/O 模块
参考资料来源：百度百科-i/o
网络宽带，磁盘IO，查询速度都会影响到数据库的性能。
具体问题具体分析，举例来说明为什么磁盘IO成瓶颈数据库的性能急速下降了。
为什么当磁盘IO成瓶颈之后, 数据库的性能不是达到饱和的平衡状态，而是急剧下降。为什么数据库的性能有非常明显的分界点，原因是什么？
相信大部分做数据库运维的朋友，都遇到这种情况。 数据库在前一天性能表现的相当稳定，数据库的响应时间也很正常，但就在今天，在业务人员反馈业务流量没有任何上升的情况下，数据库的变得不稳定了，有时候一个最简单的insert *** 作， 需要几十秒，但99%的insert却又可以在几毫秒完成，这又是为什么了？
dba此时心中有无限的疑惑，到底是什么原因呢 磁盘IO性能变差了？还是业务运维人员反馈的流量压根就不对？ 还是数据库内部出问题？昨天不是还好好的吗？
当数据库出现响应时间不稳定的时候，我们在 *** 作系统上会看到磁盘的利用率会比较高，如果观察仔细一点，还可以看到，存在一些读的IO 数据库服务器如果存在大量的写IO,性能一般都是正常跟稳定的，但只要存在少量的读IO,则性能开始出现抖动，存在大量的读IO时（排除配备非常高速磁盘的机器），对于在线交易的数据库系统来说，大概性能就雪崩了。为什么 *** 作系统上看到的磁盘读IO跟写IO所带来的性能差距这么大呢？
如果亲之前没有注意到上述的现象，亲对上述的结论也是怀疑。但请看下面的分解。
在写这个文章之前，作者阅读了大量跟的IO相关的代码，如异步IO线程的相关的，innodb_buffer池相关的，以及跟读数据块最相关的核心函数buf_page_get_gen函数以及其调用的相关子函数。为了将文章写得通俗点，看起来不那么累，因此不再一行一行的将代码解析写出来。
咱们先来提问题。 buf_page_get_gen函数的作用是从Buffer bool里面读数据页，可能存在以下几种情况。
提问 数据页不在buffer bool 里面该怎么办？
回答：去读文件，将文件中的数据页加载到buffer pool里面。下面是函数buffer_read_page的函数，作用是将物理数据页加载到buffer pool, 中显示
buffer_read_page函数栈的顶层是pread64(),调用了 *** 作系统的读函数。
buf_read_page的代码
如果去读文件，则需要等待物理读IO的完成，如果此时IO没有及时响应，则存在堵塞。这是一个同步读的 *** 作，如果不完成该线程无法继续后续的步骤。因为需要的数据页不再buffer 中，无法直接使用该数据页，必须等待 *** 作系统完成IO
再接着上面的回答提问：
当第二会话线程执行sql的时候，也需要去访问相同的数据页，它是等待上面的线程将这个数据页读入到缓存中，还是自己再发起一个读磁盘的然后加载到buffer的请求呢？ 代码告诉我们，是前者，等待第一个请求该数据页的线程读入buffer pool。
试想一下，如果第一个请求该数据页的线程因为磁盘IO瓶颈，迟迟没有将物理数据页读入buffer pool, 这个时间区间拖得越长，则造成等待该数据块的用户线程就越多。对高并发的系统来说，将造成大量的等待。 等待数据页读入的函数是buf_wait_for_read，下面是该函数相关的栈。
通过解析buf_wait_for_read函数的下层函数，我们知道其实通过首先自旋加锁pin的方式，超过设定的自旋次数之后，进入等待，等待IO完成被唤醒。这样节省不停自旋pin时消耗的cpu,但需要付出被唤起时的开销。
再继续扩展问题： 如果会话线程A 经过物理IO将数据页1001读入buffer之后，他需要修改这个页，而在会话线程A之后的其他的同样需要访问数据页1001的会话线程，即使在数据页1001被入读buffer pool之后，将仍然处于等待中。因为在数据页上读取或者更新的时候，同样需要上锁，这样才能保证数据页并发读取/更新的一致性。
由此可见，当一个高并发的系统，出现了热点数据页需要从磁盘上加载到buffer pool中时，造成的延迟，是难以想象的。因此排在等待热点页队列最后的会话线程最后才得到需要的页，响应时间也就越长，这就是造成了一个简单的sql需要执行几十秒的原因。
再回头来看上面的问题，mysql数据库出现性能下降时，可以看到 *** 作系统有读IO。 原因是，在数据库对数据页的更改，是在内存中的，然后通过检查点线程进行异步写盘，这个异步的写 *** 作是不堵塞执行sql的会话线程的。所以，即使看到 *** 作系统上有大量的写IO，数据库的性能也是很平稳的。但当用户线程需要查找的数据页不在buffer pool中时，则会从磁盘上读取，在一个热点数据页不是非常多的情况下，我们设置足够大的innodb_buffer_pool的size, 基本可以缓存所有的数据页，因此一般都不会出现缺页的情况，也就是在 *** 作系统上基本看不到读的IO。 当出现读的IO时，原因时在执行buf_read_page_low函数，从磁盘上读取数据页到buffer pool, 则数据库的性能则开始下降，当出现大量的读IO，数据库的性能会非常差。
具体问题具体分析，举例来说明为什么磁盘IO成瓶颈数据库的性能急速下降了。
为什么当磁盘IO成瓶颈之后, 数据库的性能不是达到饱和的平衡状态，而是急剧下降。为什么数据库的性能有非常明显的分界点，原因是什么？
相信大部分做数据库运维的朋友，都遇到这种情况。 数据库在前一天性能表现的相当稳定，数据库的响应时间也很正常，但就在今天，在业务人员反馈业务流量没有任何上升的情况下，数据库的变得不稳定了，有时候一个最简单的insert *** 作， 需要几十秒，但99%的insert却又可以在几毫秒完成，这又是为什么了？
dba此时心中有无限的疑惑，到底是什么原因呢 磁盘IO性能变差了？还是业务运维人员反馈的流量压根就不对？ 还是数据库内部出问题？昨天不是还好好的吗？
当数据库出现响应时间不稳定的时候，我们在 *** 作系统上会看到磁盘的利用率会比较高，如果观察仔细一点，还可以看到，存在一些读的IO 数据库服务器如果存在大量的写IO,性能一般都是正常跟稳定的，但只要存在少量的读IO,则性能开始出现抖动，存在大量的读IO时（排除配备非常高速磁盘的机器），对于在线交易的数据库系统来说，大概性能就雪崩了。为什么 *** 作系统上看到的磁盘读IO跟写IO所带来的性能差距这么大呢？
如果亲之前没有注意到上述的现象，亲对上述的结论也是怀疑。但请看下面的分解。
在写这个文章之前，作者阅读了大量跟的IO相关的代码，如异步IO线程的相关的，innodb_buffer池相关的，以及跟读数据块最相关的核心函数buf_page_get_gen函数以及其调用的相关子函数。为了将文章写得通俗点，看起来不那么累，因此不再一行一行的将代码解析写出来。
咱们先来提问题。 buf_page_get_gen函数的作用是从Buffer bool里面读数据页，可能存在以下几种情况。
提问 数据页不在buffer bool 里面该怎么办？
回答：去读文件，将文件中的数据页加载到buffer pool里面。下面是函数buffer_read_page的函数，作用是将物理数据页加载到buffer pool, 中显示
buffer_read_page函数栈的顶层是pread64(),调用了 *** 作系统的读函数。
buf_read_page的代码
如果去读文件，则需要等待物理读IO的完成，如果此时IO没有及时响应，则存在堵塞。这是一个同步读的 *** 作，如果不完成该线程无法继续后续的步骤。因为需要的数据页不再buffer 中，无法直接使用该数据页，必须等待 *** 作系统完成IO
再接着上面的回答提问：
当第二会话线程执行sql的时候，也需要去访问相同的数据页，它是等待上面的线程将这个数据页读入到缓存中，还是自己再发起一个读磁盘的然后加载到buffer的请求呢？ 代码告诉我们，是前者，等待第一个请求该数据页的线程读入buffer pool。
试想一下，如果第一个请求该数据页的线程因为磁盘IO瓶颈，迟迟没有将物理数据页读入buffer pool, 这个时间区间拖得越长，则造成等待该数据块的用户线程就越多。对高并发的系统来说，将造成大量的等待。 等待数据页读入的函数是buf_wait_for_read，下面是该函数相关的栈。
通过解析buf_wait_for_read函数的下层函数，我们知道其实通过首先自旋加锁pin的方式，超过设定的自旋次数之后，进入等待，等待IO完成被唤醒。这样节省不停自旋pin时消耗的cpu,但需要付出被唤起时的开销。
再继续扩展问题： 如果会话线程A 经过物理IO将数据页1001读入buffer之后，他需要修改这个页，而在会话线程A之后的其他的同样需要访问数据页1001的会话线程，即使在数据页1001被入读buffer pool之后，将仍然处于等待中。因为在数据页上读取或者更新的时候，同样需要上锁，这样才能保证数据页并发读取/更新的一致性。
由此可见，当一个高并发的系统，出现了热点数据页需要从磁盘上加载到buffer pool中时，造成的延迟，是难以想象的。因此排在等待热点页队列最后的会话线程最后才得到需要的页，响应时间也就越长，这就是造成了一个简单的sql需要执行几十秒的原因。
再回头来看上面的问题，mysql数据库出现性能下降时，可以看到 *** 作系统有读IO。 原因是，在数据库对数据页的更改，是在内存中的，然后通过检查点线程进行异步写盘，这个异步的写 *** 作是不堵塞执行sql的会话线程的。所以，即使看到 *** 作系统上有大量的写IO，数据库的性能也是很平稳的。但当用户线程需要查找的数据页不在buffer pool中时，则会从磁盘上读取，在一个热点数据页不是非常多的情况下，我们设置足够大的innodb_buffer_pool的size, 基本可以缓存所有的数据页，因此一般都不会出现缺页的情况，也就是在 *** 作系统上基本看不到读的IO。 当出现读的IO时，原因时在执行buf_read_page_low函数，从磁盘上读取数据页到buffer pool, 则数据库的性能则开始下降，当出现大量的读IO，数据库的性能会非常差。
京东活动系统 是一个可在线编辑、实时编辑更新和发布新活动，并对外提供页面访问服务的系统。其高时效性、灵活性等特征，极受青睐，已发展成京东几个重要流量入口之一。近几次大促，系统所承载的pv已经达到数亿级。随着京东业务的高速发展，京东活动系统的压力会越来越大。急需要一个更高效，稳定的系统架构，来支持业务的高速发展。本文主要对活动页面浏览方面的性能，进行探讨。活动页面浏览性能提升的难点：
1 活动与活动之间差异很大，不像商品页有固定的模式。每个页面能抽取的公共部分有限，可复用性差。
2 活动页面内容多样，业务繁多。依赖大量外部业务接口，数据很难做到闭环。外部接口的性能，以及稳定性，严重制约了活动页的渲染速度、稳定性。
经过多年在该系统下的开发实践，提出“页面渲染、浏览异步化”的思想，并以此为指导，对该系统进行架构升级改造。通过近几个月的运行，各方面性能都有显著提升。在分享"新架构"之前，先看看我们现有web系统的架构现状。
以京东活动系统架构的演变为例，这里没有画出具体的业务逻辑，只是简单的描述下架构：
2第二步，一般是在消耗性能的地方加缓存，这里对部分查库 *** 作加redis缓存
3对页面进行整页redis缓存：由于活动页面内容繁多，渲染一次页面的成本是很高。这里可以考虑把渲染好的活动内容整页缓存起来，下次请求到来时，如果缓存中有值，直接获取缓存返回。
以上是系统应用服务层面架构演进的，简单示意。为了减少应用服务器的压力，可以在应用服务器前面，加cdn和nginx的proxy_caxhe，降低回源率。
4整体架构（老）
除了前3步讲的“浏览服务”，老架构还做了其他两个大的优化：“接口服务”、静态服务
1访问请求，首先到达浏览服务，把整个页面框架返回给浏览器（有cdn、nginx、redis等各级缓存）。
2对于实时数据（如秒杀）、个性化数据（如登陆、个人坐标），采用前端实时接口调用，前端接口服务。
3静态服务：静态资源分离，所有静态js、css访问静态服务。
要点：浏览服务、接口服务分离。页面固定不变部分走浏览服务，实时变化、个性化采用前端接口服务实现。
接口服务：分两类，直接读redis缓存、调用外部接口。这里可以对直接读redis的接口采用nginx+lua进行优化（ openresty ），不做详细讲解。 本次分享主要对“浏览服务”架构
在讲新架构之前先看看新老架构下的新能对比
击穿cdn缓存、nginx缓存，回源到应用服务器的流量大约为20%-40%之间，这里的性能对比，只针对回源到应用服务器的部分。
2015双十一， 浏览方法tp99如下：（物理机）
Tp99 1000ms左右，且抖动幅度很大，内存使用近70%，cpu 45%左右。
1000ms内没有缓存，有阻塞甚至挂掉的风险。
2新架构浏览服务新能
本次2016 618采用新架构支持，浏览tp99如下（分app端活动和pc端活动）：
移动活动浏览tp99稳定在8ms, pc活动浏览tp99 稳定在15ms左右。全天几乎一条直线，没有性能抖动。
新架构支持，服务器（docker）cpu性能如下
cpu消耗一直平稳在1%，几乎没有抖动。
对比结果：新架构tp99从1000ms降低到 15ms，cpu消耗从45%降低到1%，新架构性能得到质的提升。
why!!!
下面我们就来揭开新架构的面纱。
1 页面浏览，页面渲染 异步化
再来看之前的浏览服务架构，20%-40%的页面请求会重新渲染页面，渲染需要重新计算、查询、创建对象等导致 cpu、内存消耗增加，tp99性能下降。
如果能保证每次请求都能获取到redis整页缓存，这些性能问题就都不存在了。
即：页面浏览，与页面渲染 异步。
理想情况下，如果页面数据变动可以通过 手动触发渲染（页面发布新内容）、外部数据变化通过监听mq 自动触发渲染。
但是有些外部接口不支持mq、或者无法使用mq，比如活动页面置入的某个商品，这个商品名称变化。
为了解决这个问题，view工程每隔指定时间，向engine发起重新渲染请求-最新内容放入redis。下一次请求到来时即可获取到新内容。由于活动很多，也不能确定哪些活动在被访问，所以不建议使用timer。通过加一个缓存key来实现，处理逻辑如下：
好处就是，只对有访问的活动定时重新发起渲染。
整理架构（不包含业务）：
view工程职责 ：
a直接从缓存或者硬盘中获取静态html返回，如果没有返回错误页面。（文件系统的存取性能比较低，超过 100ms级别，这里没有使用）
b根据缓存key2是否过期，判断是否向engine重新发起渲染。（如果，你的项目外面接口都支持mq，这个 功能就不需要了）
engine工程职责 ：渲染活动页面，把结果放到 硬盘、redis。
publish工程、mq 职责 ：页面发生变化，向engine重新发起渲染。 具体的页面逻辑，这里不做讲解
Engine工程的工作 就是当页面内容发生变化时，重新渲染页面，并将整页内容放到redis，或者推送到硬盘。
View工程的工作，就是根据链接从redis中获取页面内容返回。
3view 工程架构 ( 硬盘 版)
两个版本对比
aRedis版
优点：接入简单、 性能好，尤其是在大量页面情况下，没有性能抖动 。单个docker tps达到 700。
缺点：严重依赖京东redis服务，如果redis服务出现问题，所有页面都无法访问。
b硬盘版
优点：不依赖任何其他外部服务，只要应用服务不挂、网络正常 就可以对外稳定服务。
在页面数量不大的情况下，性能优越。单个docker tps达到 2000。
缺点：在页面数据量大的情况下（系统的所有活动页有xx个G左右），磁盘io消耗增加（这里采用的java io，如果采用nginx+lua，io消耗应该会控制在10%以内）。
解决方案：
a 对所有页面访问和存储 采用url hash方式，所有页面均匀分配到各个应用服务器上。
b 采用nginx+lua 利用nginx的异步io，代替java io。
现在通过nginx+lua做应用服务，所具有的高并发处理能力、高性能、高稳定性已经越来越受青睐。通过上述讲解，view工程没有任何业务逻辑。可以很轻易的就可以用lua实现，从redis或者硬盘获取页面，实现更高效的web服务。如果想学习Java工程化、高性能及分布式、深入浅出。微服务、Spring，MyBatis，Netty源码分析的朋友可以加我的Java进阶qun：694549689，里面有阿里大牛直播讲解技术，以及Java大型互联网技术的视频免费分享给大家。
1具有1-5工作经验的，面对目前流行的技术不知从何下手，需要突破技术瓶颈的可以加。
2在公司待久了，过得很安逸，但跳槽时面试碰壁。需要在短时间内进修、跳槽拿高薪的可以加。
3如果没有工作经验，但基础非常扎实，对java工作机制，常用设计思想，常用java开发框架掌握熟练的可以加。
通过测试对比，view工程读本地硬盘的速度，比读redis还要快（同一个页面，读redis是15ms，硬盘是8ms）。所以终极版架构我选择用硬盘，redis做备份，硬盘读不到时在读redis。
这里前置机的url hash是自己实现的逻辑，engine工程采用同样的规则推送到view服务器硬盘即可，具体逻辑这里不细讲。后面有时间再单独做一次分享。
优点：具备硬盘版的全部优点，同时去掉tomcat，直接利用nginx高并发能力，以及io处理能力。各项性能、以及稳定性达到最优。
缺点：1、硬盘坏掉，影响访问。2方法监控，以及日志打印，需使用lua脚本重写。
无论是redis版、硬盘版、openresty+硬盘版，基础都是页面浏览与页面渲染异步化。
优势：
1、所有业务逻辑都剥离到engine工程，新view工程理论上永远无需上线。
2、灾备多样化（redis、硬盘、文件系统），且更加简单，外部接口或者服务出现问题后，切断engine工程渲染，不再更新redis和硬盘即可。
3、新view工程，与业务逻辑完全隔离，不依赖外部接口和服务，大促期间，即便外部接口出现新能问题，或者有外部服务挂掉，丝毫不影响view工程正常访问。
4、性能提升上百倍，从1000ms提升到10ms左右。详见前面的性能截图。
5、稳定性：只要view服务器的网络还正常，可以做到理论上用不挂机。
6、大幅度节省服务器资源，按此架构，4+20+30=54个docker足以支持10亿级pv。（4个nginx proxy_cache、20个view，30个engine）
从事开发已有近10载，一直就像寄生虫一样吸取着网络上的资源。前段时间受“张开涛”大神所托，对活动系统新架构做了一次简单整理分享给大家，希望能给大家带来一丝帮助。第一次在网上做分享，难免有些没有考虑周全的地方，以后会慢慢的多分享一些自己的心得，大家一起成长。最后再来点心灵鸡汤。。。
欢迎分享，转载请注明来源：内存溢出
微信扫一扫
支付宝扫一扫
评论列表（0条）