如何加速小文件的rsync

概述我正在尝试使用以下命令将数千个小文件从一个服务器传输到另一个服务器： rsync -zr –delete / home / user / user@10.1.1.1 :: backup 目前转移需要很长时间(我还没有计时).有没有办法让这更快？我应该使用其他工具吗？我应该在ssh上使用rsync而不是使用rsync协议吗？ 您需要确定瓶颈.它不是rsync.它可能不是您的网络带宽.正如 @Zore 我正在尝试使用以下命令将数千个小文件从一个服务器传输到另一个服务器：

rsync -zr –delete / home / user / user@10.1.1.1 :: backup

目前转移需要很长时间(我还没有计时).有没有办法让这更快？我应该使用其他工具吗？我应该在ssh上使用rsync而不是使用rsync协议吗？

解决方法 您需要确定瓶颈.它不是rsync.它可能不是您的网络带宽.正如 @Zoredache所说,很可能是所有stat()调用产生的大量iops.任何同步工具都需要统计文件.同步运行iostat以验证.

所以问题就变成了;我该如何优化stat？两个简单的答案：

>获得更快的磁盘子系统(如果需要,在两台主机上)和
>调整文件系统(例如,使用noatime进行ext3安装并添加dir_index).

如果有可能不是你的磁盘iops是限制,那么你可以尝试将目录树拆分成多个不同的树并运行多个rsyncs.

总结

以上是内存溢出为你收集整理的如何加速小文件的rsync全部内容，希望文章能够帮你解决如何加速小文件的rsync所遇到的程序开发问题。

如果觉得内存溢出网站内容还不错，欢迎将内存溢出网站推荐给程序员好友。