如何让linux服务器磁盘io性能翻倍
假设一个网页上有10张图片,这10张图片虽然存在10个文件中,但其实是几乎同时被用户访问的。
如果能让这10张图片存储在连续的磁盘空间中,就能把io性能提升10倍(一次寻道就可以读10个文件了)
传统的做法是通过拼接图片来将这10张图片合并到一张大图中,再由前端将大图切成10张小图。
有了e4defrag后,可以将需连续访问的文件放在同一个文件夹下,再定期使用e4defrag进行磁盘整理。
实现自己的文件系统
我们曾经写过一款专用文件系统,针对代理服务器,将磁盘io性能提升到3-5倍。
在大部分服务器上,不需要支持“修改文件”这个功能。一旦文件创建好,就不能再做修改操作,只支持读取和删除。在这个前提下,我们可以消灭所有文件碎片,把磁盘io效率提升到理论极限。
在我们服务器中,每个文件的缓冲区最大值设定为16MB
小于16MB的文件,在服务器准备好整个文件内容后,再创建文件。创建文件时服务器给出文件大小,文件系统保证为文件分配连续的空间。
读写文件时,服务器一次性读写整个文件。
大于16MB的文件,服务器创建文件时告诉文件系统分配16MB磁盘空间。后续每次扩大文件大小时,要么是16MB,要么就是文件终结。不允许在文件未终结的情况下分配非16MB的空间。
读写文件时,每次读写16MB或者直到文件末尾。
在我们的文件系统中,小文件完全无碎片,一次寻道就能搞定一个文件,达到了理论上最佳的性能。
大文件每次磁头定位读写16MB,性能没有达到100%,但已经相当好了。
有一个公式可以衡量磁盘io的效率:
磁盘利用率 = 传输时间/(平均寻道时间+传输时间)
对我们当时采用的磁盘来说(1T 7200转sata),16MB连续读写已经可以达到98%以上的磁盘利用率。
评论