今天我们来测试一下Linux下面删除大量文件的效率。

首先建立50万个文件

1. 
   
2. $ test   for i in $(seq 1 500000);do echo text >>$i.txt;done

复制代码

1.   rm删除

1. 
   
2. $ time rm -f *
   
3. zsh: sure you want to delete all the files in /home/hungerr/test [yn]? y
   
4. zsh: argument list too long: rm
   
5. rm -f *  3.63s user 0.29s system 98% cpu 3.985 total
   
6. 由于文件数量过多，rm不起作用。

复制代码

2.  find删除

1. 
   
2. $ time find ./ -type f -exec rm {} \;
   
3. find ./ -type f -exec rm {} \;  49.86s user 1032.13s system 41% cpu 43:19.17 total
   
4. 大概43分钟,我的电脑。。。。。。边看视频边删的。

复制代码

3.  find with delete

1. 
   
2. $ time find ./ -type f -delete
   
3. find ./ -type f -delete  0.43s user 11.21s system 2% cpu 9:13.38 total
   
4. 用时9分钟。

复制代码

4.  rsync删除

1. 
   
2. # 首先建立空文件夹blanktest
   
3. $ time rsync -a --delete blanktest/ test/
   
4. rsync -a --delete blanktest/ test/  0.59s user 7.86s system 51% cpu 16.418 total
   
5. 16s，很好很强大。

复制代码

5.  Python删除

1. 
   
2. import os
   
3. import timeit
   
4. def main():
   
5.     for pathname,dirnames,filenames in os.walk('/home/username/test'):
   
6.         for filename in filenames:
   
7.             file=os.path.join(pathname,filename)
   
8.             os.remove(file)
   
9.             
   
10. if __name__=='__main__':
    
11. t=timeit.Timer('main()','from __main__ import main')
    
12. print t.timeit(1)　　
    
13. 1
    
14. 2
    
15. $ python test.py
    
16. 529.309022903
    
17. 大概用时9分钟。

复制代码

6.  Perl删除

1. 
   
2. $ time perl -e 'for(<*>){((stat)[9]<(unlink))}'
   
3. perl -e 'for(<*>){((stat)[9]<(unlink))}'  1.28s user 7.23s system 50% cpu 16.784 total
   
4. 16s，这个应该最快了。

复制代码

7、结果：

1. <font face="Tahoma">
   
2. rm：文件数量太多，不可用
   
3. find with -exec 50万文件耗时43分钟
   
4. find with -delete 9分钟
   
5. Perl  16s
   
6. Python 9分钟
   
7. rsync with -delete  16s</font>

复制代码

结论：删除大量小文件rsync最快，最方便。