5/27/2012

超大文件排序

16:00
我报的错是 /tmp/sortA3aLjF: No space left on device。直接用HPC无法解决gigabyte级别的排序问题了,估计得用外排序做。晚点po结果
19:30
其实bash里面的sort是可以做到的。因为这个sort本来就是n路merge外排序。默认临时文件存在/tmp目录下。因为我的/tmp目录下空间不足,所以会报错。使用-T换至自定义的路径即可

http://vkundeti.blogspot.com/2008/03/tech-algorithmic-details-of-unix-sort.html
http://www.linuxquestions.org/questions/linux-newbie-8/sort-big-files-tmp-sorta3aljf-no-space-left-on-device-823971/

No comments:

Post a Comment