脑残手贱:被NFS祸害的调度系统

小说:单页手赚网源码作者:秉王更新时间:2019-02-20字数:65838

脑残手贱:被NFS祸害的调度系统


建议:任何时候,都要三思而后行!!!

事请的缘由

系统中采用slurm调度系统来进行并行计算。但是在GPU节点上,无论如何都无法启动slurmd,报插件初始化错误的故障。
因此需要编译新的munge和slurm来确认是否是软件版本和操作系统版本不不兼容造成的。

悲剧的发生

我们的系统,共享的应用环境放置在NAS上的NFS文件系统。我在A节点上已经卸载了NFS文件,然后挂载点(本地目录)上编译新版本,启动了slurm之后,还是有问题。
因此需要更换一个节点B试试,直接把文件拷贝到B节点很方便。
因此很熟练的scp -r munge-0.5.12 B:$(pwd),看着文档被覆盖,一切都这么顺利的时候,我的内心突然一阵惶恐!
没错,NFS对于所有节点都是可读写的。我神不知鬼不觉地用A 节点上centos7编译的munge覆盖了B节点上NFS挂载的centos6编译的munge,那一刻,我的世界坍塌了。
赶紧找个节点,提交我的测试算例。看着一堆的报错,那一刻我的心都碎了,是的没错,果然影响了在线的系统。完了,彻底完了!
赶紧给领导打电话,说我手残了,系统被我搞垮了,领导安抚了一下我,赶紧把旧的恢复回去,slurm超时300s,来的及的话,还能够拯救。

绝处逢生

我赶忙找找我是否备份了之前的文件。
幸运的是,我在A节点的本地目录下,CP了一份munge.0.5.12.nas_nfs,这就是之前的那个了,万幸!。只要将这个目录再次拷贝回去,应该是没有问题的。
慌不择路。
我scp -r munge.0.5.12.nas_nfs 到NAS上的同一个目录时,发现还是没有拯救回来,报错GLIBC的问题。完了,彻底完了。真的要重新编译吗?可是那耗时还是太长了。
我cd 到munge的目录下,发现把 munge.0.5.12.nas_nfs拷贝到了 munge.0.5.12目录下,也就是说:scp这个目录用错了,没有覆盖,而是拷贝到目标目录下了。
似乎有了希望。
为了确保万无一失,我把munge-0.5.12下的东西全部删除,然后在munge.0.5.12.nas_nfs目录下mv * ../
然后我批量处理所有节点,启动munged,从SUCCESS的字段我看到了自己的命可能保住了。
然后sinfo看到了所有节点还是down。看来的确是slurm通信已经超时,slurm的控制器已经认为节点死了。只能够重新启动slurmd了
批量执行之后,看到SUCCESS之后,我想这次虽然把系统拯救好了,但是那些排队的计算任务,已经无法再次复活了,只能等待重新提交了。

总结

  1. 备份。很重要很重要。假如没有备份的东西,我已经被枪杀了。
  2. 细节。因为没有卸载B节点的NFS,所有直接覆盖了全部节点的共享目录,导致系统出错。
  3. 冷静。还是那句话,故障不要紧,要紧的是无法修复故障。。
  4. 沉着。 运维这个工作,平时没你啥事,有你啥事的时候就有可能是天塌下来的责任。

无论是测试还是上线,旁边最好坐个backuper,不然脑子不够使,毁了系统可能还在傻呵呵地笑
运维最大的难度在于:脑残和手贱。以此为戒,绝不再犯!

当前文章:http://cnsdbtzg.com/news/20190171586.html

发布时间:2019-02-20 11:40:47

代练通流程 搬运别人的视频犯法吗 民政部 头条 官方账号 手机微信打字赚钱平台 淘宝刷单佣金是什么 下载软件的兼职靠谱吗 火牛微赚系统 想找在家里干的话 飞驴全自动挂机 六盘水机场可以停车吗?

56841 59296 39571 90831 59995 4242256397 91202 50707

我要说两句: (0人参与)

发布