I/O error read-Only

작년에 I/O error read-Only 이슈가 서버 두곳에서 일어났고 각각 다른 방법으로 해결했다.

 

1. VMware 고사양 인스턴스 생성중 발생. 인스턴스 생성이 정상적으로 생성되지 않았고, VMware 인스턴스가 모두 정상 작동하지 않음.

• Ubuntu 14.04.2 LTS (GNU/Linux 3.16.0-30-generic x86_64)
• root 사용자로 진행

1-1. 일단(처음 보는 상황이면 일단 재부팅부터 시도하는 편) 시스템 재부팅 -> 일반 부팅이 안되서 복구모드로 진행

• GRUB 메뉴 -> Advanced options for ubuntu -> (recovery mode) -> fsck -> resume

결론적으로 해결되지 않았다.

# service vmware restart
Unable to save config
Unable to save config
Stopping VMware services:
   VMware Authentication Daemon                                        done
   VM communication interface socket family                            done
   Virtual machine communication interface                             done
   Virtual machine monitor                                             done
   Blocking file system                                                done
/etc/init.d/vmware: line 163: /var/log/vnetlib: Read-only file system
Unable to save config
Starting VMware services:
   Virtual machine monitor                                             done
   Virtual machine communication interface                             done
   VM communication interface socket family                            done
   Blocking file system                                                done
   Virtual ethernet                                                   failed
   VMware Authentication Daemon                                        done

1-2. 위 로그를 토대로 검색 해보니, Read-only file system 관련은 리마운트가 해결 할 수 있다고 한다.

# cat /proc/mounts | grep /dev
udev /dev devtmpfs rw,relatime,size=65992952k,nr_inodes=16498238,mode=755 0 0
devpts /dev/pts devpts rw,nosuid,noexec,relatime,gid=5,mode=620,ptmxmode=000 0 0
/dev/mapper/vmware--vg-root / ext4 ro,relatime,data=ordered 0 0

vmware--vg-root / ext4 ro,relatime,data=ordered 0 0 읽기 전용(ro)으로 잠겨있다. 

# umount /dev/mapper/vmware--vg-root
# e2fsck /dev/mapper/vmware--vg-root

모든 항목 문답에 yes

# cat /proc/mounts | grep /dev
udev /dev devtmpfs rw,relatime,size=65992952k,nr_inodes=16498238,mode=755 0 0
devpts /dev/pts devpts rw,nosuid,noexec,relatime,gid=5,mode=620,ptmxmode=000 0 0
/dev/mapper/vmware--vg-root / ext4 rw,relatime,data=ordered 0 0

reboot (mount 관련 작업은 재부팅해야 최종 확인이 가능함)

 

정상 작동, 문제 해결

 

2. 마운트는 정상이었으나, I/O error read-Only 발생. 장기간 파일 시스템이 방치 되어 잠긴 상황으로 추측

• CentOS 6.8 Final(kernel 2.6.32-642.el6.x86_64)

2-1. 시스템을 싱글 유저 모드로 부팅. 현재 마운트된 장치명을 확인 한다

• mount

체크 할 파티션을 umount 한다 (umount 하지 않을 경우 파티션 손실 가능성이 생긴다.)

• umount /dev/mapper/vg-lv_root(문제된것)

fsck 명령으로 시스템 점검

• fsck -y /dev/mapper/vg-lv_root
• reboot

정상 작동, 문제 해결