뭘 이런걸..

Posted
Filed under Tech/안녕리눅스
안녕 리눅스 2.x 의 RPM-GPG-KEY 변경 공지 입니다.

혹시 YUM으로 /etc/yum.repos.d/AnNyung.repo 에 등록되어 있는 패키지 업데이트가 되지 않은 경우에는, 다음 사항을 참고 하여 조치를 하십시오.

  1. 대상

    안녕 리눅스 2 x86_64, i686

  2. 증상

    /etc/yum.repos.d/AnNyung.repo 에 등록된 repository의 패키지 업데이트가 되지 않는 증상이 발생할 수 있음

  3. 원인

    2017.01.16 OOPS.org 서버 이전 중 서버 노후화에 의한 HDD, memory 손상. 특히 HDD 파손으로 인하여 RAID 10이 깨져서 데이터 복구 불가능하여, 안녕 리눅스 2의 패키지 빌드 private key를 손실 하여, 새로운 키를 생성해서 모든 패키지를 resign 함.

  4. 해결책

    업데이트가 되지 않을 경우에는, 수동으로 annyung-release package 업데이트를 해야 함. 기존의 패키지들을 신규 생성한 private key로 다시 sign 을 하였기 때문에 예전의 공개키로는 verify 를 할 수 없습니다. 그러므로 공개키를 갱신시키기 위하여, 공개키를 포함하고 있는 annyung-release package를 수동으로 재설치 해 주어야 합니다.

    [root@host ~]$ rpm -Uhv --force http://mirror.oops.org/pub/AnNyung/2/inst/annyung-release.rpm


    깨끗이 정리를 위해서는 분실된 이전 공개키를 제거해 주십시오.

    [root@host ~]$ rpm -e gpg-pubkey-0eff2026-4eedfee5

OOPS.org 서버는 Xen server 6.5에 4개의 VM (oops.org, an1.pkg.oops.org, an2.pkg.oops.org, an2.x86.pkg.oops.org)으로 구성이 되어 있습니다. 이번 사건은 RAID를 너무 맹신했던 것이 가장 큰 문제였으며, 2번째로는 장비의 노후화 및 서버 부품 조달 비용에 대한 문제가 있었습니다.

RAID 복구 시에 깨끗하지 못한 여분 하드를 사용한 것이 RAID가 깨진 가장 큰 원인이었으며, 여분 하드 역시 다른 RAID 정보를 가지고 있어 발생한 문제 입니다. 더군다나 RAID 10을 맹신하여, VM 2대에 key가 분산이 되어 있어 외부 백업을 하지 않은 것이 가장 큰 원인 입니다.


2017/01/22 20:11 2017/01/22 20:11
Posted
Filed under 주절주절
2017년 1월 16일에 OOPS.org 서버를 이전하다가 HDD가 망가지면서 모든 데이터가 날라가는 상황을 맞이 했습니다.

다행이 백업 데이터가 있어 현재와 같이 임시로 복구를 하기는 했지만, 웹상의 데이터만 복구를 했지 실제로 background에서 작업을 하던 데이터들을 모두 날려 버린 상황이 되었습니다.

머리속에 얼마간 저장되어 있는 것들은 하나씩 새로 만들어 나가고 있기는 한데, 잘 기억이 나지 않는 것들과 심지어는 기억속에서 사라진 작업들이 복구를 하다 보니 나타나기 시작합니다. 참 난감합니다.

올해로 OOPS.org 를 운영시작한지 20 주년인데, 20주년의 시작이 아주 멋지게 시작 합니다. 해당 장비가 2006년에 중고 서버를 기증 받은 것인데, 10년동안 잘 사용하고 퇴역을 하기는 했지만, 데이터까지 같이 가지고 가버린 상황이 되었습니다.

일단은, 박진우님께서 제공해 주신 임시 장비로 웹 서비스만 일단은 올렸지만 난감한 상태이기는 합니다. (정말 감사합니다. _o_, 복구 때문에 정신이 없어서 미쳐 감사의 말씀도 전하지 못했네요.)

가장 큰 문제는 현재, 안녕 리눅스 2의 패키지 사인을 한 key를 소실했다는 점입니다. 이 부분이 해결이 안되면 모든 안녕 리눅스 2 서버의 안녕 2 패키지 공개키를 업데이트 해야 하는 사태가 발생하게 됩니다. 아직 안녕 2 빌드 환경을 구성하지 못해서 확실하게 이렇다고는 못하지만 예상으로는 50% 이상이 키를 교체해야 하지 않을까 예상 합니다.

현재 OOPS.org 환경의 복구율은 40% 정도 진행이 된 상태 입니다. 20여년을 운영을 하다 보니 상당히 복잡한 시스템이 되어 버렸었네요. 솔직히 이번 서버 이전을 해야 하는 상황과 장비가 죽었을 때는 이젠 그만 해야 할 때가 되었나 싶기도 했었습니다.

어찌 되었든 운영은 계속 하게 되었지만, 복구 문제와 서버 장비 문제는 여전히 골치 거리 이네요. --;
2017/01/20 23:37 2017/01/20 23:37