macmini 손실 (재해 복구)

https://docs.axelabs.ai/ops/runbook/macmini-loss 따라 customer macmini 손실 1-day 복구 진행해줘.

진행:
1. 사건 확인 — customer admin 통보 (도난/화재/disk 파손) + 손실 시점 파악
2. 즉시 access 차단 — customer IT 측 Microsoft Entra ID app 비활성 또는 secret 회전 (모든 직원 connector 401)
3. backup 상태 확인 (Ring peer / Cold SSD 가장 신선 snapshot) → 손실 시점 ~ 마지막 backup 간 데이터 손실 범위 추정 + 사용자 확인
4. 새 macmini 확보 + 단기 복구 (T+1h~1d) 페이지 절차, 매 step 결과 받고 다음. customer IT 와 양방향 통보 + 진행 상황 공유
5. 복구 완료 후 health 검증 + 정합성 검사 + customer 회신 + 사고 회고 /ops/known-gaps 기록 (재발 방지)

# customer IT 에게 즉시 요청:
"Azure portal → Microsoft Entra ID → App registrations → 'Frame MCP' → Authentication → 
 'Allow public client flows' 끄거나, Certificates & secrets 에서 secret 삭제"

# Ring peer 측에서 가장 신선한 backup 확인
ssh realchoice-macmini "
  restic -r /Users/realchoice/peer-backups/axe/restic-repo snapshots \
    --password-file <(security find-generic-password -w -s axe.backup.restic.local)
"
# 가장 최근 snapshot 시점 확인 → 손실 시간 추정
 
# Cold SSD 도 확인
# (운영자가 SSD 꽂아서 확인)

# 1. macOS 사용자 생성 (예: axe)
# 2. Tailscale install + 운영자 key 등록
# 3. SSH 접속 검증
 
# 4. Docker Desktop install
# 5. axe CLI install
curl -sSL https://docs.axelabs.ai/install/axe-cli.sh | bash

# 운영자 머신에서
axe restore --customer <customer> --tier ring --from <peer> --as-of <latest>
 
# 또는 cold SSD
axe restore --customer <customer> --tier cold --as-of <latest>

axe onboard <customer> --apply
# Azure 측 설정은 손대지 않음 (onboard 가 Azure CRUD 안 함, 그대로 재실행 idempotent).
# 부분 재실행 필요하면 `--skip-frame` (frame 만 건너뛰기) 사용 가능.

ssh <customer>-macmini "docker exec frame-mcp-blue python -m frame.cli integrity-check --entity <each_entity>"

# 마지막 backup ~ 사건 사이의 audit_log
ssh <customer>-macmini "docker exec frame-postgres psql -U frame -d frame -c \"
  SELECT actor, op, table_name, ts
  FROM <entity>.audit_log
  WHERE ts > '<last_backup_ts>'
  ORDER BY ts;
\""