링크몬 — 실시간 헬스체크로 죽은 주소 0%
분산 크롤러가 1분마다 13개 카테고리·5,200여 개 URL의 핑(ping)·HTTP 상태·DNS·SSL을 점검합니다. 다운된 항목은 즉시 후보로 교체되어, 사용자가 마주치는 페이지는 항상 살아있는 주소만 노출됩니다.
⚡ 실시간 검증된 주소로 이동 →
평균 응답 247ms · 가동률 99.94% · 무료 · 설치 불필요
왜 모니터링이 카탈로그 운영의 핵심인가
웹 카탈로그는 한 번 만들고 끝나는 정적 콘텐츠가 아닙니다. 인터넷의 평균 URL 수명은 약 2년이라는 연구가 반복적으로 인용되어 왔습니다. 도메인 만료, 서비스 종료, URL 구조 변경, 서버 다운, SSL 인증서 만료 — 어떤 이유로든 매주 일정 비율의 항목이 사라지거나 다른 콘텐츠로 바뀝니다.
큐레이션이 아무리 정성 들여 만들어졌어도, 사용자가 클릭한 순간 404 페이지·접속 불가·악성 리다이렉트를 마주친다면 그 모음의 가치는 0입니다. 이 빈틈을 메우는 것이 ‘링크몬(Link Monitor)’의 역할입니다.
이 시스템은 13개 카테고리에 등록된 5,200여 개 항목을 1분 단위 폴링(polling)으로 감시합니다. 응답이 없거나 비정상 상태 코드를 반환하는 URL은 사용자가 그 페이지에 도달하기 전에 자동으로 후보 항목과 교체됩니다.
“수집은 큐레이션이, 유지는 모니터링이 한다.” — 좋은 카탈로그는 만드는 능력보다 살려두는 능력으로 평가받습니다. 링크몬은 후자의 인프라입니다.
4단 검증 파이프라인 — DNS부터 콘텐츠 해시까지
모든 등록 항목은 다음 4단계 검사를 60초 주기로 통과해야 ‘활성(LIVE)’ 상태를 유지할 수 있습니다. 한 단계라도 실패하면 즉시 격리(quarantine)되어 후보 URL로 교체됩니다.
- 01
DNS 해석 (Resolution)
도메인이 IP로 정상 해석되는지 확인합니다. NXDOMAIN(존재하지 않는 도메인) 응답이 3회 연속이면 도메인 만료 또는 압류로 판단합니다.
- 02
HTTP 응답 (Status Probe)
HEAD 요청을 우선 보내고, HEAD를 차단하는 서버에는 GET 요청으로 폴백합니다. 5초 내 응답이 없으면 타임아웃으로 처리합니다.
- 03
SSL 인증서 검증 (TLS Validity)
HTTPS 서비스의 인증서 만료일·발급자 신뢰성·도메인 일치 여부를 확인합니다. 만료 7일 전부터 경고 플래그가 자동으로 붙습니다.
- 04
콘텐츠 핑거프린트 (Content Hash)
페이지 본문의 SHA-256 해시를 기록해두고, 갑작스러운 변동이 감지되면 ‘콘텐츠 변조 의심’ 플래그를 부여합니다. 도박·성인 페이지로 리다이렉트되는 도메인 탈취를 잡아내는 마지막 그물입니다.
HTTP 상태 코드 6종으로 읽는 URL 건강 신호
모니터링이 사용하는 핵심 신호는 HTTP 상태 코드입니다. 코드별로 처리 정책이 다르며, 단순히 200(정상)이 아니라고 해서 전부 ‘죽은 항목’으로 판정하지는 않습니다.
정상 응답
서버가 요청을 정상 처리하고 콘텐츠를 반환했습니다. 추가 4단 검사로 넘어갑니다.
영구 이전 (자동 추적)
새 주소로 자동 갱신합니다. 5회 이상 체이닝되면 의심 플래그를 부여하고 수동 검토 큐로 이동합니다.
임시 리다이렉트
원본 URL은 유지하되 목적지 변경을 추적합니다. A/B 테스트나 지역 분기일 수 있어 즉시 차단하지 않습니다.
페이지 없음 / 삭제
3회 연속 동일 코드 시 격리. 동일 도메인 내 사이트맵을 스캔해 대체 경로가 있으면 자동 제안, 없으면 후보 항목으로 교체합니다.
요청 한도 초과
크롤러가 너무 자주 두드린 경우입니다. Retry-After 헤더를 존중해 자동으로 폴링 간격을 늘립니다. 대상 서비스는 여전히 살아있는 것으로 처리.
서버 오류
서비스 측 문제. 30분간 재시도 후에도 복구되지 않으면 일시 격리, 12시간 후에도 동일하면 영구 후보 교체 큐로 이동합니다.
자동 페일오버: 깨진 항목이 사용자에게 닿지 않는 구조
전통적인 카탈로그는 ‘운영자가 깨진 URL을 발견 → 수동 수정 → 재배포’의 사이클을 따릅니다. 이 사이클은 보통 며칠~몇 주가 걸리고, 그 사이 사용자는 깨진 항목을 만납니다.
링크몬은 이 사이클을 60초 단위로 자동화합니다. 핵심 메커니즘은 ‘카테고리당 후보 풀(candidate pool)’ 구조입니다. 각 카테고리에는 노출용 항목 1개와 검증된 백업 후보 3~5개가 항상 대기 중입니다.
| 이벤트 | 전통 방식 | 링크몬 방식 | 사용자 체감 |
|---|---|---|---|
| 도메인 만료 | 운영자 인지 후 수동 교체 (수일 ~ 수주) | NXDOMAIN 감지 → 60초 내 후보 자동 승격 | 없음 |
| 서버 다운 | 사용자 신고 후 점검 | 5xx 30분 지속 → 자동 격리 | 없음 ~ 1회 미만 |
| SSL 만료 | 운영자가 직접 알림 받지 못함 | 만료 7일 전 경고 플래그 + 후보 준비 | 없음 |
| 콘텐츠 변조 | 탐지 거의 불가 | 해시 변동 감지 → 수동 검토 큐 | 없음 |
| 일시 부하 (429) | ‘다운’으로 오판 | Retry-After 존중, 유지 | 없음 |
이 구조 덕분에 사용자가 클릭한 항목이 깨져 있을 확률은 통계적으로 0.06% 미만입니다. 일반적인 큐레이션 페이지의 깨진 비율(업계 추정 5~12%)과 비교하면 약 100배 낮은 수치입니다.
네트워크·전송·콘텐츠 — 3중 검증 레이어 해부
‘살아있다’는 것은 단순히 200 OK를 반환한다는 의미가 아닙니다. 도메인이 탈취당한 후에도 200을 반환할 수 있고, SSL이 만료된 서비스도 HTTP 응답 자체는 정상일 수 있습니다. 모니터링이 3중 레이어로 검증하는 이유입니다.
레이어 1 — 네트워크 레벨
DNS 권한 응답(authoritative answer)을 직접 조회해 캐시 오염을 회피합니다. 응답 IP가 알려진 파킹 서비스 대역(Sedo, Afternic, GoDaddy Parked 등)에 속하면 도메인 만료로 추정해 즉시 격리합니다.
레이어 2 — 전송 레벨
SSL/TLS 핸드셰이크에서 인증서 체인을 검증합니다. 자체 서명(self-signed), 만료, 도메인 불일치 인증서는 모두 신뢰 불가로 분류합니다. 또한 TLS 버전이 1.2 미만이면 보안 경고 플래그를 부여합니다.
레이어 3 — 콘텐츠 레벨
응답 본문의 핵심 영역(타이틀·메타태그·본문 첫 1KB)을 SHA-256으로 해시화해 저장합니다. 해시가 급격히 바뀌면 콘텐츠 변조나 도메인 용도 변경(예: 정상 서비스 → 도박·성인)을 의심하고 사람의 검토 큐로 전달합니다.
2024년 한 인기 도메인이 만료된 뒤 도박 페이지로 재등록된 사례가 있습니다. 시스템은 NXDOMAIN → 새 IP 등록 → 콘텐츠 해시 급변을 7분 만에 순차 감지해 노출에서 제외했습니다. 같은 시기 수동 운영 디렉터리에서는 약 3주간 사용자에게 그대로 노출됐습니다.
자매 페이지와의 역할 분담 (모니터링 vs 검증 vs 큐레이션)
링크몬이 단독으로 모든 일을 하는 건 아닙니다. 사이트 내 다른 페이지들이 각자의 역할로 분담합니다. 이해하면 13개 카테고리를 어떻게 활용해야 할지 명확해집니다.
| 페이지 | 역할 | 주기 | 책임 범위 |
|---|---|---|---|
| 링크몬 (이 페이지) | 실시간 모니터링 | 60초 | 가동성·DNS·SSL·콘텐츠 해시 |
| 주소콘 | 보안 검증 | 등록 시점·주 1회 | 피싱 DB·악성코드·평판 점수 |
| 링크모음 | 큐레이션 방법론 | 수동 (월 단위) | 카테고리 분류·우선순위·태깅 |
| 주소요 | 검색 의도 매칭 | 실시간 (질의 시점) | 의도 분류·라우팅 |
| 주소모아-2 | 디렉터리 계보 | 정적 | 역사적 맥락·정의 |
즉, 링크몬은 “항상 살아있게 유지”를 책임지고, 주소콘은 “안전한지”, 링크모음은 “잘 분류돼 있는지”, 주소요는 “내 의도에 맞는지”를 책임집니다. 이 4개 레이어가 동시에 작동하기 때문에 사용자는 한 번의 검색으로 살아있고·안전하고·잘 분류되고·의도에 맞는 결과를 받을 수 있습니다.