연결이 실패하는 이유는 패킷이 가장 먼저 알려줍니다.

“서버에 접속되지 않습니다.”

네트워크 관리자와 시스템 엔지니어가 가장 자주 듣는 장애 신고입니다.

하지만 대부분의 경우 원인은

애플리케이션이 아니라 TCP 연결(Handshake) 단계에서 이미 드러납니다.

Wireshark를 활용하면 SYN → SYN-ACK → ACK 과정만 확인해도 연결 실패의 원인을 상당 부분 추적할 수 있습니다.

정상적인 TCP 연결

TCP 통신은 항상 3단계 핸드셰이크로 시작됩니다.

① SYN

* 클라이언트가 서버에 연결을 요청합니다.

② SYN-ACK

* 서버가 요청을 수락하고 자신의 연결 정보를 함께 응답합니다.

③ ACK

* 클라이언트가 최종 확인을 보내면 연결이 완료됩니다.

이 과정이 끝나야 HTTP, HTTPS, SSH, FTP, 데이터베이스 등 모든 응용 프로그램이 데이터를 주고받기 시작합니다.

즉,

TCP Handshake가 실패하면 애플리케이션은 시작조차 하지 못합니다.

Wireshark에서 가장 많이 발견되는 6가지 연결 실패 패턴

① SYN만 반복 전송된다

서버가 응답하지 않습니다.

가능한 원인

* 서버 다운

* 네트워크 단절

* 라우팅 오류

* 방화벽 차단

* 해당 포트 서비스 미실행

② SYN 이후 즉시 RST 응답

서버에는 도달했지만

해당 포트에서 서비스를 실행하지 않습니다.

대표 사례

* 웹 서버(Apache/Nginx) 미실행

* SSH 비활성화

* 잘못된 포트 접속

③ ICMP Destination Unreachable

방화벽이나 ACL 정책이 연결 자체를 차단합니다.

대표 사례

* Firewall 정책 차단

* Router ACL

* Security Group 설정 오류

* Port 차단 정책

④ SYN-ACK를 받았지만 ACK가 전송되지 않음

서버는 정상 응답했지만

클라이언트가 마지막 ACK를 보내지 못합니다.

대표 원인

* 비대칭 라우팅(Asymmetric Routing)

* 클라이언트 방화벽

* NAT 오류

* 네트워크 경로 문제

⑤ Sequence Number 불일치

TCP 순서 번호가 맞지 않습니다.

대표 원인

* Load Balancer

* Proxy

* NAT 장비

* Middlebox

* 패킷 변조

이 경우 Wireshark에서는

* TCP Out-of-Order

* Previous Segment Not Captured

등의 메시지가 함께 나타나는 경우가 많습니다.

⑥ Handshake는 성공했지만 즉시 RST 발생

TCP 연결은 정상적으로 완료되었지만

애플리케이션 계층에서 연결을 거부합니다.

대표 사례

* TLS Handshake 실패

* SSL 인증서 문제

* TLS 버전 불일치

* 애플리케이션 정책 거부

* 인증(Authentication) 실패

RTT(Response Time)도 중요한 진단 정보입니다.

Handshake의 시간만 봐도 문제를 추정할 수 있습니다.

SYN → SYN-ACK 시간이 길다

→ 서버 과부하

→ 네트워크 지연

→ 라우팅 문제

사내 서버인데

RTT가 200ms 이상 나온다면

라우팅이나 서버 상태를 먼저 의심해야 합니다.

반대로

해외 서버인데

RTT가 2~3ms밖에 나오지 않는다면

프록시, CDN, 캐시 서버를 거쳐 응답하는 상황일 가능성이 높습니다.

Wireshark는 “왜 연결되지 않는가”를 보여주는 도구입니다.

네트워크 장애의 대부분은

패킷 안에 이미 답이 들어 있습니다.

단순히 “접속이 안 된다”가 아니라

어디에서

왜

어떤 장비 때문에

어느 단계에서

연결이 끊어졌는지를 객관적인 패킷 분석으로 확인할 수 있습니다.

Wireshark를 제대로 활용하면 장애 분석 시간은 크게 단축되고, 보다 정확한 원인 분석과 신속한 복구가 가능합니다.

핵심 포인트

TCP는 반드시 SYN → SYN-ACK → ACK 순서로 연결을 생성합니다.

Handshake 단계만 분석해도 네트워크 장애 원인의 상당수를 진단할 수 있습니다.

RST, ICMP, 재전송(Retransmission), Sequence Number를 확인하면 문제의 위치를 빠르게 좁힐 수 있습니다.

Wireshark는 단순한 패킷 캡처 도구가 아니라 네트워크 포렌식(Network Forensics)과 장애 분석(Troubleshooting)의 핵심 도구입니다.

By Mark | ISO/IEC 27001·27701·42001 Lead Auditor · Network Security · Wireshark Analysis

— 이춘곤(Mark) · ISC.studio · ISC출판 도서 안내

이 글은 저자의 Facebook에 처음 게시한 글입니다. Facebook 원문 보기