7. 프록시와 안정적인 트래픽

포워드 프록시 vs 리버스 프록시

클라이언트와 서버 사이에는 다양한 중간서버와 네트워크 장비들이 존재한다. 중간서버의 유형으로는 포워드 프록시(프록시), 리버스 프록시(게이트웨이)가 존재한다.

포워드는 일반적으로 앞을 의미하는데, 이것은 인터넷의 앞단에 있다는 뜻이다. 프록시 서버는 주로 캐시 저장, 클라이언트 암호화 및 접근제한과 같은 역할을 하기 때문에 클라이언트의 요청이 인터넷으로 나아가기 전 프록시 서버를 거쳐서 간다. 만약 캐싱되어 있는 내용이라면 인터넷을 거쳐 오리진 서버가 있는 곳까지 갈 필요가 없기 때문이다.

리버스 프록시, 즉 게이트웨이는 인터넷을 거쳐서 온 클라이언트의 요청들이 오리진서버에 도달하기 전 거쳐가는 곳이다. 이러한 게이트웨이는 캐시 저장을 할 수도 있고 로드 밸런서(부하 분산)로 사용되기도 한다.

가용성

시스템이 주어진 기능을 수행할 수 있는 비율을 가용성이라고 한다. 만일 부하가 몰리거나, 소프트웨어상의 오류 등으로 인해 시스템을 사용할 수 없는 시간이 길어진다면 가용성은 낮아질 것이다. 일반적으로 안정적인 시스템이라고 하는 것은 가용성이 높다는 말과 같다.

시스템이 정상적으로 운영되지 않는 시간을 다운타임이라고 하는데, 다운타임의 원인은 너무 다양하기 때문에 완벽히 차단할 수는 없다. 그래서 일반적으로 다운타임을 낮춘다는 것은 문제가 발생하더라도 기능할 수 있도록(결함 감내, fault tolerance)하는 것이다. 보통 서버를 다중화 하고, 문제가 생겼을 때 예비된 시스템으로 자동전환 되도록 한다. 이를 페일 오버라고 한다.

이렇게 서버를 다중화했을 때 문제를 감지하는 방법은 크게 2가지가 있다.

1. 헬스 체크
   로드밸런서가 주로 수행한다. HTTP나 ICMP등의 프로토콜을 이용해 서버에 주기적으로 헬스체크 메시지를 보내 응답이 오는지를 확인한다.
2. 하트 비트
   서버 간 주기적으로 하트비트 메시지를 주고받고, 메시지가 끊기면 문제가 발생했다고 간주한다.

로드 밸런싱

앞서 리버스 프록시가 로드 밸런서로도 사용될 수 있다고 했다. 로드 밸런싱은 서버에 트래픽을 고르게 분배하는 것을 말한다. L4스위치, L7스위치라고 불리는 네트워크 장비로 수행하기도 하고, HAProxy, Envoy와 같은 소프트웨어를 깔아서 일반 호스트를 로드밸런서로 사용할 수도 있다. 웹 서버 소프트웨어인 Nginx에도 로드 밸런싱 기능이 있다.

로드 밸런싱은 라운드로빈, 최소 연결, 해시 등 여러 방법에 따라 진행된다. 하지만 모든 서버의 성능이 동일하지 않을 수 있기 때문에 로드 밸런싱 알고리즘에는 가중치가 부여될 수 있다.