SoftEther VPN의 정의와 그 중요성

SoftEther(또는 Software Ethernet) VPN은 일본 쓰쿠바 대학교에서 개발한 무료 오픈 소스 VPN 소프트웨어 제품으로, 유연성과 보안성 측면에서 높은 평가를 받아왔습니다.

이 글에서는 SoftEther VPN 사용법과 장단점을 확인하고, OpenVPN 및 WireGuard와 같은 익숙한 옵션들과의 비교를 통해 SoftEther가 적합한 VPN 솔루션인지 결정하는 데 도움을 드리고자 합니다.

SoftEther VPN 프로토콜은 어떻게 작동하나요?

SoftEther는 표준 HTTPS 트래픽과 마찬가지로 TCP 443 포트를 통해 SSL/TLS 암호화를 사용하는 고유한 자체 프로토콜을 보유하고 있어, 안전한 VPN 연결을 구축합니다.

전용 포트에 의존하는 대부분의 VPN 프로토콜과 달리, SoftEther는 일반 웹 트래픽과 자연스럽게 조화를 이루어 감지나 차단을 어렵게 합니다.

또한 자체 프로토콜 외에도 OpenVPN, L2TP/IPsec, Microsoft SSTP 등 여러 다른 VPN 프로토콜을 지원하여 다양한 사용 조건을 충족합니다.

SoftEther VPN의 주요 기능 및 장점

SoftEther VPN의 주요 기능과 장점을 확인해 보세요.

높은 수준의 보안

SoftEther VPN은 널리 신뢰받는 256비트 AES 암호화를 사용하여 강력한 보호를 제공하는데, 이는 데이터를 복잡하게 뒤섞기 때문에 제3자가 가로채더라도 내용을 확인할 수 없습니다. 이 프로토콜은 128비트 AES 외에도, 현재는 구식으로 간주되어 보안에 취약한 세 가지 추가 암호화 알고리즘인 128비트 RC4, 56비트 DES, 트리플 DES를 지원합니다.

또한 RSA 인증서 및 RADIUS/NT 도메인 인증과 같은 다양한 사용자 검증 방법을 제공하여 권한이 있는 사용자만 VPN에 접속하게 합니다. 패킷 필터링 및 설정 가능한 보안 정책과 같은 조치는 무단 접속과 중간자 공격 등의 침입을 방지하여 네트워크 전반에서 트래픽의 보안을 보장합니다.

운영 체제 전반에 걸친 호환성

SoftEther VPN은 여러 운영 체제를 지원합니다. 클라이언트, 브릿지, 서버 소프트웨어는 Windows 및 Linux와 호환되며, 브릿지 및 서버 소프트웨어는 macOS, FreeBSD, Solaris에도 작동합니다.

Android 및 iOS 기기는 L2TP/IPsec과 같이 지원되는 프로토콜을 사용하여 SoftEther VPN 서버에 연결할 수 있습니다.

성능 및 속도 벤치마크

SoftEther VPN은 최소한의 리소스를 소모하여 빠른 속도를 제공하도록 설계되었습니다. 이 프로토콜은 병렬 전송 메커니즘으로 여러 SSL VPN 터널이 동시에 작동할 수 있게 하며, 특히 느리거나 혼잡한 네트워크의 처리량을 향상합니다.

더불어, 서비스 품질(QoS)을 지원하여 VoIP 트래픽과 같이 중요도가 높은 패킷을 우선시함으로써 일관된 성능을 보장합니다.

오픈 소스의 유연성 및 커뮤니티 지원

SoftEther VPN은 오픈 소스 프로젝트이기 때문에 누구나 코드를 검토하고 보안 취약점을 찾아내, 개선 사항을 제안할 수 있습니다. (이는 SoftEther만의 고유한 특징은 아니며, ExpressVPN의 독점 프로토콜인 Lightway, WireGuard, OpenVPN 역시 오픈 소스 프로토콜에 해당합니다.)

이러한 투명성 덕분에 전 세계의 사용자와 개발자들이 SoftEther 개발에 참여할 수 있으며, 소프트웨어의 신뢰성과 보안이 유지되는 것입니다.

SoftEther VPN의 단점 및 한계

SoftEther VPN은 많은 장점을 가지고 있지만, 반드시 알아두어야 할 몇 가지 중요한 단점 역시 존재합니다.

제한적인 VPN 업체 지원

SoftEther VPN 프로토콜을 지원하는 상용 VPN 서비스 업체는 극소수입니다. 즉, 이 프로토콜을 사용하면 선택할 수 있는 옵션이 현저히 줄어듭니다. 만약 이러한 옵션 중 적절한 것이 없으며 자원봉사자가 운영하는 서버를 사용하고 싶지는 않다면, 직접 VPN 서버를 구축하고 호스팅해야 할 수도 있습니다. 여기에는 서버 비용, 유지 관리, 안정적인 업타임 확보 등, 추가적인 책임이 더해집니다. 더 널리 지원되는 프로토콜을 사용하면 서비스 제공업체가 이 모든 과정을 대신 처리해 주므로 VPN 설정이 훨씬 빠르고 간편해집니다.

주류 프로토콜에 비해 적은 감사 횟수

보안 감사란 전문가들이 프로토콜의 코드와 동작을 분석하여 취약점을 점검하고 방어 체계를 테스트하며, 의도대로 작동하는지 확인하는 독립적인 검토 과정입니다. 잠재적인 취약점을 드러낼 수 있으므로, VPN 프로토콜에 대한 신뢰 구축 시 정기적인 감사가 매우 중요합니다.

SoftEther는 2017년 말에 단 한 번의 주요 감사를 거쳤으며, 당시 발견된 취약점은 이후 패치되었으나 그 이후로 후속 감사는 이루어지지 않았습니다. 즉, 더 광범위한 감사를 받은 프로토콜들에 비해 SoftEther의 장기적인 보안 신뢰성은 다소 떨어집니다. 예를 들어 Lightway 프로토콜은 2021년 이후 네 차례의 독립 감사를 통과했으며, 가장 최근 감사는 2024년 10월에 진행되었습니다.

복잡한 수동 설정

SoftEther VPN의 또 다른 단점은 추가 구성 요소를 설치하고 수동 설정을 진행해야 한다는 것입니다. 이는 특히 기술적 전문 지식이 없는 사용자에게는 어려울 수 있으며 시간이 많이 소요됩니다.

반면 상용 VPN은 훨씬 사용하기 쉽습니다. 일반적으로 공식 웹사이트에서 원하는 VPN 앱을 다운로드하여 설치하고, 클라이언트를 실행한 뒤 연결 버튼을 클릭하기만 하면 되며, 이 모든 과정은 대개 약 5분 만에 완료됩니다.

양자 내성 보호 미제공

SoftEther VPN은 양자 내성 보호를 제공하지 않습니다. 즉, 충분히 강력한 양자 컴퓨터가 등장하면 암호화 알고리즘을 해독하여 데이터를 노출시킬 수 있습니다. 그러한 컴퓨터는 아직 존재하지 않지만, 이르면 향후 10년에서 15년 내에 등장할 가능성이 있습니다.

나아가 이러한 기계가 존재하기 전이라도, 공격자가 현재의 암호화된 트래픽을 기록해 두었다가 향후 기술적으로 가능해졌을 때 해독하는, ‘지금 수집하고 나중에 해독(harvest now, decrypt later)’ 전술에 데이터가 노출될 수 있습니다. 수년간 기밀을 유지해야 하는 데이터의 경우, 이러한 노출은 실질적인 위험이 됩니다. (이와 대조적으로 ExpressVPN 등의 일부 VPN은 프로토콜에 양자 내성 보호 기능을 통합하여 이러한 신흥 위협에 대응하기 시작했습니다.)

공식 기술 지원 미제공

SoftEther VPN은 웹사이트를 통해 방대한 문서와 단계별 튜토리얼을 제공하지만, 별도의 공식 지원은 없습니다. 각 사용자가 해결책을 공유하고, 때때로 프로젝트 구성원이 이에 응답하는 커뮤니티 포럼을 통해서만 지원을 받을 수 있습니다. 따라서 SoftEther는 스스로 문제를 해결할 수 있는 숙련된 사용자에게 더 적합합니다. 반대로 많은 상용 VPN은 24시간 연중무휴 라이브 채팅을 제공하므로 문제가 발생할 때마다 즉각적인 도움을 받을 수 있습니다.

SoftEther VPN 설치 및 설정 방법

SoftEther VPN은 상용 VPN 서비스처럼 미리 호스팅된 서버를 제공하지 않습니다. 이를 이용하려면 직접 VPN 서버를 구축하거나, SoftEther VPN 소프트웨어에서 실행되는 무료 공개 VPN 서버 네트워크인 VPN Gate에 연결해야 합니다. VPN Gate는 SoftEther를 개발한 쓰쿠바 대학교의 연구 프로젝트의 일환으로 제작되었으며, 누구나 전 세계 자원봉사자가 호스팅하는 SoftEther 서버에 접속할 수 있게 해줍니다.

아래에서는 시스템 요건, 설치, 기본 설정, 방화벽 활성화와 같은 선택적 보안 설정을 포함하여, SoftEther VPN을 사용하기 위한 주요 절차를 다루겠습니다.

SoftEther 및 시스템의 필수 요건

SoftEther VPN을 통해 VPN Gate 공공 서버에 연결하기 위한 필수 및 시스템 요건은 많지 않습니다. 안정적인 인터넷 연결이 가능한 Windows, macOS, iOS 또는 Android 기기만 있으면 됩니다.

Windows 사용자는 SoftEther VPN 클라이언트를 사용하여 원클릭으로 연결할 수 있는 반면, macOS, iOS 및 Android 사용자는 운영 체제에 내장된 L2TP/IPsec 클라이언트나 타사 OpenVPN 클라이언트를 통해 수동으로 연결을 설정해야 합니다.

직접 VPN 서버를 구축하기 위해서는 다음의 준비물이 필요합니다.

• 서버 역할을 할 호환 기기. SoftEther VPN은 서버 설치에 Windows, Linux, FreeBSD, Solaris를 지원하지만, 가장 권장하는 것은 Ubuntu 환경입니다.
• Linux 운영 체제에 VPN 서버를 설치하는 데 필요한 소프트웨어 및 라이브러리.
• 클라이언트(기기)의 연결을 보장하는 안정적인 인터넷 네트워크와 공공 라우팅이 가능한 IPv4 또는 IPv6 주소.
• 서버 소프트웨어를 설치하고 설정하기 위한 관리자 권한.
• 예상 클라이언트 수를 처리할 수 있는 충분한 CPU 및 RAM.
• 로그 및 설정 파일을 위한 /var/ 파티션의 최소 10GB 여유 공간.
• 원격 관리를 위한 SSH 액세스.
• 사용자 계정과 보안 옵션 설정 및 방화벽에서 VPN 트래픽에 필요한 포트 개방하기.

단계별 설치 가이드

Windows 기기에서 VPN Gate 서버에 연결하거나 Linux 기기에서 SoftEther를 자체 호스팅 VPN 솔루션으로 사용하려면 다음 SoftEther VPN 설정 가이드를 참고하세요.

VPN Gate에 연결하기(Windows)

1. VPN Gate 웹사이트를 방문하여 VPN Gate 클라이언트 플러그인이 포함된 SoftEther VPN 클라이언트를 다운로드합니다.
   
2. ZIP 파일의 압축을 풀고 vpngate-client-로 시작하는 설치 프로그램을 실행합니다.
   
3. 설치 마법사가 제공하는 화면의 지침을 따릅니다. 설치할 소프트웨어 구성 요소를 선택하라는 메시지가 나타나면 SoftEther VPN Client를 선택합니다.
   
4. SoftEther VPN 클라이언트 매니저에서 VPN Gate Public VPN Relay Servers (VPN Gate 공공 VPN 릴레이 서버)를 더블 클릭합니다.
   
5. 현재 사용 가능한 서버 목록이 나타날 것입니다. 목록에서 서버 하나를 선택하고 Connect to the VPN Server (VPN 서버에 연결)를 클릭합니다.
   
6. 선택한 서버가 TCP와 UDP 프로토콜을 모두 지원하는 경우, 둘 중 하나를 선택하라는 메시지가 표시될 것입니다. 두 프로토콜의 차이점을 잘 모르겠다면 TCP를 선택하세요. 모두 완료되었습니다! 이제 기기가 VPN 서버에 연결되었습니다.

SoftEther VPN 자체 호스팅하기(Linux)

1. 공식 사이트에서 최신 SoftEther VPN 서버 패키지를 다운로드하고 압축을 푼 뒤, 추출된 vpnserver 디렉터리로 이동합니다.

tar xzvf softether-vpnserver-*.tar.gz
cd vpnserver

2. make 명령어를 실행하여 서버 소프트웨어를 컴파일합니다. 이후 터미널의 안내를 따르세요. 컴파일이 완료되면 시스템 전체에서 사용할 수 있도록 vpnserver 디렉터리를 /usr/local로 옮기고 해당 위치로 이동합니다.

make
sudo mv vpnserver /usr/local/
cd /usr/local/vpnserver

3. 실행 파일 및 지원 파일에 적절한 권한을 설정하여 서버 파일을 보호합니다.

sudo chmod 600 *
sudo chmod 700 vpnserver
sudo chmod 700 vpncmd

4. 백그라운드에서 VPN 서버를 실행하고 올바르게 작동하는지 확인합니다.

sudo ./vpnserver start
sudo ./vpnserver status

5. 명령줄 관리 도구에 접속하여 관리자 비밀번호를 설정하고 서버 설정을 준비합니다. 도구를 실행하고 서버 관리를 위해 옵션 1을 선택합니다. 마지막으로 안내에 따라 안전한 관리자 비밀번호를 생성합니다.

sudo ./vpncmd

초보자를 위한 설정 가이드

SoftEther VPN 서버를 설치 및 실행한 후에는 사용을 위해 설정을 진행해야 합니다. 먼저 명령줄 관리 도구에 접속합니다.

./vpncmd

VPN 서버 관리를 위해 옵션 1을 선택하고 설치 중 설정한 관리자 비밀번호를 입력합니다.

첫 번째 설정 작업은 Virtual Hub(가상 허브)를 생성하는 것입니다. Virtual Hub는 사용자가 연결할 논리적인 VPN 네트워크의 역할을 합니다. HubCreate 명령어를 사용하고 안내에 따라 허브 이름과 보안용 비밀번호를 설정합니다.

HubCreate MyHub

다음으로, 새로 생성한 허브를 활성화합니다.

Hub MyHub

이제 VPN에 연결할 클라이언트를 위한 사용자 계정을 추가할 수 있습니다. 각 사용자에게는 유저 네임과 비밀번호가 필요합니다. 다음 명령어로 사용자를 생성하세요.

UserCreate username

그런 다음 해당 사용자에게 비밀번호를 할당합니다.

UserPasswordSet username

서버를 원격으로 관리하는 경우, 관리 기능을 활성화하고 vpncmd에서 리스닝 포트를 설정하세요. 방화벽이 해당 포트에 대한 연결을 허용하는지 확인해야 합니다. 초보자의 경우 기본 사항을 배우는 동안에는 기본 포트를 유지하는 것으로 충분합니다.

마지막으로 허브가 활성화되어 있고 사용자가 올바르게 설정되었는지 확인합니다. vpncmd를 통해 허브를 시작 또는 중지하고, 연결 상태를 확인하며, 로그를 모니터링할 수 있습니다. 이제 클라이언트는 설정된 허브 이름, 유저 네임 및 비밀번호를 통해, SoftEther VPN 클라이언트 소프트웨어를 이용하여 서버에 연결할 준비가 되었습니다.

보안을 위해 방화벽 활성화하기

SoftEther VPN 서버를 자체 호스팅하는 경우, 무허가 액세스로부터 네트워크를 보호하기 위해 반드시 방화벽을 설정해야 합니다. 먼저 인바운드 트래픽을 VPN 프로토콜에 필요한 포트로 제한하는 작업부터 시작해 보세요. SoftEther의 경우, 이는 일반적으로 TCP 443 포트를 허용함을 의미합니다. 만약 L2TP/IPsec과 같은 다른 프로토콜을 사용한다면 해당 포트들이 열려 있는지 확인해야 합니다. 잠재적인 공격 경로를 최소화하기 위해 다른 모든 포트는 차단하는 것이 좋습니다.

또한 무차별 대입 공격에 대비한 속도 제한과 의심스러운 활동을 모니터링하기 위한 로깅도 권장합니다. 이러한 조치들은 잠재적인 보안 위협을 즉각적으로 감지하고 대응하는 능력을 향상시킵니다.

SoftEther VPN vs 기타 프로토콜

다음은 SoftEther VPN 프로토콜과 가장 널리 사용되는 대안책들 사이의 주요 차이점입니다.

SoftEther VPN vs OpenVPN

SoftEther는 더욱 빠른 속도와 처리량을 자랑합니다. 하지만 OpenVPN의 경우 UDP와 TCP 중에서 선택이 가능해 보다 유연합니다. 빠른 속도를 위해 UDP를 선택하거나, 까다로운 네트워크 환경에서 한층 안정적인 성능을 위해 TCP를 선택할 수 있습니다.

OpenVPN의 또 다른 주요 장점은 성숙도(maturity)와 광범위한 채택(adoption)으로, 이는 해당 프로토콜이 실제 환경에서 광범위하게 테스트되었음을 의미합니다. 또한 더 큰 커뮤니티를 보유하고 있어 프로토콜 개선과 보안 검토가 지속적으로 이루어지고 있습니다. 이 모든 요소는 OpenVPN의 장기적인 보안에 대한 신뢰를 높여줍니다.

SoftEther vs WireGuard

SoftEther, OpenVPN, Lightway와 마찬가지로 WireGuard 역시, 오픈 소스 프로토콜입니다. 하지만 SoftEther보다 코드베이스가 훨씬 가볍습니다. 덕분에 감사가 더 쉽고 리소스를 적게 소모하며 취약점에 노출될 가능성도 적습니다. 더불어 WireGuard는 더 널리 채택되었으며 보다 광범위한 테스트와 검토를 거쳤습니다.

SoftEther vs IKEv2/IPSec

IKEv2/IPsec은 잘 알려진 포트 및 프로토콜(500, 4500, ESP)에 의존하므로 방화벽에 의해 차단될 가능성이 더 높습니다. 하지만 네트워크를 전환할 때는 일반적으로 SoftEther보다 안정적이어서, 와이파이와 셀룰러 연결 사이를 빈번하게 전환하는 모바일 사용자에게 적합합니다.

SoftEther vs PPTP

PPTP는 더 이상 보안이 보장되지 않는 구식 VPN 프로토콜입니다. 게다가 속도가 느리고 소스가 공개되어 있지 않습니다.

SoftEther vs L2TP/IPSec

훌륭히 구성된 L2TP 설정은 기본 SoftEther VPN 설정만큼 안전할 수 있지만, 실제 보안은 실행 세부 사항과 UDP 캡슐화 및 전달 비밀성(forward secrecy) 등의 기능을 위해 선택된 암호화 제품군에 따라 달라집니다. 참고로 SoftEther는 이 두 가지를 기본 제공합니다. L2TP/IPSec은 또한, 속도가 더 느리고 방화벽에 의해 차단될 가능성이 높습니다. 많은 주요 VPN 서비스 업체들이 이에 대한 지원을 중단했으며, 2024년에는 Microsoft 역시 지원을 종료했습니다.

SoftEther vs SSTP

SSTP는 HTTPS 및 SoftEther와 동일한 443 포트를 사용하는 보안 VPN 프로토콜입니다. 하지만 SoftEther와 마찬가지로 상용 VPN 서비스 제공업체들 사이에서 인기가 없으며, SoftEther와 달리 Windows 기기에서만 사용 가능합니다. 또한 소스가 공개되어 있지 않고 Microsoft가 소유하고 있기 때문에, 신뢰도가 그만큼 높지 않습니다.

SoftEther vs Lightway

ExpressVPN의 독점 VPN 프로토콜인 Lightway는 한층 간결한 코드베이스를 갖추고 있으며, 여러 차례 독립 감사를 거쳤고, SoftEther와 달리 양자 내성 보호 기능을 포함하고 있습니다.

또한 TCP와 UDP 중에서 선택 가능하여 추가적인 유연성을 제공하고, 네트워크 변경을 매끄럽게 처리하며, SoftEther처럼 443 포트를 통해 작동하여 VPN 트래픽을 HTTPS 트래픽으로 위장합니다.

게다가 Lightway는 상용 VPN 앱에 내장된 지원 덕분에 설정과 사용이 훨씬 쉬우며, 더 많은 기능과 서버 위치에 대한 액세스를 제공합니다.

하지만 SoftEther와 달리 Lightway는 ExpressVPN 사용자만 이용할 수 있는 독점 프로토콜입니다.

SoftEther가 적합한 VPN 솔루션일까요?

SoftEther VPN은 다양하게 활용할 수 있는 강력한 VPN 소프트웨어 제품으로, 우수한 보안, 인상적인 속도, 방화벽 및 네트워크 제한을 우회하는 성능으로 잘 알려져 있습니다. 다중 플랫폼 호환성과 오픈 소스라는 특성은 기술에 정통한 사용자, VPN 매니아, 그리고 자체 호스팅이나 고유 VPN 인프라 관리를 선호하는 조직에 특히 매력적입니다.

하지만 OpenVPN, WireGuard 또는 Lightway와 같이 더 널리 채택된 프로토콜에 비하면 여전히 대중적이지 않은 틈새 옵션으로 여겨집니다. 더불어 감사 횟수가 적고 상용 지원이 부족하며, 설치 및 설정이 훨씬 복잡합니다.

SoftEther는 VPN 설정을 직접 관리하는 데 익숙한 사용자에게 가장 적합합니다. 광범위한 지원과 검증된 신뢰성을 갖춘, 즉시 사용 가능한 솔루션을 찾는 일반 소비자나 기업에게는 보다 대중적인 프로토콜을 권장합니다.

요컨대, SoftEther VPN은 그 고유한 기능이 빛을 발하는 특수한 시나리오에서는 뛰어나지만, 대부분의 일반적인 VPN 사용자에게 기본 선택지가 되지는 못합니다.