Azure+AWS 멀티클라우드로 데이터 레이크 구축

멀티클라우드(Multi Cloud)는 여러 클라우드 서비스 제공업체의 인프라와 서비스를 동시에 사용하여 IT 인프라, 애플리케이션, 서비스를 구축하고 관리하는 전략입니다. Azure와 AWS를 같이 쓰거나 Azure를 여러 개 쓰는 것도 멀티클라우드입니다.

멀티클라우드의 정확한 정의와 개념

멀티클라우드란 무엇인가?

멀티클라우드는 두 개 이상의 퍼블릭 클라우드 플랫폼(AWS, Azure, Google Cloud 등)을 동시에 활용하는 IT 환경을 의미합니다. 기업에서 IT 솔루션이나 워크로드를 운영하기 위해 최소 두 개 이상의 클라우드 서비스 제공업체를 동시에 사용하는 경우, 해당 고객은 멀티클라우드 환경을 사용하는 것으로 간주됩니다.

예를 들어 기업이 A사를 컴퓨팅 및 스토리지 서비스를 위해 사용하면서, 동시에 B사의 머신러닝 및 데이터 분석 기능을 활용하고, C사를 개발 및 테스트 환경에 적용하는 전략을 가진 때 멀티클라우드 용어가 사용됩니다.

멀티클라우드 vs 하이브리드 클라우드 차이

구분	멀티클라우드	하이브리드 클라우드
정의	여러 독립적인 퍼블릭 클라우드 서비스 조합	퍼블릭 클라우드와 프라이빗 클라우드 연결
구성	여러 CSP 간 병렬 사용	퍼블릭 + 프라이빗 통합
통합	공통 관리 계층으로 연결	단일 제공업체 서비스로 관리 가능

멀티클라우드 도입 현황

현재 대부분의 기업들이 이미 멀티 클라우드 환경을 사용하고 있습니다. 기업들은 특정 워크로드에 최적화된 서비스를 선택하기 위해 평균 2-3 개의 클라우드 제공업체와 협력하며, 이는 디지털 전환의 필수 요소로 자리잡고 있습니다.

2024 년 4 분기 기준 글로벌 클라우드 시장 점유율은 AWS 가 약 30%로 1 위, Microsoft Azure 가 약 21%로 2 위입니다.

멀티클라우드의 5 가지 핵심 장점

1. 비용 효율성 최적화

여러 클라우드 제공자의 서비스를 사용하여 가격과 성능 측면에서 최적의 솔루션을 선택할 수 있습니다. 각 클라우드 제공업체는 서로 다른 가격 모델을 제공하므로, 기업은 특정 워크로드에 가장 경제적인 옵션을 선택할 수 있습니다.

실무 적용 사례

On-Demand 워크로드에는 예약 인스턴스나 Savings Plans을 추천해 비용 효율성을 높임
시뮬레이션 기능을 통해 절감 효과를 수치로 검증
불필요한 자원 제거 및 사용량 모니터링으로 비용 절감

2. 안정성과 가용성 향상

여러 클라우드 제공자를 사용하면 특정 클라우드 제공자의 장애가 전체 시스템에 영향을 미치지 않게 하여 안정성을 높일 수 있습니다. 이는 리스크 분산과 높은 가용성을 보장하며, 장애 시 복구 시간을 단축할 수 있습니다.

기술적 이점

단일 장애점을 제거
99.9% 이상의 높은 가용성 달성
재해 복구 및 백업 솔루션 구축으로 회사 연속성 보장

3. 벤더 종속성 감소

여러 클라우드 제공자를 사용하면 특정 클라우드 제공자에 대한 의존성을 줄이고, 리스크를 분산시킬 수 있습니다. 이를 통해 기업은 서비스 제공자 간 전환을 원활하게 수행하고, 더 나은 서비스 조건을 협상할 수 있습니다.

비즈니스 가치

벤더 종속 계약 없이 클라우드 서비스 자유롭게 선택
시장 변화에 빠르게 대응하며 경쟁력 유지
특정 클라우드 서비스 업체의 장애나 정책 변경에도 대응 가능

4. 확장과 축소에 대한 유연성

다양한 클라우드 서비스를 사용하면 벤더 종속성을 줄여주어 조직의 요구에 맞게 서비스를 확장하거나 축소하는 데 유연성을 제공합니다

실무 이점

각각의 클라우드 강점 활용하여 맞춤화 가능
데이터 위치에 따라 적절한 클라우드 서비스 선택
국가별 데이터 주권 법규 준수 가능

5. 최적의 커스터마이징 가능

각 클라우드 제공자들은 특정 분야에서의 전문성과 기능을 갖추고 있기 때문에 기업은 각 클라우드 제공자의 강점을 활용하여 필요한 서비스와 기능을 맞춤화할 수 있습니다.

AWS vs Azure 강점 비교

항목	AWS 강점	Azure 강점
서비스 다양성	서비스 다양성 풍부	Microsoft 제품군 연동 강력
생태계	글로벌 커뮤니티 및 생태계 활발	하이브리드 클라우드 지원 탁월
성능	고성능 인프라	기업용 보안 솔루션과 통합 용이
보안	Nitro 가상화, VPC 격리	Defender, Key Vault, AD 통합

멀티클라우드 도입 시 4 가지 주요 단점과 위험

1. 관리와 통합 복잡도 증가

여러 클라우드 제공자를 사용하면 시스템 관리와 통합이 복잡해져 보안 강화에 대한 시간과 노력이 필요할 수 있습니다. 각 클라우드 플랫폼별 특성과 기술이 다르기 때문에 각각의 관리 도구와 인터페이스에 익숙해져야 하며, 다양한 플랫폼 간 상호 운용성을 고려해야 합니다.

구체적인 문제점

각 제공업체는 고유한 API, 대시보드, 자동화 도구 제공
통합 관리 플랫폼 도입이 필수적
환경 분산은 가시성을 제한하고, 워크로드 최적화와 문제 해결을 복잡하게 만듦
플랫폼 간 표준화 부족은 비효율성과 운영 병목 현상 초래

2. 관리 비용 상승

멀티클라우드 전략을 효과적으로 관리하고 실행하려면 기업 내부의 전문가가 다양한 클라우드 플랫폼에 대한 지식을 갖추고 전문적인 지식과 기술을 갖춘 인력, 자원 및 도구가 필요할 수 있습니다.

비용 증가 요소

추가적인 교육 및 인력 투자 필요
비용 증가 시 전반적인 비용 효율성 영향
플랫폼 간 중복 도구와 불필요한 프로세스는 비용을 더욱 증가
예산 초과와 비효율적인 리소스 활용으로 이어질 수 있음

3. 보안 고려사항 증가

여러 클라우드 서비스 제공자를 사용하면 데이터 및 애플리케이션의 보안에 대한 과제가 증가합니다. 각 제공자의 보안 프로토콜 및 규정 준수를 확인하고, 서로 다른 클라우드 환경에서의 데이터 보호를 관리해야 합니다.

보안 위협

중앙 집중식 관리 어려움
엔드포인트와 데이터 전송 지점 늘어나 공격 표면 확대
일관된 보안 정책 유지와 각 환경별 접근 권한 통합 관리 중요
각 클라우드 제공업체는 고유한 보안 도구, 인터페이스, 액세스 제어 메커니즘 보유

4. 데이터 통합 및 호환성 문제

멀티클라우드 환경에서 데이터를 한 클라우드 제공자에서 다른 클라우드 제공자로 이전하는 경우에, 호환성이 떨어지거나 통합이 어려운 경우가 있습니다.

주요 고려사항

데이터 이동 시 발생하는 네트워크 비용
서로 다른 API 및 데이터 형식 간 호환성
실시간 데이터 동기화의 복잡성
API, 구성, 인증 방식이 제공업체마다 달라 서비스 동기화 어려움
여러 게이트웨이와 자격 증명을 관리해야 함

멀티클라우드 인프라 아키텍처 설계 전략

3 계층 멀티클라우드 아키텍처 구조

멀티클라우드 설계의 범위와 잠재적인 난관을 고려하면 멀티클라우드의 주요 구성 요소를 세 가지 계층으로 나눌 수 있습니다:

네트워크 계층: 클라우드 간 연결 및 트래픽 라우팅
데이터 계층: 데이터 스토리지, 동기화, 거버넌스
관리 계층: 통합 모니터링, 오케스트레이션, 자동화

단계적 접근 방식

단일 클라우드에서 시작하여 점진적으로 확장하는 것이 바람직합니다. 먼저 핵심 워크로드를 안정화한 후, 추가적인 클라우드 서비스를 통합하는 방식으로 접근하면 리스크를 최소화할 수 있습니다.

도입 6 단계 프로세스

단계	활동	상세 내용
1	목표 및 요건 설정	워크로드, 성과, 컴플라이언스 및 비용 요건 결정
2	클라우드 공급자 선택	강점, 제공 서비스, 수요 호환성 평가
3	아키텍처 설계	리소스 할당, 네트워크 구조, 클라우드 연결 계획
4	보안 및 컴플라이언스	클라우드 플랫폼 보안 정책과 컴플라이언스 통합
5	관리 및 오케스트레이션	CMP 및 자동화 도구 구현
6	지속 모니터링	성과와 비용 모니터링, 리소스 최적화, 재해 복구 구축

Azure와 AWS 멀티클라우드 네트워크 설계

Site-to-S ate VPN 연결 구성

Azure VNet과 AWS VPC를 멀티클라우드 환경으로 연결하는 가장 일반적인 방법은 Site-to-Site VPN입니다.

구성 순서

Azure - Virtual Network Gateway 생성
- 가상 네트워크 게이트웨이 생성
- 공용 IP 확인
AWS - Customer Gateway 생성
- Azure Virtual Network Gateway의 공용 IP 이용
- 게이트웨이 유형: VPN
- VPN 형식: 경로 기반
AWS - Virtual Gateway 또는 Transit Gateway 생성
AWS - Site to Site VPN 생성
Azure - Local Network Gateway 생성 (x2)
Azure - Virtual Network Gateway Connection 생성 (x2)

네트워크 준비 상세

1. Azure VNet과 AWS VPC 생성
2. 서로 다른 IP 대역으로 구성
3. Azure Virtual WAN 환경에서 Virtual Hub 생성
4. AWS VPN 공인 IP와 VPC CIDR 기반 Local Network Gateway 생성
5. AWS 가상 프라이빗 게이트웨이 생성 및 VPC 연결
6. Azure VPN Gateway 공인 IP와 ASN으로 Customer Gateway 구성
7. Virtual Hub에서 Site-to-Site 연결 생성
8. BGP 설정 완료

Azure Virtual WAN 활용

Virtual WAN은 Layer 3 에서 최적화된 분기 간 연결을 제공하는 네트워킹 서비스로, VPN 뿐만 아니라 전용 회선 연결도 함께 지원하며, 네트워크 최적화를 제공합니다.

Virtual WAN 장점

운영 최적화 분기 간 연결
VPN + ExpressRoute 통합 지원
자동 라우팅 최적화

데이터 레이크 아키텍처 in 멀티클라우드

데이터 레이크 기본 개념

데이터 레이크는 원래 형식으로 대량의 데이터를 수집, 저장 및 처리할 수 있는 중앙 집중식 리포지토리입니다.

데이터 레이크 5 단계 라이프사이클

스토리지 설정
데이터 이동
데이터 준비 및 카탈로그 작성
보안 정책 구성
데이터를 사용할 수 있게 만들기

멀티클라우드 데이터 레이크 통합

Oracle의 멀티 클라우드 데이터 레이크 통합 아키텍처 참조 모델에서는 조직이 여러 소스의 데이터를 OCI 데이터 레이크에 통합하는 방법을 보여줍니다.

Azure 환경 SAP, MSSQL 데이터 적재 아키텍처

원천 데이터 소스 → 데이터 적재층 → 모델링층 → 분석계 → Power BI
     ↓                    ↓              ↓           ↓        ↓
 SAP, MSSQL        Azure Data Lake   데이터 웨어하우스  분석 모델  보고서

실무 아키텍처 구성 요소

레이어	Azure 서비스	AWS 서비스	역할
스토리지	Azure Data Lake Storage	Amazon S3	대량 데이터 저장
이동	Azure Data Factory	AWS Glue	데이터 파이프라인
처리	Azure Synapse	Amazon Athena	쿼리 및 분석
보안	Azure Key Vault	AWS KMS	암호화 및 액세스 제어
모니터링	Azure Monitor	Amazon CloudWatch	성능 및 상태 감시

성공적인 멀티클라우드 도입 전략

1. 통합 관리 플랫폼 활용

모든 클라우드 환경을 단일 인터페이스에서 관리할 수 있는 플랫폼을 도입하여 운영 효율성을 높이고 복잡성을 줄일 수 있습니다.

MCMP 솔루션

멀티클라우드 비용 최적화
품질 모니터링
자원 통합 관리
자동화된 운영 서비스

Cloud FinOps 체계

Cloud FinOps는 멀티클라우드 환경에서 비용과 자원을 효율적으로 운용하기 위해 등장한 데이터 기반 관리 체계
여러 CSP에 흩어진 사용 현황을 하나의 기준으로 통합
지속적인 최적화 사이클 구축이 핵심

2. 자동화 및 오케스트레이션

반복적인 관리 작업을 자동화하고, 컨테이너 기술을 활용하여 애플리케이션의 이식성을 높이는 것이 중요합니다.

컨테이너화 장점

AWS 컨테이너 솔루션은 AWS 클라우드, 온프레미스 데이터 센터, 여러 플랫폼 어디에서나 수정 없이 실행
익숙한 동일 기술을 여러 퍼블릭 클라우드에서 활용
배포 복잡성보다 비즈니스 요구 우선시

표준화된 오케스트레이션

표준 명명 규칙, 구성 규칙, 로그 및 감사 정책 적용
멀티클라우드 인프라 일관성 확보
효과적인 문제 해결과 원활한 연결 가능

3. 중앙 집중식 데이터베이스 구성

민감한 데이터를 여러 클라우드 환경 간에 이동하려면 강력한 보안, 거버넌스, 액세스 제어 메커니즘이 필요합니다.

중앙 집중식 데이터베이스 방법

데이터를 오픈소스 데이터베이스에 저장하고 여러 클라우드에서 활용
보안 및 규제 준수 규칙을 한 곳에서 설정
Amazon RDS for MySQL 또는 PostgreSQL 사용
익숙한 호환 가능한 데이터 기술 활용

4. 중앙 집중식 모니터링 구현

멀티클라우드 인프라는 서로 다른 사용자 계정에 걸쳐 설정될 수 있어, 멀티클라우드 배포의 동작, 성능, 상태를 파악하기 어렵습니다.

모니터링 서비스

Amazon CloudWatch: 전체 애플리케이션과 인프라 스택 시각화
주요 지표와 로그 모니터링
알람 설정으로 경고 발생
Azure Monitor, AWS Systems Manager 활용

멀티클라우드 사용 사례

1. 기존 기술 유지

조직은 이미 다른 클라우드 제공업체의 특정 기술이나 코드로 구축된 애플리케이션을 보유하고 있을 수 있습니다. 비용 효율성을 위해 기존 인프라를 계속 사용하면서, 새로운 프로젝트를 AWS 클라우드로 이전하기도 합니다.

2. 기존 역량 활용

인적 자원이 다양한 대기업에서는 일부 팀이 특정 클라우드와 관련된 기술과 경험을 가진 엔지니어를 더 많이 보유할 수 있습니다. 멀티클라우드 전략을 통해 조직은 각 팀의 강점과 선호도에 따라 여러 클라우드를 활용할 수 있습니다.

3. 인수 합병 대응

조직이 인수합병을 진행할 때, 새로 인수한 회사는 기존의 기술 생태계를 보유하고 있습니다. 모든 클라우드 서비스를 즉시 선호하는 제공업체로 마이그레이션하는 것은 보통 불가능합니다. 대신, 조직은 인수한 회사가 변경 관리 프로세스와 완전히 통합될 때까지 멀티클라우드 방식을 활용합니다.

4. 데이터 거버넌스 및 컴플라이언스

국가별 데이터 주권 법규 준수: 데이터 위치에 따라 적절한 클라우드 서비스 선택
컴플라이언스 요건 결정: 워크로드, 성과, 컴플라이언스 및 비용 요건 결정
데이터 프라이버시, 저장소, 규제 준수 관리: 클라우드 제공업체마다 방식과 제어 기능 다름

AWS 멀티클라우드 지원 서비스

AWS 는 멀티클라우드 전략을 다음과 같은 서비스로 지원합니다

서비스	기능
Amazon Athena	25 개 이상 외부 데이터 소스 쿼리, ETL 없이 인사이트 획득
AWS Config	구성 변경 사항 모니터링, 규정 준수 보고 자동화
Amazon OpenSearch	실시간 검색, 분석, 로그 관리 통합
AWS Systems Manager	가시성 향상, 리소스 제어, 문제 진단

멀티클라우드 문제점과 해결 방안

관리 복잡성 해결

통합 관리 플랫폼 도입: 단일 인터페이스로 모든 클라우드 관리
표준화: 표준 명명 규칙, 구성 규칙 적용
자동화: 반복 작업 자동화, 컨테이너 기술 활용

보안 문제 해결

중앙 집중식 보안 정책: 일관된 보안 조치 구현
접근 권한 통합 관리: 각 환경별 권한 통합
보안 프로토콜 확인: 각 제공자 규정 준수 확인

상호 운용성 문제 해결

공통 데이터베이스: 오픈소스 데이터베이스로 통합
컨테이너화: 플랫폼 간 이식성 확보
표준화: 표준 관행과 절차 적용

비용 관리 문제 해결

Cloud FinOps: 데이터 기반 관리 체계 구축
모니터링 도구: 비용 모니터링 및 예측
할인 정책: 예약 인스턴스, Savings Plans 활용

멀티클라우드 전략의 미래

멀티클라우드는 디지털 전환의 필수 요소로 자리잡으며, 대부분의 기업들이 이미 2-3 개의 클라우드 제공업체와 협력하고 있습니다. Azure와 AWS를 동시에 사용하는 전략은 비용 효율성, 안정성, 유연성, 벤더 종속성 회피 등의 장점을 제공합니다.

하지만 관리 복잡도 증가, 보안 고려사항, 데이터 통합 문제 등의 과제도 함께 고려해야 합니다. 성공적인 멀티클라우드 도입을 위해서는 단계적 접근, 통합 관리 플랫폼 활용, 자동화 및 오케스트레이션, 중앙 집중식 모니터링이 필수적입니다.

Azure 환경에서 SAP, MSSQL 등 원천 데이터를 적재하여 모델링하고 분석계를 구축한 후 Power BI 로 보고서를 개발하는 Data Engineer, BI Engineer 로서 멀티클라우드 전략을 채택하면, 단일 클라우드 의존도를 줄이고 각 클라우드의 강점을 최대한 활용할 수 있습니다. 특히 AWS 의 강력한 데이터 분석 서비스와 Azure 의 Microsoft 제품군 연동 강점을 결합하면 최적의 데이터 인프라를 구축할 수 있습니다.

저작자표시 비영리 변경금지 (새창열림)