AWS 기술 블로그

Category: HAQM DataZone

HAQM DataZone에서 Custom Asset Type을 활용하여 외부 자산(Tableau) 통합 및 데이터 계보 관리하기

배경 데이터 중심 조직은 AWS 내 서비스와 Tableau, MicroStrategy 같은 외부 BI 도구를 함께 활용하는 하이브리드 환경에서 운영되는 경우가 많습니다. 이러한 환경에서 조직들은 다음과 같은 니즈를 가지고 있습니다. 통합 데이터 자산 카탈로그 : Tableau 대시보드와 같은 외부 자산도 함께 등록하여 모든 데이터 자산을 한 곳에서 검색 및 관리 End-to-End 데이터 계보(Lineage) : Tableau 대시보드가 어떤 […]

LG 에너지 솔루션의 HAQM DataZone을 활용한 데이터 거버넌스 혁신 전략

LG 에너지 솔루션은 다양한 부서와 시스템에 분산된 데이터를 통합적으로 관리하고 활용하는 데 한계가 있었기 때문에, 데이터 관리 및 활용에 혁신이 필요하다고 판단하여, 데이터 거버넌스의 체계화에 착수했습니다. 이를 위해 AWS와 협력하여 HAQM DataZone을 도입하여 데이터  거버넌스를 마련했습니다. 이 과정을 통해 데이터 접근 권한 관리 및 규정 준수 측면에서의 거버넌스 복잡성을 줄이고 BI/ML 서비스의 생산성을 크게 증진시켰습니다. […]

AWS DataZone에서 OpenLineage 기반의 View 테이블 데이터 계보 그리기

배경 관계형 데이터베이스에서 View 테이블은 실제 데이터를 저장하지 않고, 기본 테이블의 데이터를 기반으로 한 가상의 테이블입니다. View 테이블의 데이터 계보는 데이터가 어떤 기본 테이블에서 비롯되었고, 어떤 과정을 거쳐 최종적으로 View 테이블에 도달했는지를 명확히 파악하는 데 필수적입니다. 이를 통해 데이터의 출처와 변환 과정을 명확히 이해하고, 데이터의 신뢰성을 보장할 수 있습니다. 또한, 데이터 계보는 View 테이블이 잘못된 […]

HAQM SageMaker와 통합된 HAQM DataZone으로 머신러닝 거버넌스를 간소화하기

HAQM SageMaker는 머신러닝(ML) 모델을 구축, 학습 및 배포하기 위한 다양한 도구와 기능을 제공하는 완전 관리형 ML 서비스입니다. HAQM DataZone은 고객이 AWS, 온프레미스 및 타사 소스에 저장된 데이터를 더 빠르고 쉽게 카탈로그화, 검색, 공유 및 관리할 수 있도록 지원하는 데이터 관리 서비스입니다. 저희는 오늘 보안 제어 기능을 갖춘 인프라를 설정하고, 머신러닝 (ML) 프로젝트에서 협업하고, 데이터 및 […]