AWS 기술 블로그
Category: RDS for PostgreSQL
RDS PostgreSQL 트랜잭션 ID 랩어라운드 방지를 위한 autovacuum 모니터링에 postgres_get_av_diag() 사용하기
이 글은 AWS Database Blog에 게시된 Prevent transaction ID wraparound by using postgres_get_av_diag() for monitoring autovacuum by Naga Appani을 한국어 번역 및 편집 하였습니다. HAQM RDS for PostgreSQL 데이터베이스로 구동되는 대규모 트래픽 애플리케이션을 관리하고 있다고 가정해봅시다. 모든 것이 순조롭다가 갑자기 사용자들이 트랜잭션을 수행할 수 없다고 보고하고, 모니터링 도구에서 경고가 쏟아지기 시작합니다. 로그를 검토해보니 문제의 원인을 발견했습니다: autovacuum이 지연되어 성능 문제가 […]
HAQM DataZone에서 Custom Asset Type을 활용하여 외부 자산(Tableau) 통합 및 데이터 계보 관리하기
배경 데이터 중심 조직은 AWS 내 서비스와 Tableau, MicroStrategy 같은 외부 BI 도구를 함께 활용하는 하이브리드 환경에서 운영되는 경우가 많습니다. 이러한 환경에서 조직들은 다음과 같은 니즈를 가지고 있습니다. 통합 데이터 자산 카탈로그 : Tableau 대시보드와 같은 외부 자산도 함께 등록하여 모든 데이터 자산을 한 곳에서 검색 및 관리 End-to-End 데이터 계보(Lineage) : Tableau 대시보드가 어떤 […]
AWS DataZone에서 OpenLineage 기반의 View 테이블 데이터 계보 그리기
배경 관계형 데이터베이스에서 View 테이블은 실제 데이터를 저장하지 않고, 기본 테이블의 데이터를 기반으로 한 가상의 테이블입니다. View 테이블의 데이터 계보는 데이터가 어떤 기본 테이블에서 비롯되었고, 어떤 과정을 거쳐 최종적으로 View 테이블에 도달했는지를 명확히 파악하는 데 필수적입니다. 이를 통해 데이터의 출처와 변환 과정을 명확히 이해하고, 데이터의 신뢰성을 보장할 수 있습니다. 또한, 데이터 계보는 View 테이블이 잘못된 […]
애플리케이션 개발자를 위한 PostgreSQL 아키텍처 고려사항 : 파트 2
이 글은 AWS Database 블로그의 How PostgreSQL processes queries and how to analyze them by Peter Celentano and Tracy Jenkins 의 한국어 번역입니다. 애플리케이션 계층은 웹사이트에서 눈에 보이는 부분이기 때문에 애플리케이션을 구동하는 데이터베이스를 최적화하는 것이 애플리케이션의 성능, 관리 효율성, 확장성에 매우 중요할 수 있습니다. 데이터베이스가 쿼리를 처리하여 요청된 행을 반환하는 방식을 이해하면 애플리케이션 개발자는 병목 […]
애플리케이션 개발자를 위한 PostgreSQL 아키텍처 고려사항: 파트 1
이 글은 AWS Database 블로그의 PostgreSQL architecture considerations for application developers: Part 1 by Peter Celentano and Tracy Jenkins의 한국어 번역입니다. 클라우드 아키텍처에서 애플리케이션 계층이 외부와 소통하는 핵심 역할을 함에도 불구하고, 우리는 종종 사용 중인 데이터베이스에 맞춰 애플리케이션을 최적화하는 방법을 간과하고는 합니다. 관계형 데이터베이스를 사용할 때는 단순히 스키마 설계에만 집중할 것이 아니라, 데이터베이스가 저장 시스템과 […]
PostgreSQL의 Fillfactor와 영향도
PostgreSQL Page, Fillfactor, Heap-only-Tuple란? PostgreSQL의 테이블과 인덱스는 8KB 크기의 페이지에 데이터를 저장합니다. 각각의 페이지에는 헤더 영역인 24bytes 크기의 PageHeaderData와 실제 데이터를 포인팅하는 ItemIdData 라는 포인터, 그리고 아직 아무것도 할당되지 않은 FreeSpace와 실제 데이터가 저장되는 Items 으로 구성됩니다. INSERT나 UPDATE 통해 아이템이 추가되면 페이지의 FreeSpace 끝 부분부터 순서대로 쌓이게 됩니다. 테이블과 인덱스에는 Fillfactor라는 스토리지 속성이 있습니다. […]
AWS DMS를 사용하여 PostgreSQL의 파티션 테이블 데이터를 마이그레이션하기
이 글은 AWS Database Blog에 게시된 Migrate data from partitioned tables in PostgreSQL using AWS DMS by Prabhu Ayyakkannu, Alex Anto Kizhakeyyepunnil Joy, and Suchindranath Hegde을 한국어 번역 및 편집하였습니다. PostgreSQL에서 HAQM Redshift와 같은 데이터 웨어하우스로 워크로드를 마이그레이션하는 데 지속적 복제(CDC)시 파티션된 테이블에서 문제가 발생할 수 있습니다. 이 글에서는 AWS 데이터베이스 마이그레이션 서비스(AWS DMS)를 사용하여 […]
LucidLink와 Leostream으로 PCoIP 원격 영상 편집 시스템 구성하기
NLE(Non-linear editing)는 Post Production에서 방송 영상 편집을 위한 고성능의 NLE Workstation을 사용하여 Adobe Premiere Pro, Grass Valley Eidus 와 같은 방송사에서 사용 되는 다양한 영상 편집 솔루션을 통해 짧은 레이턴시 기반으로 전문적으로 영상을 편집할 수있습니다. 방송사의 경우, 전문적이고 큰 규모의 방송 영상 편집이 동시에 수백 개의 NLE Workstation에서 작업이 이루어질 수 있으며, 다양한 환경에서의 높아져만 […]