HAQM Redshift ile HAQM Aurora MySQL zero-ETL entegrasyonu artık genel kullanıma sunuldu

Orijinal makale: Link (Donnie Prakoso)

AWS’te Veritabanı, Analiz ve Makine Öğrenimi Başkan Yardımcısı Swami Sivasubramanian, “Veri her uygulamanın, sürecin ve iş kararının merkezinde yer alıyor,” diye yazıyor ve ben de aynı fikirdeyim. Müşterilerin bugün kullandığı yaygın bir model, verileri HAQM Aurora‘dan HAQM Redshift‘e taşımak için veri işlem hatları oluşturmaktır. Bu çözümler, satışları artırmak, maliyetleri düşürmek ve işlerini optimize etmek için içgörüler elde etmelerine yardımcı oluyor.

Analiz için veri hazırlamak yerine verilerden değer yaratmaya odaklanmanıza yardımcı olmak için AWS re:Invent 2022’de HAQM Aurora’nın HAQM Redshift ile zero-ETL entegrasyonunu ve Haziran 2023’te HAQM Aurora MySQL Uyumlu Sürümü için genel ön izlemeyi duyurduk.

Artık genel kullanıma sunuldu: HAQM Redshift ile HAQM Aurora MySQL zero-ETL entegrasyonu
Bugün, HAQM Redshift ile HAQM Aurora MySQL zero-ETL entegrasyonunun genel kullanıma sunulduğunu duyurduk. Tam olarak yönetilen bu çözüm sayesinde, kritik iş kararlarını bilgilendirmek üzere işlem verilerinizden zamana duyarlı içgörüler elde etmek için artık karmaşık veri işlem hatları oluşturmanıza ve sürdürmenize gerek kalmayacak.

HAQM Aurora ve HAQM Redshift arasındaki bu zero-ETL entegrasyonu, HAQM Redshift’teki petabaytlarca işlem verisi üzerinde neredeyse gerçek zamanlı analitik ve makine öğrenimi (ML) çalıştırma fırsatlarının kilidini açar. Bu veriler Aurora’ya yazıldığında, saniyeler içinde HAQM Redshift’te kullanılabilir olacaktır.

Ayrıca, birçok uygulama veya bölüm genelinde bütünsel içgörüler elde etmek için HAQM Redshift’teki birden fazla Aurora MySQL veritabanı kümesinden konsolide analizler çalıştırmanıza olanak tanır. HAQM Redshift ile HAQM Aurora MySQL zero-ETL entegrasyonu, birden fazla Aurora veritabanından dakikada 1 milyondan fazla işlemi (dakikada 17,5 milyon satır ekleme/güncelleme/silme işlemine eş değer) işler ve bunları 15 saniyeden kısa bir sürede (p50 gecikme süresi) HAQM Redshift’te kullanılabilir hale getirir.

Ayrıca, HAQM Redshift’in materyalleştirilmiş görünümler, Bölgeler arası veri paylaşımı ve birden fazla veri deposuna ve veri gölüne birleştirilmiş erişim gibi analitik ve yerleşik makine öğrenimi özelliklerinden yararlanabilirsiniz.

Hadi başlayalım
Bu makalede, nasıl kolayca başlayabileceğinize dair bilgilerle birlikte bazı adımları vurgulayacağım. Mevcut HAQM Aurora MySQL sunucusuz veritabanımı ve HAQM Redshift veri ambarımı kullanacağım.

Başlamak için HAQM RDS’e gitmem ve Zero-ETL integrations (Zero-ETL entegrasyonları) sayfasında Create zero-ETL integration (zero-ETL entegrasyonu oluştur) seçmem gerekiyor.

Create zero-ETL integration (zero-ETL entegrasyonu oluştur) sayfasında, HAQM Aurora veritabanı kümem ve HAQM Redshift veri ambarım için entegrasyonu yapılandırmak üzere birkaç adımı izlemem gerekiyor.

İlk olarak, entegrasyonum için bir tanımlayıcı tanımlıyorum ve Next‘i (İleri) seçiyorum.

Bir sonraki sayfada, Browse RDS databases (RDS veritabanlarına göz at) seçeneğini seçerek kaynak veritabanını seçmem gerekiyor.

Burada, kaynak olarak mevcut veritabanımı seçebilirim.

Bir sonraki adım bana hedef HAQM Redshift veri ambarını soruyor. Burada, hesabımdaki veya farklı bir hesaptaki HAQM Redshift Serverless veya RA3 veri ambarını seçme esnekliğine sahibim. Browse Redshift data warehouses (Redshift veri ambarlarına göz at) seçeneğini seçiyorum.

Ardından, hedef veri ambarını seçiyorum.

HAQM Aurora’nın veri ambarına replike olması gerektiğinden, ek bir kaynak politikası eklememiz ve Aurora veritabanını HAQM Redshift veri ambarına yetkili bir entegrasyon kaynağı olarak eklememiz gerekir.

Bunu HAQM Redshift konsolunda manuel olarak güncelleyerek veya HAQM RDS’in benim için düzeltmesine izin vererek çözebilirim. Onay kutusunu işaretliyorum.

Bir sonraki sayfada, HAQM RDS’in bizim için gerçekleştireceği değişiklikleri gösteriyor. Continue (Devam) seçiyorum.

Bir sonraki sayfada etiketleri ve şifrelemeyi yapılandırabilirim. Varsayılan olarak, zero-ETL entegrasyonu AWS Key Management Service (AWS KMS) kullanarak verilerinizi şifreler ve benim kendi anahtarımı kullanma seçeneğim var.

Ardından, tüm yapılandırmaları gözden geçirmem ve entegrasyonu oluşturmak için Create zero-ETL integration (zero-ETL entegrasyonu oluştur) seçeneğini belirlemem gerekiyor.

Birkaç dakika sonra zero-ETL entegrasyonum başarıyla oluşturuldu. Ardından, HAQM Redshift’e geçiyorum ve Zero-ETL integrations (Zero-ETL entegrasyonları) sayfasında, yeni oluşturduğum zero-ETL entegrasyonumu görebiliyorum.

Entegrasyon henüz HAQM Redshift içinde bir hedef veritabanına sahip olmadığından, bir tane oluşturmam gerekiyor.

Şimdi entegrasyon yapılandırması tamamlandı. Bu sayfada, entegrasyon durumunun etkin olduğunu ve çoğaltılan bir tablo olduğunu görebiliyorum.

Test için HAQM Aurora veritabanımda yeni bir tablo oluşturuyorum ve bu tabloya bir kayıt ekliyorum.

Ardından HAQM Redshift içindeki Redshift query editor v2‘ya (Redshift sorgu düzenleyicisi v2) geçtim. Burada, entegrasyonun bir parçası olarak oluşturduğum veritabanına bağlantı kurabiliyorum. Basit bir sorgu çalıştırarak verilerimin HAQM Redshift içinde zaten mevcut olduğunu görebiliyorum.

Bu zero-ETL entegrasyonunu iki nedenden dolayı çok kullanışlı buldum. İlk olarak, birden fazla veritabanı kümesinden gelen tüm verileri bir araya getirebiliyor ve toplu olarak analiz edebiliyordum. İkincisi, işlem verilerinin HAQM Aurora MySQL’e yazılmasından birkaç saniye sonra, bu zero-ETL entegrasyonu verileri sorunsuz bir şekilde HAQM Redshift’te kullanılabilir hale getirdi.

Bilinmesi gerekenler

Kullanılabilirlik – HAQM Aurora’nın HAQM Redshift ile zero-ETL entegrasyonu ABD Doğu (Ohio), ABD Doğu (N. Virginia), ABD Batı (Oregon), Asya Pasifik (Singapur), Asya Pasifik (Sidney), Asya Pasifik (Tokyo), Avrupa (Frankfurt), Avrupa (İrlanda) ve Avrupa (Stockholm) Bölgelerinde mevcuttur.

Desteklenen Veritabanı Motorları – HAQM Aurora HAQM Redshift ile zero-ETL Entegrasyonu şu anda HAQM Aurora’nın MySQL uyumlu sürümlerini desteklemektedir. HAQM Aurora PostgreSQL Uyumlu Sürüm desteği için çalışmalar devam etmektedir.

Fiyatlandırma – HAQM Redshift ile HAQM Aurora zero-ETL entegrasyonu ek ücret olmadan sağlanır. Zero-ETL entegrasyonunun bir parçası olarak oluşturulan değişiklik verilerini oluşturmak ve işlemek için kullanılan mevcut HAQM Aurora ve HAQM Redshift kaynakları için ödeme yaparsınız.

Verileri analiz için hazırlamak yerine onlardan değer yaratmaya daha fazla odaklanmanıza yardımcı olmaya bir adım daha yaklaştık. Nasıl başlayacağınız hakkında daha fazla bilgi edinmek için lütfen HAQM Redshift ile HAQM Aurora MySQL zero-ETL entegrasyonu sayfasını ziyaret edin.

Mutlu entegrasyonlar!