Veri ambarını HAQM Redshift’e taşırken nelere dikkat edilmelidir?

Orijinal makale: Link (Lewis Tang, Senior Solutions Architect)

Müşteriler hızlı, ölçeklenebilir ve uygun maliyetli olduğu için veri ambarlarını HAQM Redshift‘e geçiriyor. Ancak, veri ambarı geçiş projeleri karmaşık ve zorlu olabilir. Bu gönderide, veri ambarı geçişinin ortak harekete geçiş sebeplerini, geçiş stratejilerini ve geçiş projenize yardımcı olmak için hangi araç ve hizmetlerin mevcut olduğunu anlamanıza yardımcı olacağım.

Önce büyük veri ortamını, modern bir veri mimarisinin anlamını ve modern bir veri mimarisi oluştururken veri ambarı geçiş projeniz için nelere dikkat etmeniz gerektiğini tartışalım.

İş fırsatları

Veriler çalışma, yaşama ve oynama şeklimizi değiştiriyor. Tüm bu davranış değişiklikleri ve buluta geçiş, son 20 yılda bir veri patlamasına neden oldu. Nesnelerin İnterneti ve akıllı telefonların yaygınlaşması, her gün üretilen veri miktarını hızlandırdı. İş modelleri değişti ve bu işletmeleri yöneten insanların ihtiyaçları da değişti. Sadece birkaç yıl önce terabaytlarca veri hakkında konuşmaktan şimdi petabaytlarca ve eksabaytlarca veriye geçtik. Verileri verimli bir şekilde çalışmaya koyarak ve toplanan verilerden derin iş içgörüleri oluşturarak, farklı sektörlerdeki ve çeşitli büyüklükteki işletmeler çok çeşitli iş sonuçları elde edebilir. Bunlar genel olarak aşağıdaki temel iş sonuçlarına göre sınıflandırılabilir:

• Operasyonel verimliliği artırma – İşletmeler, çeşitli operasyonel süreçlerden toplanan verileri anlamlandırarak müşteri deneyimini iyileştirebilir, üretim verimliliğini artırabilir ve satış ve pazarlama çevikliğini artırabilir.
• Daha bilinçli kararlar verme – İşletmeler, bir kuruluştaki verilerin tam resmini bir araya getirerek daha anlamlı içgörüler geliştirerek daha bilinçli kararlar alabilirler.
• İnovasyonu hızlandırma – Dahili ve harici veri kaynaklarını birleştirmek, işletmelerin süreçleri otomatikleştirmesine ve daha önce yapılması imkansız veya yapılması çok zor olan iş fırsatlarının kilidini açmasına yardımcı olan çeşitli AI ve makine öğrenimi (ML) kullanım senaryolarına olanak tanır.

İş zorlukları

Üstel veri büyümesi aynı zamanda iş zorluklarını da beraberinde getirdi.

Her şeyden önce, işletmelerin kuruluş genelindeki tüm verilere erişmesi gerekir ve veriler silolarda dağıtılabilir. Çok çeşitli kaynaklardan, çok çeşitli veri türlerinden ve büyük hacim ve hızda gelir. Bazı veriler, ilişkisel veritabanlarında yapılandırılmış veriler olarak saklanabilir. Diğer veriler, ortam dosyaları ve mobil cihazlardan sürekli olarak akan tıklama akışı verileri gibi nesne depolarında yarı yapılandırılmış veriler olarak saklanabilir.

İkinci olarak, verilerden içgörüler oluşturmak için işletmelerin analitik yaparak verilere derinlemesine dalmaları gerekir. Bu analitik faaliyetler genellikle sisteme aynı anda erişmesi gereken düzinelerce ve yüzlerce veri analistini içerir. Sorgu talebini karşılamak için ölçeklenebilir performanslı bir sisteme sahip olmak genellikle zorlu bir iştir. İşletmelerin analiz edilen verileri müşterileriyle paylaşması gerektiğinde daha karmaşık hale gelir.

Son olarak, işletmelerin veri siloları, performans, ölçeklenebilirlik, güvenlik ve uyumluluk zorluklarını ele almak için uygun maliyetli bir çözüme ihtiyacı vardır. Maliyeti görselleştirebilmek ve tahmin edebilmek, bir işletmenin çözümünün maliyet etkinliğini ölçmesi için gereklidir.

Bu zorlukları çözmek için işletmelerin geleceğe hazır modern bir veri mimarisine ve sağlam, verimli bir analitik sistemine ihtiyacı vardır.

Modern veri mimarisi

A modern data architecture enables organizations to store any amount of data in open formats, break down disconnected data silos, empower users to run analytics or ML using their preferred tool or technique, and manage who has access to specific pieces of data with the proper security and data governance controls.

Modern bir veri mimarisi, kuruluşların herhangi bir miktarda veriyi açık formatlarda depolamasına, bağlantısız veri silolarını parçalamasına, kullanıcıların tercih ettikleri araç veya tekniği kullanarak analitik veya ML çalıştırmalarına olanak tanır ve uygun güvenlik ve veri yönetişimi kontrolleriyle belirli veri parçalarına kimlerin erişimi olduğunu yönetmesini sağlar.

AWS veri gölü mimarisi, aşağıdaki şekilde gösterildiği gibi verileri bir veri gölünde depolamanıza ve göl çevresinde amaca yönelik olarak oluşturulmuş veri hizmetleri halkasını kullanmanıza olanak tanıyan modern bir veri mimarisidir. Bu, hızlı ve çevik, geniş ölçekte ve uygun maliyetli kararlar vermenizi sağlar. Daha fazla ayrıntı için AWS’te Modern Veri Mimarisi‘ne bakın.

Modern veri ambarı

HAQM Redshift, geniş ölçekte hızlı, kolay ve güvenli analizlerle içgörülere ulaşma süresini hızlandıran, tümüyle yönetilen, ölçeklenebilir, modern bir veri ambarıdır. HAQM Redshift ile tüm verilerinizi analiz edebilir, düşük ve öngörülebilir maliyetlerle her ölçekte performans elde edebilirsiniz.

HAQM Redshift aşağıdaki avantajları sunar:

• Tüm verilerinizi analiz etme – HAQM Redshift ile, tutarlı güvenlik ve yönetim politikalarıyla veri ambarınız ve veri gölünüz genelindeki tüm verilerinizi kolayca analiz edebilirsiniz. Buna modern veri mimarisi diyoruz. HAQM Redshift Spectrum ile veri gölünüzdeki verileri yüklemeye veya başka bir veri hazırlığına gerek duymadan sorgulayabilirsiniz. Veri gölü dışa aktarma özelliğiyle, bir HAQM Redshift sorgusunun sonuçlarını tekrar göle kaydedebilirsiniz. Bu, HAQM Redshift veri gölünüzle tamamen entegre olduğundan, yeniden mimariye gerek kalmadan gerçek zamanlı analitik ve ML/AI kullanım senaryolarından yararlanabileceğiniz anlamına gelir. Veri paylaşımı (data sharing) gibi yeni yeteneklerle, verileri HAQM Redshift kümeleri arasında hem dahili hem de harici olarak kolayca paylaşabilir, böylece herkesin verileri canlı ve tutarlı bir şekilde görebilmesini sağlayabilirsiniz. HAQM Redshift ML, verilerinizle daha fazlasını yapmayı kolaylaştırır; doğrudan HAQM Redshift veri ambarlarında tanıdık SQL komutlarını kullanarak makine öğrenimi modelleri oluşturabilir, eğitebilir ve dağıtabilirsiniz.
• Her ölçekte hızlı performans – HAQM Redshift, sıralama anahtarları ve dağıtım anahtarları tanımlama, gerçekleştirilmiş görünümler (materialized views), otomatik yenileme (auto-refresh) ve otomatik sorgu yeniden yazma (auto-query rewrite) gibi görevlerle, veri ambarınızı ayarlamanın ağır yükü olmadan iş yükleriniz için en iyi performansı elde etmenize olanak tanıyan kendi kendini ayarlayan ve kendi kendine öğrenen bir sistemdir. HAQM Redshift, gigabaytlardan petabaytlarca veriye ve birkaç kullanıcıdan binlerce veriye kadar tutarlı bir şekilde hızlı sonuçlar sunmak için ölçeklenir. Kullanıcı tabanınız binlerce eşzamanlı kullanıcıya ölçeklenirken, eşzamanlılık ölçeklendirme özelliği, ek yükü yönetmek için gerekli işlem kaynaklarını otomatik olarak dağıtır. Yönetilen ayrı işlem ve depolamaya sahip HAQM Redshift RA3 bulut sunucuları, böylece her birini bağımsız olarak ölçeklendirebilir ve yalnızca ihtiyacınız olan depolama için ödeme yapabilirsiniz. HAQM Redshift için AQUA (Gelişmiş Sorgu Hızlandırıcı – Advanced Query Accelerator), belirli sorgu türlerini otomatik olarak destekleyen, dağıtılmış ve donanım hızlandırmalı yeni bir önbellektir.
• Herkes için kolay analitik – HAQM Redshift, ayrıntılı altyapı yönetimi veya performans optimizasyonunun yükünü ortadan kaldıran, tümüyle yönetilen bir veri ambarıdır. Altyapı sağlama, yedekleme oluşturma, veri düzenini ayarlama ve diğer görevler gibi bakım görevlerini gerçekleştirmek yerine içgörülere ulaşmaya odaklanabilirsiniz. Verileri açık biçimlerde çalıştırabilir, tanıdık SQL komutlarını kullanabilir ve yeni Query Editor v2 aracılığıyla sunulan sorgu görselleştirmelerinden yararlanabilirsiniz. Ayrıca, yazılım sürücülerini yapılandırmadan, veritabanı bağlantılarını yönetmeden güvenli bir veri API’si aracılığıyla herhangi bir uygulamadan verilere erişebilirsiniz. HAQM Redshift, iş zekası (Business Intelligence – BI) araçlarıyla uyumludur ve HAQM Redshift’in gücünü ve entegrasyonunu BI aracından çalışan iş kullanıcılarına açar.

Veri gölü mimarisine sahip modern bir veri mimarisi ve HAQM Redshift ile modern veri ambarı, farklı boyutlardaki işletmelerin büyük veri zorluklarını ele almasına, büyük miktarda veriyi anlamlandırmasına ve iş sonuçlarını yönlendirmesine yardımcı olur. Veri ambarınızı HAQM Redshift’e geçirerek modern bir veri mimarisi oluşturma yolculuğuna başlayabilirsiniz.

Geçiş ile ilgili hususlar

Veri ambarı geçişi, proje karmaşıklığı açısından bir zorluk teşkil eder ve kaynaklar, zaman ve maliyet açısından bir risk oluşturur. Veri ambarı geçişinin karmaşıklığını azaltmak için mevcut veri ambarı ortamınıza ve HAQM Redshift’e geçiş için gereken dönüşüm miktarına göre doğru bir geçiş stratejisi seçmeniz önemlidir. Geçiş stratejisi kararınızı etkileyebilecek temel faktörler şunlardır:

• Boyut – Geçirilecek kaynak veri ambarının toplam boyutu, geçişe dahil edilen nesneler, tablolar ve veritabanları tarafından belirlenir. HAQM Redshift’e geçmek için gereken veri kaynaklarının ve veri alanlarının iyi anlaşılması, geçiş projesinin en uygun şekilde boyutlandırılmasını sağlar.
• Veri transferi – Veri ambarı geçişi, kaynak veri ambarı sunucuları ile AWS arasında veri aktarımını içerir. Verileri kaynak konum ile AWS arasında AWS Direct Connect gibi bir ağ ara bağlantısı üzerinden aktarabilir veya AWS Snow Family gibi araçlar veya hizmetler aracılığıyla çevrimdışı olarak aktarabilirsiniz.
• Veri değişim oranı – Veri ambarınızda veri güncellemeleri veya değişiklikleri ne sıklıkla gerçekleşir? Mevcut veri ambarı veri değişim oranınız, kaynak veri ambarını ve hedef HAQM Redshift’i senkronize tutmak için gereken güncelleme aralıklarını belirler. Yüksek veri değişim hızına sahip bir kaynak veri ambarı, hizmetin kaynaktan HAQM Redshift’e geçişinin bir güncelleme aralığı içinde tamamlanmasını gerektirir ve bu da daha kısa bir sistem geçişi aralığına yol açar.
• Veri dönüşümü – Mevcut veri ambarınızı HAQM Redshift’e taşımak, veri eşleme ve şema değişikliği gibi veri dönüşümlerini içeren heterojen bir geçiştir. Veri dönüşümünün karmaşıklığı, bir geçiş yinelemesi için gereken işlem süresini belirler.
• Geçiş ve ETL araçları – Geçiş ve çıkarma, dönüştürme ve yükleme (ETL) araçlarının seçimi, geçiş projesini etkileyebilir. Örneğin, bu araçların dağıtımı ve kurulumu için gereken çabalar değişebilir. AWS araçlarına ve hizmetlerine kısa süre içinde daha yakından bakacağız.

Tüm bu hususları hesaba kattıktan sonra, HAQM Redshift geçiş projeniz için bir geçiş stratejisi seçeneği belirleyebilirsiniz.

Geçiş stratejileri

Üç geçiş stratejisi arasından seçim yapabilirsiniz: Tek adımlı geçiş, iki adımlı geçiş veya dalga tabanlı (wave-based) geçiş.

Tek adımlı geçiş, devam eden veri değişikliklerini kaynak ve hedef arasında eşitlemede tutmak için sürekli çoğaltma gibi sürekli işlem gerektirmeyen veritabanları için iyi bir seçenektir. Varolan veritabanlarını virgülle ayrılmış değer (Comma Separated Value – CSV) dosyaları veya Parquet gibi sütun biçimi olarak ayıklayabilir, ardından veri kümelerini HAQM Redshift’e yüklemek üzere HAQM Simple Storage Service‘e (HAQM S3) teslim etmek için AWS Snowball gibi AWS Snow Family hizmetlerini kullanabilirsiniz. Ardından, kaynakla veri tutarlılığı için hedef HAQM Redshift veritabanını test edersiniz. Tüm doğrulamalar geçtikten sonra veritabanı AWS’e geçer.

İki adımlı geçiş, sürekli çoğaltma gibi sürekli işlem gerektiren her boyuttaki veritabanları için yaygın olarak kullanılır. Geçiş sırasında kaynak veritabanlarında devam eden veri değişiklikleri olur ve sürekli çoğaltma, veri değişikliklerini kaynak ile HAQM Redshift arasında eşitlenmiş halde tutar. İki adımlı geçiş stratejisinin kırılımı aşağıdaki gibidir:

• İlk veri geçişi – Veriler, etkiyi en aza indirmek için tercihen yoğun olmayan kullanım sırasında kaynak veritabanından çıkarılır. Daha sonra veriler, daha önce açıklanan tek adımlı geçiş yaklaşımı izlenerek HAQM Redshift’e geçirilir.
• Değişen veri taşıma – İlk veri geçişinden sonra kaynak veritabanında değişen veriler, geçişten önce hedefe yayılır. Bu adım, kaynak ve hedef veritabanlarını senkronize eder. Değiştirilen tüm veriler taşındıktan sonra, hedef veritabanındaki verileri doğrulayabilir ve gerekli testleri gerçekleştirebilirsiniz. Tüm testler başarılı olursa HAQM Redshift veri ambarına geçersiniz.

Dalga tabanlı geçiş, büyük ölçekli veri ambarı geçiş projeleri için uygundur. Dalga tabanlı geçiş ilkesi, karmaşık bir geçiş projesini çoklu mantıksal ve sistematik dalgalara bölmek için önlemler almaktır. Bu strateji, karmaşıklığı ve riski önemli ölçüde azaltabilir. Çok sayıda veri kaynağını ve orta düzeyde karmaşıklığa sahip konu alanlarını kapsayan bir iş yükünden başlarsınız, ardından sonraki her dalgada daha fazla veri kaynağı ve konu alanı eklersiniz. Bu stratejiyle, kaynak veri ambarını tamamen kullanımdan kaldırmadan önce hem kaynak veri ambarını hem de HAQM Redshift üretim ortamlarını belirli bir süre paralel olarak çalıştırırsınız. Dalga tabanlı geçiş yaklaşımını kullanarak kaynak veri ambarından HAQM Redshift’e geçiş yapmak için veri kaynaklarını ve analiz uygulamalarını belirleme ve gruplama hakkında ayrıntılı bilgi için HAQM Redshift ile veri ambarınızı modernize etmek için bir uygulama geçiş metodolojisi geliştirme bölümüne bakın.

Geçiş stratejisi kararınızı yönlendirmek için, tercih edilen bir geçiş stratejisiyle göz önünde bulundurulan faktörleri eşleştirmek için aşağıdaki tabloya bakın.

Geçiş işlemi

Bu bölümde, geçiş sürecinin üç üst düzey adımını gözden geçiriyoruz. İki adımlı geçiş stratejisi ve dalga tabanlı geçiş stratejisi, üç geçiş adımının tümünü içerir. Ancak, dalga tabanlı geçiş stratejisi bir dizi yineleme içerir. Yalnızca sürekli işlemler gerektirmeyen veritabanları tek adımlı geçiş için uygun olduğundan, geçiş sürecinde yalnızca Adım 1 ve 2 gereklidir.

Adım 1: Şemayı ve konu alanını dönüştür

Bu adımda, AWS Schema Conversion Tool (AWS SCT) gibi şema dönüştürme araçlarını ve AWS iş ortaklarının diğer araçlarını kullanarak kaynak veri ambarı şemasını dönüştürerek kaynak veri ambarı şemasını HAQM Redshift şemasıyla uyumlu hale getirirsiniz. Bazı durumlarda, karmaşık şema dönüşümlerini gerçekleştirmek için özel kod kullanmanız da gerekebilir. Daha sonraki bir bölümde AWS SCT ve geçişle ilgili en iyi uygulamaları daha derinlemesine inceleyeceğiz.

Adım 2: İlk veri çıkarma ve yükleme

Bu adımda, ilk veri çıkarma işlemini tamamlar ve kaynak verileri HAQM Redshift’e ilk kez yüklersiniz. Veri boyutunuz ve veri aktarım gereksinimleriniz birbirine bağlı ağ üzerinden veri aktarmanıza izin veriyorsa, kaynak veri ambarından veri çıkarmak ve verileri HAQM S3’ye yüklemek için AWS SCT veri çıkarıcıları (AWS SCT data extractors) kullanabilirsiniz. Alternatif olarak, ağ kapasite sınırı gibi sınırlamalar varsa, Snowball’a veri yükleyebilirsiniz ve oradan veriler HAQM S3’ye yüklenir. Kaynak veri ambarındaki veriler HAQM S3’de kullanılabilir olduğunda HAQM Redshift’e yüklenir. Kaynak veri ambarı yerel araçlarının AWS SCT veri çıkarıcılarından daha iyi bir veri boşaltma ve yükleme işi yaptığı durumlarda, bu adımı tamamlamak için yerel araçları kullanmayı seçebilirsiniz.

Adım 3: Delta ve artımlı yük

Bu adımda, delta veya artımlı değişiklikleri yakalamak ve kaynaklardan HAQM Redshift’e yüklemek için AWS SCT’yi ve bazen kaynak veri ambarı yerel araçlarını kullanırsınız. Buna genellikle Change Data Capture (CDC) denir. CDC, bir veritabanında yapılan değişiklikleri yakalayan ve bu değişikliklerin veri ambarı gibi bir hedefe çoğaltılmasını sağlayan bir süreçtir.

Artık veri ambarınız için bir geçiş planı geliştirmeye başlamak için yeterli bilgiye sahip olmalısınız. Aşağıdaki bölümde, veri ambarınızı HAQM Redshift’e taşımanıza yardımcı olabilecek AWS hizmetlerine ve veri ambarı geçiş projenizin başarılı bir şekilde teslim edilmesini hızlandırmak için bu hizmetleri kullanmanın en iyi uygulamalarına daha derinlemesine dalacağım.

Veri ambarı geçiş hizmetleri

Veri ambarı geçişi, geçiş sürecini desteklemek için bir dizi hizmet ve araç içerir. Bir veritabanı geçişi değerlendirme raporu oluşturmaya ve ardından AWS SCT kullanarak kaynak veri şemasını HAQM Redshift ile uyumlu olacak şekilde dönüştürmeye başlarsınız. Verileri taşımak için AWS Data Migration Service (AWS DMS) görevleri oluşturmak ve yönetmek ve veri geçişini düzenlemek için AWS DMS ile entegrasyona sahip AWS SCT veri çıkarma aracını kullanabilirsiniz.

Kaynak ve AWS arasında birbirine bağlı ağ üzerinden kaynak verilerini aktarmak için AWS Storage Gateway, HAQM Kinesis Data Firehose, Direct Connect, AWS Transfer Family hizmetleri, HAQM S3 Transfer Acceleration ve AWS DataSync kullanabilirsiniz. Büyük miktarda veri içeren veri ambarı geçişi için veya birbirine bağlı ağ kapasitesiyle ilgili kısıtlamalar varsa, AWS Snow Family hizmetlerinden yararlanarak veri aktarabilirsiniz. Bu yaklaşımla verileri cihaza kopyalayabilir, AWS’e geri gönderebilir ve verilerin HAQM S3 aracılığıyla HAQM Redshift’e kopyalanmasını sağlayabilirsiniz.

AWS SCT, HAQM Redshift’e veri ambarı geçişinizi hızlandırmak için önemli bir hizmettir. Hadi bu konuda daha derine inelim.

AWS SCT kullanarak geçiş

AWS SCT, veri ambarı şemanızı HAQM Redshift veritabanı şemasına dönüştürme sürecinin çoğunu otomatikleştirir. Kaynak ve hedef veritabanı motorları birçok farklı özellik ve yeteneğe sahip olabileceğinden, AWS SCT, mümkün olan her yerde hedef veritabanınızda eşdeğer bir şema oluşturmaya çalışır. Doğrudan dönüştürme mümkün değilse AWS SCT, şemanızı dönüştürmenize yardımcı olmak için bir veritabanı geçişi değerlendirme raporu oluşturur. Veritabanı geçişi değerlendirme raporu, şemanın kaynak veritabanınızdan hedef veritabanınıza dönüştürülmesi hakkında önemli bilgiler sağlar. Rapor, tüm şema dönüştürme görevlerini özetler ve hedef veritabanınızın DB motoruna dönüştürülemeyen şema nesneleri için eylem öğelerinin ayrıntılarını verir. Rapor ayrıca, otomatik olarak dönüştürülemeyen eşdeğer kodu hedef veritabanınıza yazmak için gereken çaba miktarına ilişkin tahminleri de içerir.

Depolama optimizasyonu, bir veri ambarı dönüşümünün kalbidir. HAQM Redshift veritabanınızı kaynak olarak ve bir test HAQM Redshift veritabanını hedef olarak kullanırken AWS SCT, veritabanınızı optimize etmek için sıralama anahtarları ve dağıtım anahtarları önerir.

AWS SCT ile aşağıdaki veri ambarı şemalarını HAQM Redshift’e dönüştürebilirsiniz:

• HAQM Redshift
• Azure Synapse Analytics (versiyon 10)
• Greenplum Database (versiyon 4.3 ve sonrası)
• Microsoft SQL Server (versiyon 2008 ve sonrası)
• Netezza (versiyon 7.0.3 ve sonrası)
• Oracle (versiyon 10.2 ve sonrası)
• Snowflake (versiyon 3)
• Teradata (versiyon 13 ve sonrası)
• Vertica (versiyon 7.2 ve sonrası)

AWS’te, ürünümüzü geliştirmek için yeni özellikler ve geliştirmeler yayınlamaya devam ediyoruz. Desteklenen en son dönüştürmeler için AWS SCT Kullanıcı Kılavuzu‘nu ziyaret edin.

AWS SCT veri çıkarma aracını kullanarak verileri taşıma

Şirket içi veri ambarınızdan verileri çıkarmak ve bunları HAQM Redshift’e geçirmek için bir AWS SCT veri çıkarma aracı kullanabilirsiniz. Aracı, verilerinizi çıkarır ve verileri HAQM S3’ye veya büyük ölçekli geçişler için bir AWS Snowball Family hizmetine yükler. Ardından verileri HAQM Redshift’e kopyalamak için AWS SCT’yi kullanabilirsiniz. HAQM S3 bir depolama ve alma hizmetidir. HAQM S3’de bir nesneyi depolamak için saklamak istediğiniz dosyayı bir S3 klasörüne yüklersiniz. Bir dosya yüklediğinizde, nesneye ve ayrıca herhangi bir meta veriye ilişkin izinleri ayarlayabilirsiniz.

Bir AWS Snowball Family hizmetine veri yüklemeyi içeren büyük ölçekli geçişlerde, gerçek geçişi gerçekleştirmek için veri çıkarma aracının AWS DMS’i düzenlediği süreci otomatikleştirmek için AWS SCT’de sihirbaz tabanlı iş akışlarını kullanabilirsiniz.

HAQM Redshift geçiş araçlarına ilişkin hususlar

HAQM Redshift’e veri ambarı geçişini iyileştirmek ve hızlandırmak için aşağıdaki ipuçlarını ve en iyi uygulamaları göz önünde bulundurun. Bu liste ayrıntılı değildir. Veri ambarı profilinizi iyi anladığınızdan emin olun ve geçiş projeniz için hangi en iyi uygulamaları kullanabileceğinizi belirleyin.

• Bir geçiş değerlendirme raporu oluşturmak ve geçiş çabasını kapsamak için AWS SCT’yi kullanın.
• Mümkün olduğunda AWS SCT ile geçişi otomatikleştirin. Müşterilerimizin deneyimi, AWS SCT’nin DDL ve SQL komut dizilerinin çoğunu otomatik olarak oluşturabildiğini gösteriyor.
• Otomatik şema dönüştürme mümkün olmadığında, kod dönüştürme için özel komut dizisi kullanın.
• Veri taşıma performansını ve güvenilirliğini iyileştirmek için AWS SCT veri çıkarma aracılarını veri kaynağına mümkün olduğunca yakın kurun.
• Veri taşıma performansını iyileştirmek için HAQM Elastic Compute Cloud (HAQM EC2) bulut sunucunuzu ve veri çıkarma aracılarının yüklendiği eşdeğer sanal makinelerini uygun şekilde boyutlandırın.
• Ayrılan ağ bant genişliğinin kullanımını en üst düzeye çıkararak veri geçiş performansını iyileştirmek için birden çok görevi paralel olarak çalıştırmak için birden çok veri çıkarıcı aracıyı yapılandırın.
• Şema dönüştürme performansını iyileştirmek için AWS SCT bellek yapılandırmasını ayarlayın.
• Görüntüler, PDF’ler gibi büyük nesneleri ve mevcut veri ambarınızdaki diğer ikili verileri depolamak için HAQM S3’yi kullanın.
• Büyük tabloları geçirmek için sanal bölümlemeyi kullanın ve veri geçiş performansını iyileştirmek için alt görevler oluşturun.
• Direct Connect, AWS Transfer Family ve AWS Snow Family gibi AWS hizmetlerinin kullanım örneklerini anlayın. Veri taşıma gereksinimlerinizi karşılamak için doğru hizmeti veya aracı seçin.
• AWS hizmet kotalarını anlayın ve bilinçli geçiş tasarımı kararları alın.

Özet

Veriler hacim ve karmaşıklık açısından her zamankinden daha hızlı büyüyor. Ancak, bu paha biçilmez varlığın yalnızca bir kısmı analiz için kullanılabilir. Geleneksel şirket içi veri ambarları, modern büyük veri analitiği kullanım senaryoları için ölçeklenmeyen katı mimarilere sahiptir. Bu geleneksel veri ambarlarının kurulması ve işletilmesi pahalıdır ve hem yazılım hem de donanım için büyük ön yatırımlar gerektirir.

Bu gönderide, tüm verilerinizi analiz etmenize ve düşük ve tahmin edilebilir maliyetle her ölçekte performans elde etmenize yardımcı olabilecek, tümüyle yönetilen, ölçeklenebilir, modern bir veri ambarı olarak HAQM Redshift’i ele aldık.
Veri ambarınızı HAQM Redshift’e geçirmek için, veri ambarı geçiş projenizin karmaşıklığını ve maliyetini azaltmak için uygun bir geçiş stratejisi ve süreci seçmeden önce, veri ambarının toplam boyutu, veri değişim hızı ve veri dönüştürme karmaşıklığı gibi bir dizi faktörü göz önünde bulundurmanız gerekir. AWS SCT ve AWS DMS gibi AWS hizmetleriyle ve bu hizmetlerin ipuçlarını ve en iyi uygulamalarını benimseyerek geçiş görevlerini otomatikleştirebilir, geçişi ölçeklendirebilir, veri ambarı geçiş projenizin teslimini hızlandırabilir ve müşterilerinizi memnun edebilirsiniz.