HAQM Redshift Hakkında SSS

SageMaker, birden fazla veri kaynağını birbirine bağlayan ve veri keşfini kolaylaştıran kapsamlı, kullanıcı dostu bir platform sağlayarak SQL analizini basitleştirir. Not defteri tarzı esnek bir arabirim üzerinden, HAQM Simple Storage Service (HAQM S3), HAQM Redshift ve diğer veri kaynaklarından verilere erişebilir, farklı altyapılar genelinde sorgu yazıp çalıştırabilir ve doğrudan araç içinde görselleştirmeler oluşturabilirsiniz. Platform, verilerinizin meta verilerini otomatik olarak yöneterek bilgileri anlamayı ve keşfetmeyi kolaylaştırır. Platform, diğer AWS hizmetleriyle sorunsuz bir şekilde entegre olarak geleneksel SQL analizinin ötesine geçmenize olanak tanır, verilerinizi minimum teknik karmaşıklıkla eyleme geçirilebilir öngörülere dönüştürmenize olanak tanır.

Hayır. SQL analizi için SageMaker'ı kullanmak üzere verilerinizi geçirmeniz gerekmez. HAQM S3 (AWS Glue Veri Kataloğu ve HAQM S3 tablo bucket'ları), HAQM Redshift (sunucusuz ve tedarik edilen) ve SQL mühendislik iş akışlarıyla uyumlu ilave 13 birleşik veri kaynağı dahil olmak üzere birden çok kaynaktaki verileri doğrudan keşfedebilir ve sorgulayabilirsiniz. HAQM SageMaker Lakehouse mevcut verilerinize sorunsuz bir şekilde bağlanır. Böylece siz de bilgileri taşımak yerine öngörülere odaklanabilirsiniz. Sadece birkaç hızlı adımda, verilerinizi inceleyebilir, sorgular çalıştırabilir ve teknik zorluklarla boğuşmadan değerli iş bilgilerini açığa çıkarabilirsiniz.

Kullanmaya başlamak için SageMaker, verilerinizi SQL analiz platformuna getirmenin iki yolunu sunar. Bilgilerinizi HAQM S3'te depoluyorsanız SageMaker SQL, veri gölü ile doğrudan bu veriler üzerinde sorgular çalıştırmanıza olanak tanır. Alternatif olarak, COPY komutlarını çalıştırarak verileri veri ambarınıza yükleyebilirsiniz. Masaüstünüzde yerel verileriniz varsa SageMaker, veri dosyalarınızı SageMaker platformuna sürükleyip bırakarak veri dosyalarınızı doğrudan kendi bilgisayarınızdan yüklemenize olanak tanır. Ek olarak, operasyonel veri ambarınızdan veri getirmek için sıfır ETL'yi kullanabilirsiniz. Tüm süreç, teknik engelleri ortadan kaldıracak şekilde tasarlanmış olup karmaşık veri yükleme süreçleriyle boğuşmak yerine öngörüler keşfetmeye odaklanmanıza olanak tanır.

HAQM SageMaker Birleşik Stüdyosu (önizleme), kapsamlı SQL analizleri için güçlü, kullanıcı dostu, not defteri tarzı bir arabirim sunar. Farklı hücrelerde SQL kodu yazıp çalıştırabilir, grafikler ve görselleştirmeler oluşturabilir ve SageMaker Lakehouse aracılığıyla HAQM S3, HAQM Redshift ve diğer çeşitli birleştirilmiş kaynaklar gibi farklı kaynaklardan birleşik verileri inceleyebilirsiniz. Platform, SQL yazmanıza yardımcı olmak için otomatik tamamlama ve söz dizimi denetimi gibi faydalı özellikler de içerir. Ayrıca doğal dilin kullanıldığı SQL kod önerileri sağlayan HAQM Q üretici SQL ile üretken yapay zeka işlevini de kullanabilirsiniz. SageMaker, SQL analizlerini tüm veri kullanıcıları açısından daha sezgisel, esnek ve erişilebilir hale getirmek için tasarlanmıştır.

HAQM SageMaker Birleşik Stüdyosu (önizleme), ekiplerin veri analizi çalışmalarını düzenlemelerine ve yönetmelerine yardımcı olan iş birliğine dayalı bir dijital çalışma alanı olan "projeler" sağlar. Bunu; SQL sorgularını, veri modellerini, kodu ve diğer kaynakları tek bir güvenli konumda depolayabileceğiniz paylaşılan bir klasör olarak düşünebilirsiniz. Bir proje oluşturarak ekip üyelerinin davet edilebileceği, belirli erişim izinlerinin verilebileceği ve sorunsuz bir şekilde birlikte çalışabileceği merkezi bir ortam oluşturursunuz. Bu alanda, sorgularınızı ve veri modellerinizi barındıran Querybook'ları kolayca dağıtabilir, HAQM S3 ve Redshift gibi veri kaynaklarına erişim izni verebilir ve paylaşılan işlem kaynakları sağlayabilirsiniz. Platform, Git entegrasyonu aracılığıyla sürüm denetimini destekleyerek ekibinizin değişiklikleri izlemesine, kod üzerinde iş birliği yapmasına ve SQL analiz çalışmalarınızın net bir geçmişini tutmasına olanak tanır. Bu yaklaşım, tüm ekip üyelerinin SQL analizi iş yükleriniz genelinde güvenliği ve tutarlılığı korurken sorguları görüntüleyebilmesini, düzenleyebilmesini ve çalıştırabilmesini sağlar.

SageMaker'da SQL düzenleyicisini kullanmanın ek bir maliyeti yoktur. Yalnızca HAQM Athena ve HAQM Redshift gibi mevcut işlem altyapılarını kullanımınız için ödeme yaparsınız.

HAQM SageMaker'da SQL Analizi Hizmet Düzeyi Sözleşmeleri (SLA'lar) doğrudan altta yatan SQL altyapılarının SLA'larına bağlıdır: HAQM Redshift ve HAQM Athena. Müşteriler, HAQM Redshift ve HAQM Athena için ilgili hizmet düzeyi sözleşmesi sayfalarında ayrıntılı hizmet taahhüdü bilgilerini bulabilir.

HAQM Redshift Sunucusuz, veri ambarı altyapısını ayarlayıp yönetmeye gerek kalmadan analizleri saniyeler içinde daha verimli şekilde çalıştırmanızı ve ölçeklendirmenizi sağlayan, HAQM Redshift’in sunucusuz seçeneğidir. Redshift Sunucusuz sayesinde veri analistleri, geliştiriciler, iş uzmanları ve veri bilimcileri dâhil her kullanıcı, verileri veri ambarına yükleyip sorgulamak suretiyle kolayca öngörüler elde edebilir.

AWS Yönetim Konsolu’nda sadece birkaç adımda “Configure HAQM Redshift Serverless” (HAQM Redshift Sunucusuz’u yapılandır) ögesini seçerek veri sorgulamaya başlayabilirsiniz. Hava durumu verileri, nüfus sayımı verileri ve karşılaştırmalı değerlendirme veri kümeleri gibi önceden yüklenen örnek veri kümelerinin yanı sıra örnek sorgulardan da faydalanarak analizleri hemen başlatabilirsiniz. Veritabanları, şemalar, tablolar oluşturabilir ve HAQM S3, HAQM Redshift veri paylaşımlarından veri yükleyebilir veya mevcut bir Redshift tedarik edilen küme anlık yedeğinden geri yükleyebilirsiniz. Ayrıca HAQM S3 veri gölünde (Parquet veya ORC gibi) açık biçimlerde doğrudan veri sorgulayabilir ya da HAQM Aurora, HAQM RDS PostgreSQL ve MySQL gibi operasyonel veri tabanlarında veri sorgulayabilirsiniz. Kullanmaya Başlama Kılavuzu’na bakın.

Veri ambarı yönetimi konusunda deneyime sahip değilseniz kümeleri kurma, yapılandırma, yönetme veya ambarı ayarlama konusunda endişelenmenize gerek yoktur. Verilerinizden anlamlı öngörüler oluşturmaya veya veriler aracılığıyla temel iş sonuçlarınıza ulaşmaya odaklanabilirsiniz. Sadece kullandığınız kadar ödeyerek maliyetleri yönetilebilir seviyede tutarsınız. HAQM Redshift'in üst düzey performansından, zengin SQL özelliklerinden, data lake'ler ve operasyonel veri ambarları ile sorunsuz entegrasyonundan, yerleşik tahmine dayalı analiz ve veri paylaşımı özelliklerinden faydalanmaya devam edersiniz. Veri ambarınız üzerinde ayrıntılı denetime sahip olmanız gerekiyorsa Redshift kümeleri tedarik edebilirsiniz.

HAQM Redshift’in karmaşık birleştirmeler, HAQM S3 veri gölü ve operasyonel veri tabanlarında doğrudan veri sorguları, gerçekleştirilmiş görünümler, depolanmış prosedürler, yarı yapılandırılmış veri desteği ve makine öğrenimi gibi tüm zengin analiz fonksiyonlarını ve uygun ölçekte yüksek performansını kullanmaya devam edebilirsiniz. HAQM Redshift’in entegre olduğu tüm ilişkili hizmetler (HAQM Kinesis, AWS Lambda, HAQM QuickSight, HAQM SageMaker, HAQM EMR, AWS Lake Formation ve AWS Glue gibi), HAQM Redshift Sunucusuz ile çalışmaya devam etmektedir.

Tüm analiz kullanım örneklerini çalıştırmaya devam edebilirsiniz. Basit bir kullanmaya başlama iş akışı, otomatik ölçeklendirme ve kullandığın kadar ödeme özelliği sayesinde HAQM Redshift Sunucusuz deneyimi, artık hızla kullanılmaya başlanması gereken geliştirme ve test ortamlarını, geçici iş analizlerini, değişkenlik gösteren ve öngörülemez işlem gereksinimlerini ve aralıklı ya da düzensiz iş yüklerini çalıştırmayı daha da verimli ve uygun maliyetli hâle getirmektedir.

HAQM Redshift'e HAQM S3, HAQM RDS, HAQM DynamoDB, HAQM EMR, AWS Glue, AWS Veri İşlem Hattı gibi çeşitli veri kaynaklarından veya HAQM EC2'deki ya da şirket içindeki başka herhangi bir SSH özellikli ana sunucudan veri yükleyebilirsiniz. HAQM Redshift, veri ambarı kümenize veri alma hızını en üst düzeye çıkarabilmeniz için verilerinizi paralel olarak her işlem düğümüne yüklemeye çalışır. İstemciler ODBC veya JDBC kullanarak HAQM Redshift’e bağlanabilir ve “insert” SQL komutları çalıştırarak veri ekleyebilir. S3 veya DynamoDB tarafından yöntemler her işlem düğümüne paralel olarak yüklenirken SQL ekleme bildirimlerinin tek bir baş düğüm aracılığıyla yüklenmesi nedeniyle bunun daha yavaş olduğunu lütfen unutmayın. HAQM Redshift'e veri yükleme konusunda daha ayrıntılı bilgi edinmek için lütfen Kullanmaya Başlama Kılavuzu'muza bakın.

Redshift otomatik kopyalama, HAQM S3 klasörlerini izleyerek ve müşteri müdahalesi olmadan yeni dosyaları alarak kopyalama ifadelerini otomatikleştirme özelliği sağlar. Otomatik kopyalama olmadığında bir kopyalama ifadesi mevcut dosyalar için dosya alma sürecini hemen başlatır. Otomatik kopyalama, mevcut kopya komutunu genişletir ve 1/ yeni dosyalar için belirtilen HAQM S3 yollarını izleyerek dosya alım sürecini otomatikleştirme, 2/ tekrarlanan alım görevleri için yeni kopya ifadeleri oluşturma ve çalıştırma ihtiyacını azaltmak üzere kopya yapılandırmalarını yeniden kullanma ve 3/ veri çoğaltmayı önlemek için yüklenen dosyaları takip etme olanağı sağlar.

Kullanmaya başlamak için müşterilerin, ilişkili IAM rolleri kullanılarak Redshift kümesi/sunucusuz uç noktası tarafından erişilebilen bir HAQM S3 klasörüne sahip olmaları ve hedef olarak kullanılacak bir Redshift tablosu oluşturmaları gerekir. HAQM S3 yolu ve Redshift tablosu hazır olduğunda müşteriler, kopya komutunu kullanarak bir kopyalama işi oluşturabilirler. Kopyalama işi oluşturulduktan sonra Redshift, belirtilen HAQM S3 yolunu arka planda izlemeye başlar ve yeni dosyaları otomatik olarak hedef tabloya kopyalamak için kullanıcı tarafından belirlenen kopyalama ifadelerini başlatır.

Başlıca kullanım örnekleri şunlardır: 1/ Veri alımı ve dönüştürme hatlarının (toplu iş ve akış) bir parçası olarak verilere erişen ve HAQM Redshift’e veri yükleyen Apache Spark işlerini çalıştırmak için HAQM EMR ve AWS Glue kullanan müşteriler 2/ Apache Spark kullanarak makine öğrenimi gerçekleştirmek için HAQM SageMaker kullanan ve özellik mühendisliği ile dönüştürme için HAQM Redshift’te depolanan verilere erişmesi gereken müşteriler. 3/ HAQM Redshift’teki verilerde etkileşimli analiz gerçekleştirmek için Apache Spark kullanan HAQM Athena müşterileri.

Baikal aşağıdaki faydaları sağlar:

• Spark'ın sertifikasız sürümlerini kurmak ve bunların bakımını yapmak için gereken manuel adımlar konusunda endişelenmenize gerek kalmadan Apache Spark uygulamalarını HAQM Redshift'teki veriler üzerinde başlatmak ve çalıştırmak için kullanım kolaylığı
• Apache Spark'ı HAQM EMR, AWS Glue, HAQM Athena ve HAQM SageMaker gibi çeşitli AWS hizmetlerinden HAQM Redshift ile birlikte minimum yapılandırmayla kullanma kolaylığı
• HAQM Redshift'te Apache Spark uygulamalarını çalıştırırken gelişmiş performans

HAQM Redshift’e HAQM Aurora Sıfır ETL, HAQM Aurora’dan gelen işlem verilerini yazıldığı birkaç saniye içinde HAQM Redshift’te kullanılabilir hâle getirmek için tam olarak yönetilen bir çözüm sunarak HAQM Aurora ve HAQM Redshift müşterilerinin petabaytlarca işlem verisi üzerinde neredeyse gerçek zamanlı analiz ve makine öğrenimi çalıştırmalarına olanak tanır. HAQM Redshift’e HAQM Aurora Sıfır ETL sayesinde müşteriler, HAQM Redshift ile analiz etmek istedikleri verileri içeren HAQM Aurora tablolarını seçerler ve bu özellik, şemayı ve verileri sorunsuz bir şekilde HAQM Redshift’te çoğaltır. Müşterilerin karmaşık veri işlem hattı oluşturma ve yönetme ihtiyacını azaltır, böylece bunun yerine uygulamalarını iyileştirmeye odaklanabilirler. HAQM Redshift’e HAQM Aurora Sıfır ETL sayesinde müşteriler, birden fazla HAQM Aurora veri tabanı kümesindeki verileri aynı HAQM Redshift bulut sunucusuna çoğaltarak çeşitli uygulamalarda kapsamlı öngörüler elde edebilir ve aynı zamanda temel analitik varlıklarını birleştirerek önemli ölçüde maliyet tasarrufu ve operasyonel verimlilik sağlayabilirler. HAQM Redshift’e HAQM Aurora Sıfır ETL sayesinde müşteriler, HAQM Redshift’in gerçekleştirilmiş görünümler, veri paylaşımı ve birden çok veri deposuna ve veri gölüne birleştirilmiş erişim gibi temel analiz ve makine öğrenimi özelliklerine de erişebilir. Bu, müşterilerin iş kararları için bilgi sağlayan, zamana duyarlı öngörüleri etkili bir şekilde elde etmek için neredeyse gerçek zamanlı ve temel analitiği birleştirmelerini sağlar. Ayrıca müşteriler işlemler için HAQM Aurora’yı ve analizler için HAQM Redshift’i kullandığından paylaşılan bilgi işlem kaynakları yoktur; bu da yüksek performanslı ve operasyonel olarak kararlı bir çözüm sunar.

HAQM Redshift ile HAQM Aurora Sıfır ETL Entegrasyonu, işlemsel analiz için iki hizmet arasında sorunsuz entegrasyon sunar.

Akış verileri, bir akışı sorguladığınızda zamanla değişen bir ilişkinin gelişimini yakaladığınız için geleneksel veri tabanı tablolarından farklıdır. Öte yandan tablolar, bu zamanla değişen ilişkinin belirli bir noktada anlık yedeğini yakalar. HAQM Redshift müşterileri, normal tablolarda çalışmaya ve “ELT” gibi geleneksel bir toplu işlem modelini kullanarak verilerde aşağı akış işlemesi (yani, dönüştürmeleri) gerçekleştirmeye alışkındır. Redshift Gerçekleştirilmiş Görünümler’i (MV’ler) kullanmak için bir yöntem sunuyoruz; böylece müşteriler, ELT iş akışlarını desteklemek için mümkün olan en hızlı şekilde, sorgulandığı ana kadar birikmiş akışın belirli bir noktadaki görünümünü kolayca gerçekleştirebilirler.

Başlıca kullanım örnekleri şunlardır:

• Çok sayıda BI/analiz kümesiyle veri paylaşımı yaparak okuma iş yükü yalıtımı ve isteğe bağlı ücretlendirme olanağı sağlayan bir merkezi ETL kümesi.
• Harici tüketicilerle veri paylaşımı yapan bir veri sağlayıcısı.
• Müşteriler, ürünler gibi ortak veri kümelerini farklı iş grupları genelinde paylaşma ve geniş analiz ile veri bilimi için iş birliği yapma.
• Bir veri ambarını merkeziyetsizleştirerek yönetimi basitleştirme.
• Geliştirme, test ve üretim ortamları arasında veri paylaşımı yapma.
• Redshift verilerine diğer AWS analiz hizmetlerinden erişme.

Veri tabanları arası sorgular sayesinde hangi veri tabanına bağlı olduğunuz fark etmeksizin, erişim sahibi olduğunuz herhangi bir Redshift veri tabanını kolayca sorgulayabilir ve aldığınız verileri birleştirebilirsiniz. Hem kümede yerel olarak bulunan veritabanları hem de uzak kümelerden erişime açılmış paylaşılan veri kümeleri buna dahil olabilir. Veri tabanları arası sorgular size çok kiracılı yapılandırmaları desteklemek üzere verileri ayrı veri tabanlarında organize etme esnekliği sunar.

AWS Veri Değişimi, AWS müşterilerinin AWS'de üçüncü taraf verilerini güvenli bir şekilde değiş tokuş etmesini ve kullanmasını daha verimli hale getirir. Veri analistleri, ürün müdürleri, portföy yöneticileri, veri bilimcileri, kantitatif analistler, klinik deneme teknisyenleri ve neredeyse her sektörden geliştiriciler analiz geliştirmek, makine öğrenimi modellerini eğitmek ve veriye dayalı kararlar almak amacıyla daha fazla veriye erişmek istemektedir. Ancak, çok sayıda sağlayıcıdan gelen verileri bir arada bulabileceğiniz tek bir adres ve sağlayıcıların verileri ulaştırma şeklinde tutarlılık olmadığı için bu kişiler gönderilen fiziksel ortam, FTP kimlik bilgileri ve ısmarlama API çağrılarının bir karışımı ile uğraşmak zorunda kalır. Buna karşılık, çok sayıda kuruluş verilerini araştırma amaçları veya ticari amaçlar doğrultusunda kullanıma açmak istemektedir ancak veri dağıtım, yetkilendirme ve faturalandırma teknolojisini geliştirip devamlılığını sağlamak hem oldukça zor hem de pahalıdır ve bu durum değerli verilerin arzını baskılamaktadır.

HAQM Redshift Sunucusuz, veri ambarı kapasitesini otomatik olarak sağlar ve temel kaynakları akıllı bir şekilde ölçeklendirir. HAQM Redshift Sunucusuz, en zorlu ve değişken iş yükleri için bile sürekli olarak yüksek performans ve basitleştirilmiş operasyonlar sunmak için kapasiteyi saniyeler içinde ayarlar. Eş Zamanlılık Ölçeklendirme özelliği sayesinde sınırsız sayıda kullanıcıyı ve eş zamanlı sorguyu, tutarlı şekilde hızlı sorgu performansıyla destekleyebilirsiniz. Eş zamanlılık ölçeklendirme etkinleştirilince, kümenizde sorguların kuyruğa alınmasında artış gözlemlendiğinde HAQM Redshift otomatik olarak küme kapasitesi ekler.

Manuel ölçeklendirme için sorgu performansını artırmak veya fazla CPU, bellek ya da G/Ç kullanımına yanıt vermek istiyorsanız AWS Yönetim Konsolu veya ModifyCluster API'si aracılığıyla Esnek Yeniden Boyutlandırma'yı kullanarak veri ambarı kümenizdeki düğüm sayısını artırabilirsiniz. Veri ambarı kümenizi değiştirdiğinizde istediğiniz değişiklikler anında uygulanır. Redshift veri ambarı kümenize yönelik işlem kullanımı, depolama kullanımı ve okuma/yazma trafiğine ilişkin ölçümlere AWS Yönetim Konsolu veya HAQM CloudWatch API’leri aracılığıyla ücretsiz olarak erişebilirsiniz. HAQM CloudWatch özel ölçüm işlevi aracılığıyla kullanıcı tanımlı ölçümler de ekleyebilirsiniz.

HAQM Redshift Spectrum’da, HAQM S3’te depolanan aynı verilere erişen birden çok Redshift kümesi çalıştırabilirsiniz. Farklı kullanım örnekleri için farklı kümeler kullanabilirsiniz. Örneğin, bir kümeyi standart raporlama için kullanırken başka bir kümeyi veri bilimi sorguları için kullanabilirsiniz. Pazarlama ekibiniz, operasyon ekibinizin kümelerinden farklı olarak kendi kümelerini kullanabilir. Redshift Spectrum, HAQM S3’ten gelen verileri okumak ve işlemek için sorgunuzun yürütülmesini paylaşılan bir kaynak havuzundan birkaç Redshift Spectrum çalışanına otomatik olarak dağıtır ve kalan işlemler için sonuçları tekrar Redshift kümenize çeker.

Duruma bağlı. Eş Zamanlılık Ölçeklendirme özelliği kullanılırken eş zamanlılık ölçeklendirme esnasında küme, okuma ve yazma için tam olarak erişilebilir durumdadır. Esnek yeniden boyutlandırma ile dört ila sekiz dakika süren yeniden boyutlandırma esnasında küme erişilebilir olmaz. Yönetilen depolamada Redshift RA3 depolama esnekliğiyle, küme tam olarak erişilebilirdir ve veriler, yönetilen depolama ile işlem düğümleri arasında otomatik olarak taşınır.

Esnek Yeniden Boyutlandırma, tek bir Redshift kümesindeki düğümleri dakikalar içinde ekleyerek veya kaldırarak sorgu performansını yönetir. Örneğin, günün belirli saatlerine veya ay sonu raporlamasına yönelik bir ETL iş yükünün zamanında tamamlanabilmesi için ek HAQM Redshift kaynakları gerekebilir. Eş Zamanlılık Ölçeklendirme, daha fazla küme kaynağı ekleyerek genel sorgu eş zamanlılığını artırır.

Hayır. Eş Zamanlılık Ölçeklendirme, HAQM Redshift kaynaklarından oluşan ve çok büyük oranda ölçeklendirilebilen bir havuzdur ve müşteriler buna doğrudan erişemez.

HAQM Redshift; tek oturum açma (SSO) için yerleşik kimlik yönetimi ve federasyonu, çok faktörlü kimlik doğrulama, sütun düzeyinde erişim kontrolü, kayıt seviyesinde güvenlik, rol tabanlı erişim kontrolü ve HAQM Sanal Özel Bulut (HAQM VPC) ile sektör lideri güvenliği destekler. HAQM Redshift ile verileriniz taşınırken ve bekleme durumundayken şifrelenir. Tüm HAQM Redshift güvenlik özellikleri, en zorlu güvenlik, gizlilik ve uyumluluk gereksinimlerini karşılamak için hiçbir ek ücret olmadan kullanıma hazır olarak sunulur. ISO 27001, SOC, HIPAA/HITECH ve FedRAMP dâhil olmak üzere diğer tüm sağlayıcılardan daha fazla güvenlik standardını ve uyumluluk sertifikasını destekleyen AWS’nin avantajlarından yararlanırsınız.

Evet, HAQM Redshift rol tabanlı erişim denetimi desteği sağlar. Rol tabanlı erişim kontrolü bir kullanıcıya bir veya daha fazla rol atamanızı ve role göre sistem ve nesne izinleri atamanızı sağlar. Kullanıma hazır sistem rolü tabanlı kök kullanıcı, dba, işlemci ve güvenlik yöneticilerini kullanabilir veya kendi rollerinizi oluşturabilirsiniz.

AWS Lambda kullanıcı tanımlı işlevleri (UDF’ler), bir AWS Lambda işlevini HAQM Redshift’te bir UDF olarak kullanmanıza ve bunu Redshift SQL sorgularından çağırmanıza olanak tanır. Bu işlevsellik, diğer hizmetlerle veya üçüncü taraf ürünleriyle daha sıkı entegrasyon sağlamak üzere SQL sorgunuz için özel uzantılar yazmanızı sağlar. Protegrity gibi satıcılarla entegrasyon kurarak verilerin haricî olarak belirtece dönüştürülmesini, maskelenmesini, tanımlanmasını veya kimlik bilgilerinden arındırılmasını mümkün kılmak, ayrıca hassas verileri her kullanıcının izinlerine ve gruplarına bağlı olarak sorgu anında koruma altına almak ya da korumadan çıkarmak için Lambda UDF’leri yazabilirsiniz.

Dinamik veri maskeleme desteği sayesinde müşteriler, Veri Maskeleme politikalarını yöneterek hassas verilerini kolayca koruyabilir ve ayrıntılı erişimi kontrol edebilirler. Birden çok kullanıcıya sahip uygulamalarınız ve tüm kullanıcılara sunulamayan hassas verileri olan nesneleriniz olduğunu varsayalım. Farklı kullanıcı gruplarına vermek istediğiniz farklı ayrıntılı güvenlik düzeyi sağlama gereksinimleriniz var. Redshift Dinamik Veri Maskeleme, müşterilerin tutarlı, biçimi koruyan ve geri alınamaz maskelenmiş veri değerleri tanımlamasına izin verecek şekilde yapılandırılabilir. Özellik GA olduğunda hemen kullanmaya başlarsınız. Güvenlik yöneticileri yalnızca birkaç komutla politika oluşturabilir ve uygulayabilir.

Evet. Microsoft Azure Active Directory, Active Directory Federation Services, Okta, Ping Federate veya diğer SAML uyumlu kimlik sağlayıcıları gibi kurumsal kimlik sağlayıcılarını kullanmak isteyen müşteriler, HAQM Redshift’i tek oturum açma sağlayacak şekilde yapılandırabilirler. Microsoft Azure Active Directory (AD) kimlik bilgileriyle HAQM Redshift kümesinde oturum açabilirsiniz. Bu, Redshift’te Azure Active Directory kimliklerini çoğaltmadan Redshift’te oturum açabilmenizi sağlar.

Evet. HAQM Redshift kümenizde kimlik doğrulaması yaparken ek güvenlik için çok faktörlü kimlik doğrulamayı (MFA) kullanabilirsiniz.

HAQM Redshift, veri ambarı kümenizde başarısız olan düğümü otomatik olarak algılayıp değiştirir. Yoğun İşlem (DC) ve Yoğun Depolama (DS2) kümelerinde yüksek veri dayanıklılığı sağlamak için veriler işlem düğümlerinde depolanır. Bir düğüm değiştirildiğinde, veriler diğer düğüm üzerindeki yansıtma kopyasından yenilenir. RA3 kümeleri ve Redshift sunucusuz, veriler HAQM S3’te depolandığı ve yerel sürücü, bir veri önbelleği olarak kullanıldığı için aynı şekilde etkilenmez. Yedek bir düğüm tedarik edilip veri tabanına eklenene kadar veri ambarı kümesi sorgulara ve güncelleştirmelere kapalı olur. HAQM Redshift, yedek düğümünüzü anında erişilebilir hâle getirir ve verilerinizi olabildiğince hızlı bir şekilde sorgulamaya başlayabilmeniz için önce HAQM S3’ten en sık erişilen verileri yükler. Tek düğümlü kümeler veri replikasyonunu desteklemez. Bir sürücünün başarısız olması durumunda kümeyi S3’teki anlık yedekten geri yüklemeniz gerekir. Üretim için en az iki düğüm kullanılmasını öneririz.

HAQM Redshift veri ambarınız single-AZ dağıtımıysa ve kümenin Erişilebilirlik Alanı erişilemez hâle gelirse HAQM Redshift hiçbir veri kaybı veya uygulama değişikliği yaşanmadan kümenizi otomatik olarak başka bir AWS Erişilebilirlik Alanı’na (AZ) taşır. Bunu aktifleştirmek için kümenizin yapılandırma ayarlarında taşınma özelliğini etkinleştirmeniz gerekir.

Müşteriler, single-AZ dağıtımlarından farklı olarak artık multi-AZ dağıtımında veri ambarlarını çalıştırarak Redshift’in erişilebilirliğini iyileştirebilir. Multi-AZ dağıtımı, veri ambarınızı birden çok AWS Erişilebilirlik Alanı’nda (AZ) aynı anda çalıştırmanıza ve öngörülemeyen hata senaryolarında çalışmaya devam etmenize olanak tanır. Multi-AZ dağıtımı, tek bir uç nokta ile tek bir veri ambarı olarak yönetildiğinden iş sürekliliğini sürdürmek için herhangi bir uygulama değişikliği gerekmez. Multi-AZ dağıtımları, otomatik olarak kurtarma kapasitesini garanti ederek kurtarma süresini azaltır ve en yüksek düzeylerde erişilebilirlik ve AZ hatalarına karşı dayanıklılık gerektiren iş açısından kritik analitik uygulamalara sahip müşteriler için tasarlanmıştır. Bu aynı zamanda müşterilerin AWS Well-Architected Çerçevesi’nin Güvenilirlik Bileşeni önerileriyle daha uyumlu bir çözüm uygulamasına olanak tanır. HAQM Redshift Multi-AZ hakkında daha fazla bilgi için buraya bakın.

RPO, Kurtarma Noktası Hedefi (Recovery Point Objective) ifadesinin kısaltmasıdır ve arıza durumunda veri güncelliği garantisini açıklayan bir terimdir. RPO, son veri kurtarma noktasından itibaren kabul edilebilir maksimum süredir. Bu, son kurtarma noktası ile hizmetin kesintiye uğraması arasında nelerin kabul edilebilir bir veri kaybı olarak ele alınabileceğini belirler. Redshift Multi-AZ, RPO = 0'ı destekler; yani bir arıza durumunda verilerin geçerli ve güncel olması garanti edilir. Lansman öncesi testlerimiz, muhtemel olmayan bir AZ arızası durumunda HAQM Redshift Multi-AZ dağıtımlarıyla RTO'nun 60 saniyenin altında veya daha kısa olduğunu bulmuştur.

Redshift Relocation, tüm yeni RA3 kümelerinde ve sunucusuz uç noktalarda varsayılan olarak etkindir; bu, büyük ölçekli bir kesinti durumunda herhangi bir veri kaybı veya ek maliyet olmaksızın bir veri ambarının başka bir AZ’de yeniden başlatılmasına olanak tanır. Yeniden konumlandırma kullanımı ücretsiz olsa da sınırlamalar, kurtarılan AZ’deki kaynakların erişilebilirliğine bağlı olarak en iyi çaba yaklaşımı olması ve Kurtarma Süresi Hedefi’nin (RTO) yeni bir küme başlatmayla ilgili diğer sorunlardan etkilenebilmesidir. Bu, 10 ila 60 dakika kurtarma süresine neden olabilir. Redshift Multi-AZ, saniyeler içinde ölçülen bir RTO sunarak yüksek erişilebilirlik gereksinimlerini destekler ve yeni bir küme oluştururken kapasite sınırlamalarına veya diğer olası sorunlara tabi olmayacağı için garantili kesintisiz çalışma sunar.

Evet, sektör standardı SQL kullanmakta olan HAQM Redshift’e, standart JDBC ve ODBC sürücüleri kullanılarak erişilir. HAQM Redshift özel JDBC ve ODBC sürücülerini Redshift Console'un Connect Client (İstemci Bağlama) sekmesinden indirebilirsiniz. Popüler BI ve ETL satıcılarıyla olan entegrasyonumuzu doğruladık ve bunlardan bazıları, verilerinizi yükleyip analiz etmeye başlamanıza yardımcı olmak için ücretsiz deneme seçenekleri sunuyor. Dilerseniz AWS Pazar Yeri'ne giderek HAQM Redshift ile çalışacak şekilde tasarlanmış çözümleri dakikalar içinde dağıtıp yapılandırabilirsiniz.

HAQM Redshift Spectrum, tüm HAQM Redshift istemci araçlarını destekler. İstemci araçları ODBC ve JDBC bağlantıları kullanarak HAQM Redshift kümesinin uç noktasına bağlanmaya devam edebilir. Değişiklik gerekmez.

Tam olarak aynı söz dizimini kullanırsınız ve Redshift Spectrum’daki tablolara erişim için Redshift kümenizin yerel depolama alanındaki tablolarla aynı sorgulama özelliklerine sahip olursunuz. Haricî tablolara, bunlar kaydedilirken kullanılan CREATE EXTERNAL SCHEMA komutunda tanımlanan şema adı kullanılarak başvurulur.

HAQM Redshift Spectrum şu anda Avro, CSV, Grok, HAQM Ion, JSON, ORC, Parquet, RCFile, RegexSerDe, Sequence, Text ve TSV dahil olmak üzere birçok açık kaynaklı veri biçimini desteklemektedir.<br>HAQM Redshift Spectrum şu anda Gzip ve Snappy sıkıştırmayı desteklemektedir.

Yerel tablolarda olduğu gibi, sorgunuzda şema adını şema_adı.tablo_adı biçiminde kullanarak tam olarak hangisini kast ettiğinizi seçebilirsiniz.

Evet. CREATE EXTERNAL SCHEMA komutu Hive Metastore’ları destekler. Şu anda Hive Metastore’a yönelik DDL desteği sunmuyoruz.

Bu bilgiyi edinmek için SVV_EXTERNAL_TABLES adlı sistem tablosunu sorgulayabilirsiniz.

Evet. HAQM Redshift ML özelliği, SQL kullanıcılarının aşina oldukları SQL komutlarını kullanarak makine öğrenimi (ML) modellerini oluşturmasını, eğitmesini ve dağıtmasını kolaylaştırır. HAQM Redshift ML, tam olarak yönetilen bir makine öğrenimi hizmeti olan HAQM SageMaker ile HAQM Redshift'teki verilerinizden yararlanmanıza olanak tanır. HAQM Redshift, hem denetimsiz öğrenmeyi (K-Means) hem de denetimli öğrenmeyi (Autopilot, XGBoost, MLP algoritmaları) destekler. Önceden oluşturulmuş Lambda UDF işlevleriyle SQL sorgularındaki metin alanlarını çevirmek, düzeltmek ve analiz etmek için AWS Language AI hizmetlerini de kullanabilirsiniz. Blog gönderisini inceleyin.

HAQM Redshift; her türlü geleneksel, bulut temelli ve container'lı, sunucusuz web hizmetleri tabanlı ve olay odaklı uygulamalarla HAQM Redshift'teki verilerinize zahmetsizce erişmek için kullanabileceğiniz bir Veri API'si sağlar. Sürücüleri yapılandırmanız ve veritabanı bağlantılarını yönetmeniz gerekmediği için Veri API'si, HAQM Redshift erişimini basitleştirir. Bunun yerine, Veri API'si tarafından sağlanan güvenli bir API uç noktasını çağırarak bir HAQM Redshift kümesinde SQL sorguları çalıştırabilirsiniz. Veritabanı bağlantılarını yönetme ve verileri arabelleğe alma işini Veri API'si üstlenir. Veri API'si zaman uyumsuz olduğundan, sonuçlarınızı daha sonra alabilirsiniz. Sorgu sonuçlarınız 24 saat boyunca depolanır.

Veri API’si hem IAM kimlik bilgilerini hem de AWS Gizli Bilgi Yöneticisi’nden gizli anahtar kullanımını desteklemektedir. Veri API’sinin AWS Kimlik ve Erişim Yönetimi (IAM) kimlik bilgilerini federe etmesi sayesinde API çağrılarında veri tabanı kimlik bilgilerini aktarmadan Okta veya Azure Active Directory gibi kimlik bilgileri sağlayıcılarını ya da Gizli Bilgi Yöneticisi’nde depolanan veri tabanı kimlik bilgilerini kullanabilirsiniz.

Evet, aws redshift-data komut satırı seçeneğiyle Veri API’sini AWS CLI’dan kullanabilirsiniz.

Veri API’sini AWS Lambda, AWS Cloud9, AWS AppSync ve HAQM EventBridge gibi diğer hizmetlerden kullanabilirsiniz.

Hayır, Veri API'sini kullanmaya ilişkin ayrı bir ücret söz konusu değildir.

Sıfır ETL; ayıklama, dönüştürme ve yükleme (ETL) veri işlem hatları oluşturma ihtiyacını ortadan kaldıran veya en aza indiren, AWS tarafından sunulan, tam olarak yönetilen bir entegrasyon kümesidir. Sıfır ETL birden çok operasyonel kaynaktaki, işlem kaynağındaki ve kurumsal uygulamadaki verileri SageMaker Lakehouse ve HAQM Redshift'te kullanılabilir hale getirir. ETL, farklı kaynaklardan gelen verileri analiz, yapay zeka ve makine öğrenimi iş yüklerine hazır hale getirmek için birleştirme, temizleme ve normalleştirme işlemini ifade eder. Geleneksel ETL işlemleri zaman alıcı olup geliştirme, sürdürme ve ölçeklendirme açısından karmaşıktır. Sıfır ETL entegrasyonları ise tersine, ETL veri işlem hatları oluşturmaya ve çalıştırmaya gerek kalmadan noktadan noktaya veri hareketini kolaylaştırır.

Daha fazla bilgi edinmek için bkz. Sıfır ETL nedir?

Sıfır ETL entegrasyonları, aşağıdakiler dahil olmak üzere geleneksel ETL süreçlerinde mevcut olan veri hareketi zorluklarının çoğunu çözer:

• Karmaşık veri eşleme kuralları, hata işleme ve güvenlik gereksinimleri nedeniyle artan sistem karmaşıklığı
• Artan veri hacimleri, altyapı yükseltmeleri ve bakım kaynaklı ek maliyetler
• Özel kod geliştirme ve dağıtımı nedeniyle analiz, yapay zeka ve makine öğrenimi geliştirme süreçlerinin gecikmesi ve bunun da gerçek zamanlı kullanım örnekleri için fırsatların kaçırılmasına neden olması.

• Daha fazla çeviklik: Sıfır ETL, veri mimarisini basitleştirerek veri mühendisliği çabalarını azaltır. Büyük miktarda veriyi yeniden işleme ihtiyacı olmaksızın yeni veri kaynaklarının dahil edilmesine olanak tanır. Bu esneklik, veriye dayalı karar vermeyi ve hızlı inovasyonu destekleyerek çevikliği artırır.
• Maliyet etkinliği: Sıfır ETL, bulut temelli ve ölçeklenebilir veri entegrasyon teknolojilerini kullanarak işletmelerin gerçek kullanım ve veri işleme ihtiyaçlarına göre maliyetleri optimize etmesine olanak tanır. Kuruluşlar altyapı maliyetlerini, geliştirme çabalarını ve bakım giderlerini azaltır
• Daha hızlı öngörüler elde etme: Geleneksel ETL işlemleri genellikle periyodik toplu güncellemeleri içerir ve bu da gecikmeli veri kullanılabilirliğine neden olur. Öte yandan sıfır ETL entegrasyonları; analiz, yapay zeka/makine öğrenimi ve raporlama için daha yeni veriler sağlamaya yardımcı olmak üzere neredeyse gerçek zamanlı veri erişimi sağlar. Gerçek zamanlı panolar, optimize edilmiş oyun deneyimi, veri kalitesi izleme ve müşteri davranış analizi gibi kullanım örnekleri için daha doğru ve zamanında öngörüler elde edersiniz. Kuruluşlar veriye dayalı tahminleri daha güvenle yapabilir, müşteri deneyimlerini iyileştirebilir ve işletme genelinde veriye dayalı öngörüleri teşvik edebilir.

re:Invent 2024'te aşağıdaki dört sıfır ETL entegrasyonunu duyuracağız:

• Uygulamalardan sıfır ETL entegrasyonları için HAQM SageMaker Lakehouse ve HAQM Redshift desteği
• HAQM SageMaker Lakehouse ile HAQM DynamoDB sıfır ETL entegrasyonu
• HAQM CloudWatch Günlükleri ile HAQM OpenSearch Hizmeti sıfır ETL entegrasyonu
• HAQM Security Lake ile HAQM OpenSearch Hizmeti sıfır ETL entegrasyonu

Sıfır ETL entegrasyonlarının piyasaya sürülmesinden bu yana yedi entegrasyon sunduk:

• HAQM Redshift ile HAQM Aurora MySQL sıfır ETL entegrasyonu
• HAQM Redshift ile HAQM Aurora PostgreSQL sıfır ETL entegrasyonu
• HAQM Redshift ile MySQL İçin HAQM Relational Database Service (HAQM RDS) sıfır ETL entegrasyonu
• HAQM OpenSearch Hizmeti ile HAQM DynamoDB sıfır ETL entegrasyonu
• HAQM OpenSearch Hizmeti ile HAQM DocumentDB sıfır ETL entegrasyonu
• HAQM Simple Storage Service (HAQM S3) ile HAQM OpenSearch Hizmeti sıfır ETL entegrasyonu
• HAQM Redshift ile HAQM DynamoDB sıfır ETL entegrasyonu

Fiyatlandırma hakkında daha fazla bilgi edinmek için HAQM Redshift, AWS Glue ve SageMaker Lakehouse fiyatlandırma sayfalarını ziyaret edin.

Sıfır ETL hakkında daha fazla bilgi edinmek için Sıfır ETL nedir? sayfasını ziyaret edin.

Şema değişikliklerinin nasıl ele alındığına dair bazı önemli noktalar şunlardır:

• CREATE TABLE, ALTER TABLE ve DROP TABLE gibi DDL ifadeleri, Aurora'dan HAQM Redshift'e otomatik olarak çoğaltılır.
• Entegrasyon, çoğaltılmış şema değişiklikleri için HAQM Redshift tablolarında gerekli denetimleri ve ayarlamaları yapar. Örneğin, Aurora'da eklenecek bir sütun, HAQM Redshift'e de eklenecektir.
• Çoğaltma ve şema değişimleri, kaynak ve hedef veri tabanları arasında minimum gecikmeyle otomatik olarak gerçek zamanlı bir şekilde gerçekleşir.
• DML değişiklikleri DDL değişikliklerine paralel olarak gerçekleşse bile şema tutarlılığı korunur.

Sıfır ETL entegrasyonu ile çoğaltılan verileri dönüştürmek için yerel HAQM Redshift veri tabanınızda gerçekleştirilmiş görünümler oluşturabilirsiniz. Yerel veri tabanınıza bağlanın ve hedef veri tabanlarına erişmek için veri tabanları arası sorguları kullanın. Üç bölümlü gösterimle (hedef-veri-tabanı-adı.şema-adı.tablo-adı) tam nitelikli nesne adlarını kullanabilir veya hedef veri tabanına ve şema çiftine başvuran harici bir şema oluşturarak iki bölümlü gösterim (harici-şema-adı.tablo-adı) kullanabilirsiniz.

HAQM Redshift RA3 kümeleri ve HAQM Redshift Sunucusuz, kullanılabilir verilerin daima en son kopyasını barındıran Redshift Tarafından Yönetilen Depolama’yı kullanır. DS2 ve DC2 kümeleri, kümedeki verileri yansıtarak bir arıza durumunda en son kopyanın mevcut olmasını sağlar. Yedekler tüm Redshift küme türlerinde otomatik olarak oluşturulup 24 saat süreyle saklanır ve sunucusuz sistemlerde son 24 saat için kurtarma noktaları sağlanır

Ayrıca süresiz olarak saklayabileceğiniz kendi yedeklerinizi de oluşturabilirsiniz. Bu yedekler herhangi bir zamanda oluşturulabilir ve HAQM Redshift otomatik yedekleri veya HAQM Redshift Sunucusuz kurtarma noktaları, daha uzun süreli saklama amacıyla bir kullanıcı yedeğine dönüştürülebilir.

HAQM Redshift aynı zamanda, olağanüstü durum kurtarma için anlık yedeklerinizi veya kurtarma noktalarınızı bir başka Bölgedeki HAQM S3’e zaman uyumsuz olarak çoğaltabilir.

Bir DS2 veya DC2 kümesinde ücretsiz yedek depolama alanı, veri ambarı kümesindeki düğümlerin toplam depolama boyutuyla sınırlıdır ve yalnızca etkin veri ambarı kümeleri için geçerlidir.

Örneğin, toplam 8 TB veri ambarı depolama alanınız varsa ücretsiz olarak en fazla 8 TB yedek depolama alanı sağlarız. Yedeklerinizin tutulma süresini bir günden uzun olacak şekilde ayarlamak isterseniz AWS Yönetim Konsolu'nu ya da HAQM Redshift API'lerini kullanarak bunu gerçekleştirebilirsiniz. Otomatik anlık yedekler hakkında daha fazla bilgi edinmek için lütfen HAQM Redshift Yönetim Kılavuzu’na bakın.

HAQM Redshift yalnızca değişen verileri yedeklediğinden, çoğu anlık yedek ücretsiz depolama alanınızın sadece küçük bir miktarını kullanır. Bir yedeği geri yüklemeniz gerektiğinde, yedek tutma aralığınız içinde tüm otomatik yedeklere erişebilirsiniz. Geri yüklenecek yedeği seçtiğinizde yeni bir veri ambarı kümesi tedarik eder ve verilerinizi buna geri yükleriz.

Otomatik yedeklerinizin saklandığı süreyi AWS Yönetim Konsolu veya ModifyCluster API'sinden RetentionPeriod parametresini değiştirerek yönetebilirsiniz. Otomatik yedeklemeyi tamamen kapatmak istiyorsanız tutma dönemini 0 değerine ayarlayabilirsiniz (önerilmez).

Bir veri ambarı kümesini sildiğinizde silme işleminin üzerine son bir anlık yedeğin oluşturulup oluşturulmayacağını belirtme olanağınız vardır. Bu, silinen veri ambarı kümesinin daha sonra geri yüklenmesine olanak sağlar. Veri ambarı kümenizin daha önce manuel olarak oluşturulmuş tüm anlık yedekleri saklanır ve bunları silmediğiniz sürece standart HAQM S3 fiyatları üzerinden faturalama yapılmaya devam eder.

HAQM Redshift veri ambarı kümenize ilişkin işlem kullanımı, depolama kullanımı ve okuma/yazma trafiği ölçümlerine AWS Yönetim Konsolu veya HAQM CloudWatch API'leri aracılığıyla ücretsiz olarak erişebilirsiniz. HAQM CloudWatch’un özel ölçüm işlevi aracılığıyla, kullanıcı tarafından tanımlanmış başka ölçümler ekleyebilirsiniz. AWS Yönetim Konsolu, tüm kümelerinizin durumunu ve performansını izlemenize yardımcı olacak bir izleme panosu sağlar. HAQM Redshift ayrıca, AWS Yönetim Konsolu aracılığıyla sorgu ve küme performansıyla ilgili bilgi sağlar. Bu bilgiler, sorgu planlarını ve yürütme istatistiklerini görüntüleyerek en çok sistem kaynağını hangi kullanıcıların ve sorguların tükettiğini görmenize ve performans sorunlarını tanılamanıza olanak tanır. Ayrıca, verilerinizin ve sorgularınızın tüm düğümlere dengeli bir şekilde dağıldığından emin olmak için işlem düğümlerinizin her birindeki kaynak kullanımını görebilirsiniz.

HAQM Redshift, düzenli aralıklarla bakım gerçekleştirerek düzeltmeleri, geliştirmeleri ve yeni özellikleri kümenize uygular. Kümeyi programlama yoluyla ya da Redshift Konsolu ile değiştirerek zamanlanan bakım aralıklarını değiştirebilirsiniz. Bu bakım aralıkları sırasında HAQM Redshift kümeniz normal işlemlere kapalı olur. Bölgelere göre bakım aralıkları ve planlamalar hakkında daha fazla bilgi edinmek için HAQM Redshift Yönetim Kılavuzu'ndaki Bakım Aralıkları bölümüne bakın.