HAQM SageMaker Lakehouse Hakkında SSS

Sayfa konuları

Genel
3
Özellikler
5
Geçiş
3
Sıfır ETL entegrasyonları
3
Fiyatlandırma
1
Erişilebilirlik
2
Kullanmaya başlama
1

Genel

Tümünü aç

HAQM SageMaker Lakehouse, tüm verilerinizi HAQM Simple Storage Service (HAQM S3) veri gölleri ve HAQM Redshift veri ambarları genelinde birleştirir ve tek bir veri kopyası üzerinde güçlü analiz ve yapay zeka/makine öğrenimi uygulamaları oluşturmanıza yardımcı olur. SageMaker Lakehouse, Apache Iceberg ile uyumlu tüm araç ve altyapıları kullanarak verilerinize erişme ve verilerinizi sorgulama esnekliğini tanır. Tüm analiz ve makine öğrenimi (ML) araçları ve altyapıları genelinde uygulanan izinler tanımlayarak göl evindeki verilerinizi güvence altına alın. Sıfır ETL entegrasyonları yoluyla operasyonel veri tabanları ve uygulamalardaki verileri neredeyse gerçek zamanlı olarak göl evinize getirin. Ayrıca üçüncü taraf veri kaynakları genelinde birleştirilmiş sorgu özellikleriyle verilere yerinde erişin ve verileri sorgulayın.

SageMaker Lakehouse:

a) HAQM S3 veri gölleri ve HAQM Redshift veri ambarları genelindeki verilerinize birleşik erişim imkanı sağlayarak veri silolarını azaltır. Operasyonel veri tabanlarındaki ve uygulamalardaki veriler, kodsuz veya düşük kodlu ayıklama, dönüştürme ve yükleme (ETL) işlem hatlarıyla analiz ve makine öğrenimi için neredeyse gerçek zamanlı olarak göl evinize alınabilir. Ayrıca AWS'deki ve AWS dışında kaynaklardaki verilere erişmek için yüzlerce bağlayıcıyı ve 13 birleştirilmiş sorgu özelliğini de kullanabilirsiniz.

b) Apache Iceberg ile uyumlu çok çeşitli AWS hizmetlerindeki ve açık kaynak ve üçüncü taraf araç ve altyapılardaki tüm verilerinize yerinde erişme ve sorgulama esnekliğini sağlar. SQL, Apache Spark, iş zekası (BI) ve yapay zeka/makine öğrenimi araçları gibi dilediğiniz analiz araçlarını ve altyapılarını kullanabilir ve HAQM S3 veya HAQM Redshift'te depolanan verilerin tek bir kopyası üzerinden iş birliği yapabilirsiniz.

c) HAQM Redshift, HAQM Athena veya HAQM EMR gibi entegre AWS hizmetlerinden veya üçüncü taraf Apache Iceberg uyumlu altyapılardan erişildiğinde verilerinizi koruyan yerleşik bir erişim denetimi mekanizmasıyla kurumsal güvenliği artırır.

SageMaker Lakehouse'a doğrudan HAQM SageMaker Birleşik Stüdyosu'ndan (önizleme) erişilebilir. Farklı kaynaklardan gelen veriler, SageMaker Lakehouse'ta katalog adı verilen mantıksal container'larda düzenlenir. Her katalog; HAQM Redshift veri ambarları, veri gölleri veya veri tabanları gibi mevcut veri kaynaklarından gelen verileri temsil eder. HAQM S3 veya HAQM Redshift Yönetilen Depolama'da (RMS) veri depolamak için doğrudan göl evinde yeni kataloglar oluşturulabilir. SageMaker Lakehouse'taki verilere Apache Spark, Athena veya HAQM EMR gibi Apache Iceberg uyumlu altyapılardan erişilebilir. Ek olarak, bu kataloglar HAQM Redshift veri ambarlarında veri tabanları olarak keşfedilebilir. Bu da SQL araçlarınızı kullanmanıza ve göl evi verilerinizi analiz etmenize olanak tanır.

Özellikler

Tümünü aç

SageMaker Lakehouse, verilerinize erişim denetimini şu iki özellik yoluyla birleştirir: 1) SageMaker Lakehouse, ayrıntılı izinler tanımlamanıza olanak tanır. Bu izinler HAQM EMR, HAQM Athena ve HAQM Redshift gibi sorgu altyapıları tarafından uygulanır. 2) SageMaker Lakehouse, verilerinize yerinde erişim sağlamanıza olanak tanıyarak verilerin kopyalarını oluşturma ihtiyacını ortadan kaldırır. SageMaker Lakehouse'ta birleşik ayrıntılı erişim denetiminden yararlanmak için verilerin tek bir kopyasını ve tek bir erişim denetimi politikası kümesi tutabilirsiniz.

SageMaker Lakehouse, veri gölleri ve veri ambarları genelinde birleşik veri erişimi sağlamak için AWS Glue Veri Kataloğu, Lake Formation ve HAQM Redshift'teki birden fazla teknik katalog üzerine kurulmuştur. SageMaker Lakehouse, tablo tanımlarını ve izinlerini depolamak için AWS Glue Veri Kataloğu'nu ve Lake Formation'ı kullanır. Lake Formation ayrıntılı izinleri, SageMaker Lakehouse'ta tanımlanan tablolar için kullanılabilir. Tablo tanımlarınızı AWS Glue Veri Kataloğu'nda yönetebilir ve verilerinizi güvence altına almak için tablo düzeyinde, sütun düzeyinde ve hücre düzeyinde izinler gibi ayrıntılı izinler tanımlayabilirsiniz. Ayrıca, hesaplar arası veri paylaşımı özelliklerini kullanarak, verileri güvenli iş birliği için kullanılabilir hale getirmek üzere sıfır kopya veri paylaşımını etkinleştirebilirsiniz.

Evet. SageMaker Lakehouse'a erişmek için açık kaynak Apache Iceberg istemci kitaplığı gereklidir. Apache Spark veya Trino gibi üçüncü taraf veya kendi kendini yöneten açık kaynak altyapıları kullanan müşterilerin, SageMaker Lakehouse'a erişmek için sorgu altyapılarına Apache Iceberg istemci kitaplığını eklemeleri gerekir.

Evet, bir Apache Iceberg istemci kitaplığını kullanarak HAQM EMR, AWS Glue, HAQM Athena ve HAQM SageMaker gibi AWS hizmetlerindeki Apache Spark altyapılarından veya üçüncü taraf Apache Spark'tan mevcut HAQM Redshift veri ambarınızdaki verileri okuyabilir ve bu konuma veri yazabilirsiniz. Ancak, tablolara veri yazmak için bunlarla ilgili uygun yazma izinlerine sahip olmanız gerekir.

Evet. Apache Spark gibi dilediğiniz bir altyapıyı kullanarak HAQM S3'teki veri gölü tablolarınızı, birden çok veri tabanı genelinde HAQM Redshift veri ambarınızdaki tablolarla birleştirebilirsiniz.

Geçiş

Tümünü aç

Hayır, SageMaker Lakehouse'u kullanmak için verilerinizi taşımak zorunda değilsiniz. SageMaker Lakehouse, Apache Iceberg'in açık standardı ile verilerinize yerinde erişmenizi ve bunları sorgulamanızı sağlar. HAQM S3 veri gölleri ve HAQM Redshift veri ambarlarındaki verilerinize doğrudan erişebilirsiniz. Operasyonel veri tabanlarındaki ve uygulamalardaki veriler, altyapı bakımı veya karmaşık işlem hatları olmaksızın mevcut sıfır ETL entegrasyonları aracılığıyla neredeyse gerçek zamanlı olarak göl evine alınabilir. Verilerinize yerinde erişmek için birleştirilmiş sorgu özelliklerini de kullanabilirsiniz. Bunlara ek olarak, mevcut veri kaynaklarınızla entegrasyonu sağlamak için yüzlerce AWS Glue bağlayıcısını kullanabilirsiniz.

Zaten bir HAQM Redshift kullanıcısıysanız HAQM Redshift veri ambarınızı birkaç kolay adımda, verilerinizi geçirmeden SageMaker Lakehouse'a kaydedebilirsiniz. Geliştirici kılavuzundaki adımları izleyin.

HAQM S3 veri gölünüzü AWS Glue Veri Kataloğu'nu kullanarak yapılandırdıysanız herhangi bir değişiklik yapmanız gerekmez.

Sıfır ETL entegrasyonları

Tümünü aç

SageMaker Lakehouse; HAQM DynamoDB, HAQM Aurora ve MySQL İçin HAQM RDS ile sıfır ETL entegrasyonları ve şu sekiz uygulama için destek sağlar: Zoho CRM, Salesforce, Salesforce Pardot, ServiceNow, Facebook ads, Instagram ads, Zendesk ve SAP.

Sıfır ETL entegrasyonlarınızı, AWS Glue ile HAQM SageMaker Veri İşleme içindeki AWS Glue konsolu üzerinden yapılandırıp izleyebilirsiniz. Veriler alındıktan sonra Apache Iceberg uyumlu sorgu altyapılarından verilere erişebilir ve verileri sorgulayabilirsiniz. Daha fazla bilgi için Sıfır ETL entegrasyonu belgeleri sayfasını ziyaret edin.

Fiyatlandırma hakkında daha fazla bilgi edinmek için SageMaker Lakehouse ve AWS Glue fiyatlandırma sayfalarını ziyaret edin.

Fiyatlandırma

Tümünü aç

Ayrıntılar için SageMaker Lakehouse fiyatlandırmasını ziyaret edin.

Erişilebilirlik

Tümünü aç

SageMaker Lakehouse; ABD Doğu (K. Virginia), ABD Doğu (Ohio), ABD Batı (Oregon), Asya Pasifik (Hong Kong), Asya Pasifik (Seul), Asya Pasifik (Singapur), Asya Pasifik (Sidney), Asya Pasifik (Tokyo), Kanada (Orta), Avrupa (Frankfurt), Avrupa (İrlanda), Avrupa (Londra), Avrupa (Stokholm) ve Güney Amerika (Sao Paulo) bölgelerinde kullanılabilir.

Evet. SageMaker Lakehouse, meta verileri AWS Glue Veri Kataloğu'nda depolar ve HAQM Glue SLA'sı ile aynı SLA'yı sunar.

Kullanmaya başlama

Tümünü aç

Kullanmaya başlamak için SageMaker Birleşik Stüdyosu'nda (önizleme) kurumsal (örneğin Okta) kimlik bilgilerinizi kullanarak SageMaker etki alanınızda oturum açabilirsiniz. Yöneticiler SageMaker Birleşik Stüdyosu'nda belirli bir proje profilini seçerek birkaç kısa adımda projeler oluşturabilir. Daha sonra SageMaker Lakehouse ile birlikte çalışmak için bir proje seçebilirsiniz. Bir proje seçildikten sonra verilerin, sorgu altyapılarının ve geliştirici araçlarının tek bir yerde birleşik bir görünümünü elde edersiniz. Veri mühendisleri ve veri analistleri gibi kullanıcılar daha sonra seçtikleri bir aracı kullanarak verileri sorgulayabilir. Örneğin, bir veri mühendisi bir not defterini kullanarak tabloları listelemek için Spark komutunu verdiğinde, erişim iznine sahip olduğu tüm veri ambarı ve veri gölü tablolarını keşfeder. Daha sonra HAQM S3 veri göllerinde veya HAQM Redshift veri ambarlarında fiziksel olarak depolanan tablolarda veri okumak ve yazmak için komutlar çalıştırabilir. Benzer şekilde, bir veri analisti bir SQL düzenleyicisinden Redshift SQL komutlarını çalıştırdığında, aynı birleşik veri görünümünü elde eder ve bu tablolara veri okuyabilir ve yazabilir. Tercih ettiğiniz araçlardan (SQL düzenleyicisi veya not defteri) HAQM S3 veya HAQM Redshift'te yeni tablolar oluşturabilirsiniz. Veri gölü tablolarınızdaki performansı hızlandırmak için HAQM Redshift gerçekleştirilmiş görünümlerini sorgulayın. SageMaker Birleşik Stüdyosu'na ek olarak, SageMaker Lakehouse'a da AWS Yönetim Konsolu, AWS Glue API'leri, AWS Komut Satırı Arabirimi (AWS CLI) veya AWS SDK'lerinden erişilebilir. Daha fazla bilgi edinmek için Belgeler sayfasını ziyaret edin.