Apache Flink İçin HAQM Yönetilen Hizmet SSS

Evet. Apache Flink İçin HAQM Yönetilen Hizmet uygulamaları, Apache Flink DataStream Bağlayıcıları'nı kullanarak AWS Glue'nun sunucusuz bir özelliği olan AWS Glue Şema Kayıt Defteri'ni kullanabilir. Apache Kafka, HAQM MSK ve HAQM Kinesis Veri Akışları'nı, bir biriktirici veya bir kaynak olarak Apache Flink İçin HAQM Yönetilen Hizmet iş yüklerinizle entegre edebilirsiniz. Kullanmaya başlamak ve daha fazla bilgi edinmek için AWS Glue Şema Kayıt Defteri Geliştirici Kılavuzu'nu ziyaret edin.

Uygulama, birlikte çalıştığınız Apache Flink İçin HAQM Yönetilen Hizmet varlığıdır. Apache Flink İçin HAQM Yönetilen Hizmet uygulamaları, akış verilerini gerçek zamanlı olarak sürekli okur ve işler. Gelen akış verilerini işlemek ve çıktı üretmek için uygulama kodunu Apache Flink destekli bir dilde yazarsınız. Ardından, Apache Flink İçin HAQM Yönetilen Hizmet, çıktıyı yapılandırılmış bir hedefe yazar.

Her uygulama üç ana bileşenden oluşur:

1. Giriş: Giriş, uygulamanızın akış kaynağıdır. Giriş yapılandırmasında akış kaynaklarını veri akışlarına eşlersiniz. Veriler, veri kaynaklarınızdan veri akışlarınıza akar. Bu veri akışlarından gelen verileri uygulama kodunuzu kullanarak işler, işlenmiş verileri sonraki veri akışlarına veya hedeflere gönderirsiniz. Apache Flink uygulamaları ve Studio not defterlerinin uygulama kodunun içine ve Apache Flink İçin HAQM Yönetilen Hizmet uygulamaları API'si aracılığıyla girişler eklersiniz. 
2. Uygulama kodu: Uygulama kodu, girişi işleyen ve çıktı üreten bir dizi Apache Flink işlecidir. En basit haliyle uygulama kodu, bir akış kaynağıyla ilişkili bir veri akışından okuyan ve bir çıktıyla ilişkili başka bir veri akışına yazan tek bir Apache Flink işleci olabilir. Bir Studio not defteri için bu, sonuçların not defteri bağlamında gösterildiği basit bir Flink SQL seçme sorgusu olabilir. Apache Flink İçin HAQM Yönetilen Hizmet uygulamaları veya Studio not defterleri için desteklenen dillerde Apache Flink kodu yazabilirsiniz.
3. Çıktı: İsteğe bağlı olarak bir uygulama çıktısını, verileri harici bir hedefe aktaracak şekilde yapılandırabilirsiniz. Bu çıktıları, Apache Flink İçin HAQM Yönetilen Hizmet uygulamaları ve Studio not defterlerinin uygulama kodunun içine eklersiniz. 

AWS, Apache Flink uygulamalarının Flink Panosu'na erişim dahil olmak üzere Apache Flink İçin HAQM Yönetilen Hizmet uygulamalarınızı izlemek amacıyla kullanabileceğiniz çeşitli araçlar sağlar. Bu araçlardan bazılarını sizin adınıza izleme yapacak şekilde yapılandırabilirsiniz. Uygulamanızı nasıl izleyeceğinizle ilgili daha fazla bilgi için aşağıdaki geliştirici kılavuzlarını inceleyin: 

• Apache Flink İçin HAQM Yönetilen Hizmet Geliştirici Kılavuzu'nda Apache Flink İçin HAQM Yönetilen Hizmet'i İzleme.
• Apache Flink Studio İçin HAQM Yönetilen Hizmet Geliştirici Kılavuzu'nda Apache Flink İçin HAQM Yönetilen Hizmet'i İzleme.

Apache Flink için HAQM Yönetilen Hizmet, uygulamanızda belirttiğiniz akış veri kaynaklarından kayıtları okumak için izinlere ihtiyaç duyar. Apache Flink İçin HAQM Yönetilen Hizmet, uygulama çıktınızı uygulama çıktı yapılandırmanızda belirtilen hedeflere yazmak için de izinlere ihtiyaç duyar. Bu izinleri, Apache Flink İçin HAQM Yönetilen Hizmet'in üstlenebileceği AWS Kimlik ve Erişim Yönetimi (IAM) rolleri oluşturarak verebilirsiniz. Bu role verdiğiniz izinler, hizmet bu rolü üstlendiğinde Apache Flink İçin HAQM Yönetilen Hizmet'in neler yapabileceğini belirler. Daha fazla bilgi için aşağıdaki geliştirici kılavuzlarını inceleyin:

• Apache Flink İçin HAQM Yönetilen Hizmet Geliştirici Kılavuzu'nda izinlerin verilmesi.
• Apache Flink Studio İçin HAQM Yönetilen Hizmet Geliştirici Kılavuzu'nda izinlerin verilmesi.

Apache Flink İçin HAQM Yönetilen Hizmet, uygulamanızı kaynak akışınızın veri aktarım hızına ve çoğu senaryo için sorgu karmaşıklığınıza uyum sağlayacak şekilde esnek biçimde ölçeklendirir. Apache Flink İçin HAQM Yönetilen Hizmet, HAQM KPU'ları biçiminde kapasite sağlar. Bir KPU size 1 vCPU ve 4 GB bellek sağlar. 

Apache Flink İçin HAQM Yönetilen Hizmet, Apache Flink uygulamaları ve Studio not defterlerine uygulamanızın denetim noktaları için kullandığı ve geçici disk aracılığıyla kullanabileceğiniz KPU başına 50 GB çalışan uygulama depolama alanı tahsis eder. Denetim noktası, bir uygulama kesintisinden hemen kurtulmak için kullanılan, çalışan bir uygulamanın güncel bir yedeklemesidir. Ayrıca API'deki Parallelism ve ParallelismPerKPU parametrelerini kullanarak Apache Flink İçin HAQM Yönetilen Hizmet uygulaması görevlerinizin paralel yürütmesini (örneğin bir kaynaktan okuma veya bir işleci yürütme) de denetleyebilirsiniz. Paralellik, bir görevin eş zamanlı bulut sunucularının sayısını tanımlar. Tüm işleçler, kaynaklar ve biriktiriciler, varsayılan olarak tanımlanmış bir paralellik ile çalışır. KPU başına paralellik, varsayılan olarak uygulamanızın KPU'su başına planlanabilecek paralel görevlerin sayısını tanımlar. Daha fazla bilgiyi Apache Flink İçin HAQM Yönetilen Hizmet Geliştirici Kılavuzu'ndaki Ölçeklendirme bölümünde bulabilirsiniz. 

Apache Flink için en iyi uygulamalar hakkında daha fazla bilgi için Apache Flink için HAQM Yönetilen Hizmet Geliştirici Kılavuzu'nun En İyi Uygulamalar bölümüne bakın. Bu bölüm; hata toleransı, performans, günlük kaydı, kodlama ve daha fazlası için en iyi uygulamaları kapsamaktadır. 

Apache Flink Studio İçin HAQM Yönetilen Hizmet ile ilgili en iyi uygulamalar hakkında bilgiyi Apache Flink Studio İçin HAQM Yönetilen Hizmet Geliştirici Kılavuzu'ndaki En İyi Uygulamalar bölümünde bulabilirsiniz. Bu bölümde, en iyi uygulamalara ek olarak SQL, Python ve Scala uygulamaları için örnekler, kodunuzu sürekli çalışan bir akış işleme uygulaması olarak dağıtmak için gerekenler, performans, günlüğe kaydetme ve daha fazlası ele alınmaktadır.

Evet. Bir HAQM VPC'nin arkasındaki kaynaklara erişebilirsiniz. Uygulamanızı VPC erişimine yönelik olarak nasıl yapılandıracağınızı, Apache Flink İçin HAQM Yönetilen Hizmet Geliştirici Kılavuzu'ndaki HAQM VPC'yi Kullanma bölümünden öğrenebilirsiniz.

Belirli bir VPC'deki kaynaklara erişmek üzere yapılandırılmış Apache Flink İçin HAQM Yönetilen Hizmet uygulamaları ve Apache Flink Studio İçin HAQM Yönetilen Hizmet not defterlerinin varsayılan yapılandırma olarak internete erişimi yoktur. Uygulamanızın internet erişimini nasıl yapılandıracağınızı Apache Flink İçin HAQM Yönetilen Hizmet Geliştirici Kılavuzu'ndaki İnternet ve Hizmet Erişimi bölümünden öğrenebilirsiniz.

Apache Flink İçin HAQM Yönetilen Hizmet ile yalnızca kullandığınız kadar ödersiniz. Apache Flink İçin HAQM Yönetilen Hizmet ile bağlantılı tedarik edilecek kaynak veya peşin ödeme yoktur. 

Akış uygulamanızı çalıştırmak için kullanılan HAQM KPU'larının sayısına göre saatlik olarak ücretlendirilirsiniz. Tek bir KPU, 1 vCPU işlem ve 4 GB bellekten oluşan bir akış işleme kapasitesi birimidir. Apache Flink İçin HAQM Yönetilen Hizmet, işleme karmaşıklığına ve işlenen akış verilerinin aktarım hızına göre bellek ve işlem talepleri değiştikçe akış işleme uygulamanızın ihtiyaç duyduğu KPU sayısını otomatik olarak ölçeklendirir. 

Apache Flink ve Apache Beam uygulamalarında, uygulama düzenleme için uygulama başına tek bir ek KPU ücreti ödersiniz. Apache Flink ve Apache Beam uygulamaları, çalışan uygulama depolaması ve dayanıklı uygulama yedeklemeleri için de ücretlendirilir. Çalışan uygulama depolaması, Apache Flink İçin HAQM Yönetilen Hizmet'te durum bilgisine dayalı işleme özellikleri için kullanılır ve GB/ay başına ücretlendirilir. Dayanıklı uygulama yedeklemeleri isteğe bağlıdır, GB/ay başına ücretlendirilir ve uygulamalar için belirli bir zamana kurtarma noktası sağlar. 

Apache Flink Studio İçin HAQM Yönetilen Hizmet'in geliştirme veya etkileşim modunda uygulama düzenleme için ek bir KPU ve etkileşimli geliştirme için 1 KPU ile ücretlendirilirsiniz. Çalışan uygulama depolama alanı için de ücretlendirilirsiniz. Dayanıklı uygulama yedeklemeleri için ücret alınmaz.

Daha fazla fiyatlandırma bilgisini Apache Flink İçin HAQM Yönetilen Hizmet fiyatlandırma sayfasında bulabilirsiniz.

Apache Flink ve Apache Beam uygulamaları durumunda, Apache Flink İçin HAQM Yönetilen Hizmet uygulamanız çalışıyorsa minimum 2 KPU ve 50 GB çalışan uygulama depolama alanı için ücretlendirilirsiniz.

Apache Flink Studio İçin HAQM Yönetilen Hizmet not defterleri durumunda, uygulamanız çalışıyorsa minimum 3 KPU ve 50 GB çalışan uygulama depolama alanı için ücretlendirilirsiniz.

Apache Flink, akış ve toplu veri işleme için açık kaynak bir çerçeve ve motordur. Güçlü işleçler sağladığından ve yinelenen işleme gibi temel akış sorunlarını çözdüğünden akış uygulamalarının oluşturulmasını kolaylaştırır. Apache Flink, veri akışlarında dağıtılmış hesaplamalar için veri dağıtımı, iletişim ve hata toleransı sağlar.

AWS SDK, Apache Flink ve AWS hizmetleri için bağlayıcılar gibi açık kaynaklı kitaplıkları indirerek başlayabilirsiniz. Apache Flink İçin HAQM Yönetilen Hizmet Geliştirici Kılavuzu'ndan kitaplıkları nasıl indireceğiniz ve ilk uygulamanızı nasıl oluşturacağınızla ilgili talimatları edinin.

Veri akışlarını ve akış işleçlerini kullanarak Apache Flink uygulama kodunuzu yazarsınız. Uygulama veri akışları, kodunuzu kullanarak işleme gerçekleştirdiğiniz veri yapısıdır. Veriler sürekli olarak kaynaklardan uygulama veri akışlarına akar. Uygulama veri akışlarında işlemelerinizi tanımlamak için dönüştürme, bölümleme, toplama, birleştirme ve zaman aralığı dahil olmak üzere bir veya daha fazla akış işleci kullanılır. Veri akışları ve işleçler, seri ve paralel zincirlerde birbirine bağlanabilir. Sözde kod kullanılan kısa bir örnek aşağıda gösterilmiştir.

DataStream <GameEvent> rawEvents = env.addSource(

New KinesisStreamSource(“input_events”));

DataStream <UserPerLevel> gameStream =

rawEvents.map(event - > new UserPerLevel(event.gameMetadata.gameId,

event.gameMetadata.levelId,event.userId));

gameStream.keyBy(event -> event.gameId)

.keyBy(1)

.window(TumblingProcessingTimeWindows.of(Time.minutes(1)))

.apply(...) - > {...};

gameStream.addSink(new KinesisStreamSink("myGameStateStream"));

İşleçler, bir uygulama veri akışını giriş olarak alır ve işlenen verileri çıktı olarak bir uygulama veri akışına gönderir. İşleçler, birden çok adımlı uygulamalar oluşturmak için birbirine bağlanabilir ve uygulamak ve çalıştırmak için dağıtılmış sistemlere yönelik ileri düzeyde bilgi gerektirmezler.

Apache Flink İçin HAQM Yönetilen Hizmet; eşleme, KeyBy, toplamalar, zaman aralıkları, birleştirmeler ve daha fazlası dahil olmak üzere çok çeşitli kullanım durumlarını çözmek amacıyla kullanılabilen Apache Flink'in tüm işleçlerini desteklemektedir. Örneğin eşleme işleci, gelen bir veri akışından bir öğeyi alarak ve başka bir öğe üreterek isteğe bağlı işleme gerçekleştirmenize olanak tanır. KeyBy, benzer veri noktalarını birlikte işleyebilmeniz için belirli bir anahtar kullanarak verileri mantıksal olarak düzenler. Toplamalar; toplam, minimum ve maksimum gibi birden çok anahtar arasında işleme gerçekleştirir. Zaman Aralığı Birleştir, iki veri akışını belirli bir anahtar ve zaman aralığında birleştirir. 

Bunlar ihtiyaçlarınızı karşılamıyorsa özel işleçler oluşturabilirsiniz. Apache Flink İçin HAQM Yönetilen Hizmet Geliştirici Kılavuzu'ndaki İşleçler bölümünde daha fazla örnek bulabilirsiniz. Apache Flink işleçlerinin tam bir listesini Apache Flink belgelerinde bulabilirsiniz. 

Apache Flink tarafından sağlanan önceden oluşturulmuş entegrasyonları minimum kodla kurabilir veya hemen hemen her veri kaynağına bağlanmak için kendi entegrasyonunuzu oluşturabilirsiniz. Apache Flink'e dayalı açık kaynak kitaplıkları, veri dağıtımını işlemek için akış kaynaklarını ve hedeflerini veya biriktiricilerini destekler. Buna zaman uyumsuz G/Ç bağlayıcıları aracılığıyla veri zenginleştirme desteği de dahildir. Bu bağlayıcılardan bazıları aşağıdakileri içerir:

• Akış veri kaynakları: Apache Kafka İçin HAQM Yönetilen Akış (HAQM MSK), HAQM Kinesis Veri Akışları Hedefleri veya biriktiriciler: HAQM Kinesis Veri Akışları
• HAQM Kinesis Data Firehose, HAQM DynamoDB, HAQM Elasticsearch Hizmeti ve HAQM S3 (dosya biriktirici entegrasyonları aracılığıyla)

Evet. Apache Flink İçin HAQM Yönetilen Hizmet uygulamalarını, HAQM Kinesis Veri Akışları, HAQM MSK ve diğer sistemler arasında veri çoğaltmak için kullanabilirsiniz. Belgelerimizde verilen bir örnek, bir HAQM MSK konusundan nasıl okunacağını ve diğerine nasıl yazılacağını gösterir.

Uygulamanızı dosyalardan, dizinlerden, soketlerden veya internet üzerinden erişebileceğiniz herhangi bir şeyden okumanızı ve bunlara yazmanızı sağlayan temel öğelerin bir kümesi üzerinde oluşturarak ona bir kaynak veya hedef ekleyebilirsiniz. Apache Flink, veri kaynakları ve veri havuzları için bu temel öğeleri sağlar. Temel öğeler, verileri sürekli veya bir kez, zaman uyumsuz veya zaman uyumlu ve daha fazla şekilde okuma ve yazma becerisi gibi yapılandırmalarla birlikte gelir. Örneğin mevcut dosya tabanlı kaynak entegrasyonunu genişleterek bir uygulamayı HAQM S3'ten sürekli okuma yapacak şekilde ayarlayabilirsiniz.

Bir uygulama, kaynaklar ve biriktiriciler dahil olmak üzere eş güçlü işleçler kullanılarak oluşturulmuşsa Apache Flink İçin HAQM Yönetilen Hizmet'teki Apache Flink uygulamaları tam olarak bir kez teslim modelini kullanır. Bu, işlenen verilerin aşağı akış sonuçlarını bir kez ve yalnızca bir kez etkilediği anlamına gelir.

Varsayılan olarak Apache Flink İçin HAQM Yönetilen Hizmet uygulamaları, Apache Flink'in tam olarak bir kez semantiğini kullanır. Uygulamalarınızı Apache Flink'in tam olarak bir kez anlamsallığını kullanan kaynaklar, işleçler ve havuzları kullanarak tasarlarsanız uygulamanız tam olarak bir kez işleme anlamsallığını destekler.

Apache Flink İçin HAQM Yönetilen Hizmet, denetim noktalarını ve anlık görüntüleri kullanarak çalışan uygulamanızın durumunu otomatik olarak yedekler. Denetim noktaları mevcut uygulama durumunu kaydeder ve hatasız bir yürütme ile aynı semantiği sağlamak üzere Apache Flink İçin HAQM Yönetilen Hizmet uygulamalarının uygulama konumunu kurtarmasını sağlar. Denetim noktaları, çalışan uygulama depolama alanını kullanır. Apache Flink uygulamalarının denetim noktaları, Apache Flink'in denetim noktası oluşturma işlevi aracılığıyla sağlanır. Anlık görüntüler, uygulamalar için belirli bir zamana bir kurtarma noktasını kaydeder ve dayanıklı uygulama yedeklemeleri kullanır. Anlık görüntüler, Flink kaydetme noktaları ile benzerdir.

Desteklenen Apache Flink sürümleri hakkında daha fazla bilgi edinmek için Apache Flink İçin HAQM Yönetilen Hizmet Sürüm Notları sayfasını ziyaret edin. Bu sayfa Apache Flink İçin HAQM Yönetilen Hizmet tarafından desteklenen Apache Beam, Java, Scala, Python ve AWS SDK'lerinin sürümlerini de içerir. 

Evet. Apache Flink İçin HAQM Yönetilen Hizmet, Apache Beam kullanılarak oluşturulmuş akış uygulamalarını destekler. Apache Beam akış uygulamalarını Java'da oluşturabilir ve Apache Flink İçin HAQM Yönetilen Hizmet üzerinde Apache Flink'in kullanılması dahil olmak üzere farklı motor ve hizmetlerde çalıştırabilirsiniz. Desteklenen Apache Flink ve Apache Beam sürümleriyle ilgili bilgiyi Apache Flink İçin HAQM Yönetilen Hizmet Geliştirici Kılavuzu'nda bulabilirsiniz. 

Apache Flink Studio için HAQM Yönetilen Hizmet, HAQM Kinesis Veri Akışları veya HAQM MSK konsollarından başlayarak birkaç adımda veri akışlarını hemen sorgulamak ve etkileşimli veri analizi gerçekleştirmek üzere bir sunucusuz not defteri başlatabilirsiniz.

Etkileşimli veri analizi: Saniye cinsinden yanıt süreleriyle akış verilerinizle etkileşimde bulunmak için SQL, Python veya Scala dillerinde not defterine kod yazabilirsiniz. Verileri keşfetmek için yerleşik görselleştirmeleri kullanabilir, not defterinizden akış verilerinizle ilgili gerçek zamanlı öngörüleri görüntüleyebilir ve Apache Flink ile akış işleme uygulamaları geliştirebilirsiniz.

Kodunuz bir üretim uygulaması olarak çalışmaya hazır olduğunda sunucular olmadan saniyede gigabaytlarca veri işleyen bir akış işleme uygulamasına tek adımda geçiş yapabilirsiniz.

Akış işleme uygulaması: Kodunuzu üretim için geliştirmeye hazır olduğunuzda not defteri arabiriminde "Akış işleme uygulaması olarak dağıt" seçeneğine tıklayarak kodunuzu oluşturabilir veya CLI'de tek bir komut verebilirsiniz. Studio, tıpkı bir Apache Flink için HAQM Yönetilen Hizmet uygulamasında olduğu gibi otomatik ölçeklendirme ve dayanıklı durum etkinken akış işleme uygulamanızı uygun ölçekte çalıştırmanız için gereken tüm altyapı yönetimini üstlenir.

Şunlar gibi SQL işlemlerini gerçekleştirebilirsiniz:

• Tarama ve filtreleme (SELECT, WHERE) 
• Toplamalar (GROUP BY, GROUP BY WINDOW, HAVING) 
• Küme (UNION, UNIONALL, INTERSECT, IN, EXISTS) 
• Sıralama (ORDER BY, LIMIT) 
• Birleştirmeler (INNER, OUTER, Zamanlanmış Aralık – BETWEEN, AND, Zamansal Tablolarla Birleştirme – zaman içindeki değişiklikleri izleyen tablolar)
• Top-N
• Tekilleştirme
• Örüntü tanıma

GROUP BY, OUTER JOIN ve Top-N gibi bu sorgulardan bazıları, akış verileri için güncellenen sonuçlarıdır. Bu, akış verileri işlenirken sonuçların sürekli olarak güncellendiği anlamına gelir. CREATE, ALTER ve DROP gibi diğer DDL ifadeleri de desteklenmektedir. Sorguların ve örneklerin tam bir listesi için Apache Flink Sorguları belgelerine bakınız.

Apache Flink'in Tablo API'si, Python dizeleri ve Scala ifadelerini kullanarak dil entegrasyonu aracılığıyla Python ve Scala'yı desteklemektedir. Desteklenen işlemler; seçme, sıralama, gruplama, birleştirme, filtreleme ve zaman aralığı dahil olmak üzere desteklenen SQL işlemlerine çok benzemektedir. İşlemlerin ve örneklerin tam bir listesi geliştirici kılavuzumuza dahil edilmiştir.

Desteklenen Apache Flink sürümleri hakkında daha fazla bilgi edinmek için Apache Flink İçin HAQM Yönetilen Hizmet Sürüm Notları sayfasını ziyaret edin. Bu sayfa Apache Flink İçin HAQM Yönetilen Hizmet'in desteklediği Apache Zeppelin, Apache Beam, Java, Scala, Python ve AWS SDK'lerinin sürümlerini de içerir.

• Veri kaynakları: Apache Kafka İçin HAQM Yönetilen Akış (HAQM MSK), HAQM Kinesis Veri Akışları, HAQM S3 
• Hedefler veya biriktiriciler: HAQM MSK, HAQM Kinesis Veri Akışları ve HAQM S3

Aynı AWS bölgesi içinde bulunan ve bir görev yürüttüğünüz birden fazla Erişilebilirlik Alanı, herhangi bir fatura döneminde %99,9'dan az bir Aylık Çalışma Süresi Yüzdesine sahipse Apache Flink İçin HAQM Yönetilen Hizmet SLA'sı kapsamı altında Apache Flink İçin HAQM Yönetilen Hizmet için bir SLA Hizmet Kredisi alma hakkına sahip olursunuz. Tüm SLA hüküm ve koşullarıyla ilgili tüm ayrıntıların yanı sıra talebin nasıl gönderileceğine ilişkin ayrıntılar için Apache Flink için HAQM Yönetilen Hizmeti SLA ayrıntıları sayfasını ziyaret edin.