Fitur Layanan Terkelola HAQM untuk Apache Flink

Mengapa harus Layanan Terkelola untuk Apache Flink?

Layanan Terkelola HAQM untuk Apache Flink memudahkan untuk membangun dan menjalankan aplikasi pemrosesan streaming waktu nyata menggunakan Apache Flink. Layanan Terkelola HAQM untuk Apache Flink menyediakan dan mengonfigurasi klaster Flink Anda serta mengorkestrasi manajemen tugas Flink. Layanan Terkelola HAQM untuk Apache Flink menyiapkan pemantauan dan alarm, menawarkan penskalaan otomatis, dan dirancang untuk ketersediaan tinggi (termasuk failover Zona Ketersediaan). Layanan ini menawarkan akses ke API ekspresif Apache Flink, dan melalui Layanan Terkelola HAQM untuk Apache Flink Studio, Anda dapat secara interaktif membuat kueri aliran data atau meluncurkan aplikasi stateful hanya dalam beberapa langkah. Dengan layanan terkelola ini, Anda dapat memulai Apache Flink dan dengan cepat melakukan deployment serta mengoperasikan aplikasi pemrosesan aliran data Anda.

Dengan Layanan Terkelola HAQM untuk Apache Flink, Anda memiliki akses ke berbagai kemampuan Apache Flink yang terdepan di industri, termasuk pemrosesan data latensi rendah dan throughput tinggi, pemrosesan yang tepat satu kali, dan status aplikasi yang tahan lama. Dengan Layanan Terkelola HAQM untuk Apache Flink, Anda dapat melakukan deployment aplikasi yang aman, sesuai, dan sangat tersedia. Layanan Terkelola HAQM untuk Apache Flink dengan mudah mereplikasi data dan beban kerja di beberapa Zona Ketersediaan, yang memastikan performa dan keandalan tanpa gangguan, dan tanpa harus membayar kapasitas tambahan.

Pengembangan aplikasi menjadi lebih mudah dengan Layanan Terkelola HAQM untuk Apache Flink karena layanan tersebut mendukung API fleksibel Flink di Java, Scala, Python, dan SQL. Layanan Terkelola HAQM untuk Apache Flink terintegrasi dengan ratusan sumber data dan tujuan, seperti HAQM Managed Streaming for Apache Kafka (HAQM MSK), HAQM Kinesis Data Streams, HAQM Kinesis Data Firehose, HAQM Simple Storage Service (HAQM S3), HAQM DynamoDB, konektor JDBC, dan konektor kustom.

Aplikasi pemrosesan streaming menggunakan Apache Flink

Open all

Sumber terbuka

Layanan Terkelola HAQM untuk Apache Flink mencakup pustaka sumber terbuka, seperti Apache Flink, Apache Beam, Apache Zeppelin, AWS SDK, dan integrasi layanan AWS. Apache Flink adalah kerangka kerja dan mesin untuk membangun aplikasi streaming yang sangat tersedia dan akurat. Apache Beam adalah model terpadu untuk menentukan aplikasi pemrosesan data streaming dan batch yang dijalankan di beberapa mesin runtime. AWS SDK membantu menghilangkan kompleksitas pengodean untuk banyak layanan AWS dengan menyediakan API dalam bahasa pilihan Anda, serta mencakup pustaka AWS, contoh kode, dan dokumentasi.

API Fleksibel

Layanan Terkelola HAQM untuk Apache Flink mendukung API fleksibel Flink di Java, Scala, Python, dan SQL yang dikhususkan untuk berbagai kasus penggunaan termasuk pemrosesan peristiwa stateful, ETL (extract, transform, and load) streaming, dan analitik waktu nyata. Dengan operator prabangun serta kemampuan analitik, Anda dapat membangun aplikasi streaming Apache Flink dalam hitungan jam, tidak lagi bulan, dan pustaka tersebut dapat diperluas sehingga Anda dapat melakukan pemrosesan waktu nyata untuk berbagai kasus penggunaan.

Integrasi layanan AWS

Anda dapat menyiapkan dan mengintegrasikan sumber data atau tujuan dengan kode minimal. Gunakan pustaka Layanan Terkelola HAQM untuk Apache Flink guna berintegrasi dengan layanan AWS berikut:

Kemampuan integrasi lanjutan

Selain integrasi AWS, pustaka Layanan Terkelola HAQM untuk Apache Flink menyertakan lebih dari 40 konektor Apache Flink dan kemampuan untuk membangun integrasi kustom. Dengan beberapa baris kode lagi, Anda dapat mengubah cara setiap integrasi berperilaku dengan fungsionalitas lanjutan. Anda juga dapat membangun integrasi kustom menggunakan serangkaian tipe primitif Apache Flink agar dapat membaca dan menulis dari file, direktori, soket, atau sumber lain yang diakses melalui Internet.

Pemrosesan tepat satu kali

Dengan Layanan Terkelola HAQM untuk Apache Flink, Anda dapat membangun aplikasi di mana catatan yang diproses akan memengaruhi hasil tepat satu kali, yang disebut sebagai pemrosesan tepat satu kali. Bahkan jika terjadi gangguan aplikasi, seperti pemeliharaan layanan internal atau pembaruan aplikasi yang diinisiasi oleh pengguna, layanan akan memastikan bahwa semua data diproses dan tidak ada data duplikat.

Pemrosesan stateful

Layanan menyimpan komputasi atau status sebelumnya dan yang masih dalam proses, di penyimpanan aplikasi yang berjalan. Bandingkan hasil waktu nyata dan masa lalu selama periode waktu dan capai pemulihan cepat selama gangguan aplikasi. Status selalu dienkripsi dan disimpan secara inkremental di penyimpanan aplikasi berjalan.

Cadangan Aplikasi yang Tahan Lama

Buat dan hapus cadangan aplikasi yang tahan lama melalui panggilan API sederhana. Pulihkan aplikasi Anda secara langsung dari cadangan terakhir setelah terjadinya gangguan, atau pulihkan aplikasi Anda ke versi yang lebih lama.

Integrasi ML

Layanan Terkelola HAQM untuk Apache Flink mendukung algoritma machine learning (ML). Anda dapat membuat aplikasi waktu nyata untuk klasifikasi, pembuatan klaster, evaluasi, rekomendasi rekayasa fitur, regresi, dan statistik.

Kompatibilitas Registri Skema AWS Glue

Layanan Terkelola HAQM untuk Apache Flink kompatibel dengan Registri Skema AWS Glue. Registri Skema membantu Anda meningkatkan kualitas data dan melindunginya dari perubahan tidak terduga menggunakan pemeriksaan kompatibilitas yang mengatur evolusi skema untuk skema Anda pada beban kerja Layanan Terkelola HAQM untuk Apache Flink yang terhubung ke Apache Kafka, HAQM MSK, atau HAQM Kinesis Data Streams, baik sebagai konektor sumber atau sink.