FAQ Layanan Terkelola HAQM untuk Apache Flink

Ya, dengan Konektor Aliran Data Apache Flink, aplikasi Layanan Terkelola HAQM untuk Apache Flink dapat menggunakan Registri Skema AWS Glue, yaitu fitur nirserver AWS Glue. Anda dapat mengintegrasikan Apache Kafka, HAQM MSK, dan HAQM Kinesis Data Streams, sebagai sink atau sumber, dengan beban kerja Layanan Terkelola HAQM untuk Apache Flink. Kunjungi Panduan Developer Registri Skema AWS Glue untuk memulai dan mempelajari selengkapnya.

Aplikasi adalah entitas Layanan Terkelola HAQM untuk Apache Flink yang bekerja dengan Anda. Aplikasi Layanan Terkelola HAQM untuk Apache Flink terus membaca dan memproses data streaming secara waktu nyata. Anda menulis kode aplikasi dalam bahasa yang didukung Apache Flink untuk memproses data streaming yang masuk dan menghasilkan output. Kemudian, Layanan Terkelola HAQM untuk Apache Flink menulis output ke tujuan yang dikonfigurasi.

Setiap aplikasi terdiri dari tiga komponen utama:

1. Input: Input adalah sumber streaming untuk aplikasi Anda. Dalam konfigurasi input, Anda memetakan sumber streaming ke aliran data. Data mengalir dari sumber data Anda ke aliran data Anda. Anda memproses data dari aliran data ini menggunakan kode aplikasi Anda, yang mengirimkan data yang diproses ke aliran atau tujuan data berikutnya. Anda menambahkan input di dalam kode aplikasi untuk aplikasi Apache Flink dan notebook Studio serta melalui API untuk aplikasi Layanan Terkelola HAQM untuk Apache Flink. 
2. Kode aplikasi: Kode aplikasi adalah serangkaian operator Apache Flink yang memproses input dan menghasilkan output. Dalam bentuknya yang paling sederhana, kode aplikasi dapat berupa operator Apache Flink tunggal yang membaca dari aliran data yang terkait dengan sumber streaming dan menulis ke aliran data lain yang terkait dengan output. Untuk notebook Studio, hal ini dapat berupa kueri pemilihan SQL Flink sederhana, dengan hasil yang ditampilkan dalam konteks di notebook. Anda dapat menulis kode Apache Flink dalam bahasa yang didukung untuk aplikasi Layanan Terkelola HAQM untuk Apache Flink atau notebook Studio.
3. Output: Anda kemudian dapat secara opsional mengonfigurasi output aplikasi untuk mempertahankan data ke tujuan eksternal. Anda menambahkan output ini di dalam kode aplikasi untuk aplikasi Layanan Terkelola HAQM untuk Apache Flink dan notebook Studio. 

AWS menyediakan berbagai alat yang dapat Anda gunakan untuk memantau aplikasi Layanan Terkelola HAQM untuk Apache Flink termasuk akses ke Dasbor Flink untuk aplikasi Apache Flink. Anda dapat mengonfigurasi beberapa alat ini guna melakukan pemantauan untuk Anda. Untuk informasi selengkapnya tentang cara memantau aplikasi Anda, jelajahi panduan developer berikut: 

• Memantau Layanan Terkelola HAQM untuk Apache Flink di Panduan Developer Layanan Terkelola HAQM untuk Apache Flink.
• Memantau Layanan Terkelola HAQM untuk Apache Flink di Panduan Developer Layanan Terkelola HAQM untuk Apache Flink Studio.

Layanan Terkelola HAQM untuk Apache Flink memerlukan izin untuk membaca catatan dari sumber data streaming yang Anda tentukan dalam aplikasi Anda. Layanan Terkelola HAQM untuk Apache Flink juga memerlukan izin untuk menulis output aplikasi Anda ke tujuan tertentu dalam konfigurasi output aplikasi Anda. Anda dapat memberikan izin ini dengan membuat peran AWS Identity and Access Management (IAM) yang dapat diambil oleh Layanan Terkelola HAQM untuk Apache Flink. Izin yang Anda berikan untuk peran ini menentukan apa yang dapat dilakukan Layanan Terkelola HAQM untuk Apache Flink saat layanan mengambil peran tersebut. Untuk informasi selengkapnya, lihat panduan developer berikut:

• Memberikan izin di Panduan Developer Layanan Terkelola HAQM untuk Apache Flink.
• Memberikan izin di Panduan Developer Layanan Terkelola HAQM untuk Apache Flink Studio.

Layanan Terkelola HAQM untuk Apache Flink menskalakan aplikasi Anda secara elastis untuk mengakomodasi throughput data streaming sumber dan kompleksitas kueri Anda untuk sebagian besar skenario. Layanan Terkelola HAQM untuk Apache Flink menyediakan kapasitas dalam bentuk KPU HAQM. Satu KPU memberi Anda 1 vCPU dan memori 4 GB. 

Untuk aplikasi Apache Flink dan notebook Studio, Layanan Terkelola HAQM untuk Apache Flink memberikan 50 GB untuk penyimpanan aplikasi yang sedang berjalan per KPU yang digunakan aplikasi Anda untuk titik pemeriksaan dan tersedia untuk digunakan melalui disk sementara. Titik pemeriksaan adalah cadangan terbaru dari aplikasi yang sedang berjalan yang digunakan untuk memulihkan segera dari gangguan aplikasi. Anda juga dapat mengontrol eksekusi paralel untuk tugas aplikasi Layanan Terkelola HAQM untuk Apache Flink (seperti membaca dari sumber atau menjalankan operator) menggunakan parameter Parallelism dan ParallelismPerKPU di API. Parallelism menentukan jumlah instans tugas yang bersamaan. Semua operator, sumber, dan sink berjalan dengan parallelism yang ditentukan secara default. Parallelism per KPU menentukan jumlah tugas paralel yang dapat dijadwalkan per KPU aplikasi Anda secara default. Untuk informasi selengkapnya, lihat Penskalaan di Panduan Developer Layanan Terkelola HAQM untuk Apache Flink. 

Untuk informasi tentang praktik terbaik seputar Apache Flink, lihat bagian Praktik Terbaik dari Panduan Developer Layanan Terkelola HAQM untuk Apache Flink. Bagian ini mencakup praktik terbaik untuk toleransi kesalahan, performa, logging, pengodean, dan banyak lagi. 

Untuk informasi tentang praktik terbaik Layanan Terkelola HAQM untuk Apache Flink Studio, lihat bagian Praktik Terbaik dari Panduan Developer Layanan Terkelola HAQM untuk Apache Flink Studio. Selain praktik terbaik, bagian ini mencakup contoh untuk aplikasi SQL, Python, dan Scala, persyaratan untuk melakukan deployment pada kode Anda sebagai aplikasi pemrosesan streaming yang terus berjalan, performa, logging, dan banyak lagi.

Ya. Anda dapat mengakses sumber daya di balik HAQM VPC. Anda dapat mempelajari cara mengonfigurasi aplikasi untuk akses VPC di bagian Menggunakan HAQM VPC pada Panduan Developer Layanan Terkelola HAQM untuk Apache Flink.

Aplikasi Layanan Terkelola HAQM untuk Apache Flink dan notebook Layanan Terkelola HAQM untuk Apache Flink Studio yang dikonfigurasi untuk mengakses sumber daya dalam VPC tertentu tidak memiliki akses ke internet sebagai konfigurasi default. Anda dapat mempelajari cara mengonfigurasi akses ke internet untuk aplikasi di bagian Akses Internet dan Layanan pada Panduan Developer Layanan Terkelola HAQM untuk Apache Flink.

Dengan Layanan Terkelola HAQM untuk Apache Flink, Anda hanya membayar untuk apa yang Anda gunakan. Tidak ada sumber daya untuk penyediaan atau biaya di muka yang berkaitan dengan Layanan Terkelola HAQM untuk Apache Flink. 

Anda dikenakan tarif per jam berdasarkan jumlah KPU HAQM yang digunakan untuk menjalankan aplikasi streaming Anda. KPU tunggal adalah seperangkat kapasitas pemrosesan streaming yang meliputi 1 komputasi vCPU dan memori 4 GB. Layanan Terkelola HAQM untuk Apache Flink secara otomatis menskalakan jumlah KPU yang diperlukan oleh aplikasi pemrosesan streaming Anda karena permintaan memori dan komputasi yang bervariasi sebagai respons terhadap kompleksitas pemrosesan dan throughput data streaming yang diproses. 

Untuk aplikasi Apache Flink dan Apache Beam, Anda dikenakan biaya KPU tunggal tambahan per aplikasi untuk orkestrasi aplikasi. Aplikasi Apache Flink dan Apache Beam juga dikenakan biaya untuk penyimpanan aplikasi yang sedang berjalan dan aplikasi pencadangan yang tahan lama. Penyimpanan aplikasi yang sedang berjalan digunakan untuk kemampuan pemrosesan stateful di Layanan Terkelola HAQM untuk Apache Flink dan dikenakan biaya per GB-bulan. Pencadangan aplikasi yang tahan lama adalah pilihan, dikenai biaya per GB-bulan, dan menyediakan suatu titik pemulihan waktu tertentu bagi aplikasi. 

Untuk Layanan Terkelola HAQM untuk Apache Flink Studio, dalam mode pengembangan atau interaktif, Anda dikenakan biaya tambahan KPU untuk orkestrasi aplikasi dan 1 KPU untuk pengembangan interaktif. Anda juga dikenakan biaya untuk penyimpanan aplikasi yang sedang berjalan. Anda tidak dikenakan biaya untuk pencadangan aplikasi yang tahan lama.

Untuk informasi harga selengkapnya, lihat halaman harga Layanan Terkelola HAQM untuk Apache Flink.

Untuk aplikasi Apache Flink dan Apache Beam, Anda dikenakan biaya minimal 2 KPU dan 50 GB untuk penyimpanan aplikasi yang sedang berjalan jika aplikasi Layanan Terkelola HAQM untuk Apache Flink Anda berjalan.

Untuk notebook Layanan Terkelola HAQM untuk Apache Flink Studio, Anda dikenakan biaya minimal 3 KPU dan 50 GB untuk penyimpanan aplikasi yang sedang berjalan jika aplikasi Anda berjalan.

Apache Flink adalah kerangka kerja dan mesin sumber terbuka untuk pemrosesan data aliran serta batch. Apache Flink memudahkan dibangunnya aplikasi streaming karena menyediakan operator yang kuat dan memecahkan masalah streaming inti seperti pemrosesan duplikat. Apache Flink menyediakan distribusi data, komunikasi, dan toleransi kesalahan untuk perhitungan terdistribusi melalui aliran data.

Anda dapat memulai dengan mengunduh pustaka sumber terbuka termasuk AWS SDK, Apache Flink, dan konektor untuk layanan AWS. Dapatkan petunjuk tentang cara mengunduh pustaka dan membuat aplikasi pertama Anda di Panduan Developer Layanan Terkelola HAQM untuk Apache Flink.

Anda menulis kode Apache Flink Anda menggunakan aliran data dan operator streaming. Aliran data aplikasi adalah struktur data yang pemrosesannya Anda lakukan menggunakan kode Anda. Data terus mengalir dari sumber ke aliran data aplikasi. Satu atau beberapa operator streaming digunakan untuk menentukan pemrosesan Anda pada aliran data aplikasi, termasuk transformasi, partisi, agregat, gabungan, dan jendela. Aliran data dan operator dapat dihubungkan dalam rantai serial dan paralel. Contoh singkat menggunakan kode semu ditunjukkan di bawah ini.

DataStream <GameEvent> rawEvents = env.addSource(

New KinesisStreamSource(“input_events”));

DataStream <UserPerLevel> gameStream =

rawEvents.map(event - > new UserPerLevel(event.gameMetadata.gameId,

event.gameMetadata.levelId,event.userId));

gameStream.keyBy(event -> event.gameId)

.keyBy(1)

.window(TumblingProcessingTimeWindows.of(Time.minutes(1)))

.apply(...) - > {...};

gameStream.addSink(new KinesisStreamSink("myGameStateStream"));

Operator mengambil aliran data aplikasi sebagai input dan mengirimkan data yang diproses ke aliran data aplikasi sebagai output. Operator dapat dihubungkan untuk membangun aplikasi dengan beberapa langkah dan tidak memerlukan pengetahuan lanjutan tentang sistem terdistribusi untuk mengimplementasikan dan mengoperasikan.

Layanan Terkelola HAQM untuk Apache Flink mendukung semua operator dari Apache Flink yang dapat digunakan untuk memecahkan berbagai kasus penggunaan, termasuk peta, KeyBy, agregasi, jendela, gabungan, dan banyak lagi. Misalnya, operator peta memungkinkan Anda untuk melakukan pemrosesan acak, yang mengambil satu elemen dari aliran data yang masuk dan menghasilkan elemen lain. KeyBy secara logis mengatur data menggunakan kunci tertentu sehingga Anda dapat memproses titik data yang serupa bersama-sama. Agregasi melakukan pemrosesan di beberapa kunci, seperti jumlah, min, dan maks. Gabungan Jendela menggabungkan dua aliran data bersama-sama pada kunci dan jendela tertentu. 

Anda dapat membangun operator khusus jika hal ini tidak memenuhi kebutuhan Anda. Temukan lebih banyak contoh di bagian Operator dari Panduan Developer Layanan Terkelola HAQM untuk Apache Flink. Anda dapat menemukan daftar lengkap operator Apache Flink di dokumentasi Apache Flink. 

Anda dapat mengatur integrasi bawaan yang disediakan oleh Apache Flink dengan kode minimal atau membangun integrasi Anda sendiri untuk terhubung ke hampir semua sumber data. Pustaka sumber terbuka berdasarkan Apache Flink mendukung sumber dan tujuan streaming, atau sink, untuk memproses pengiriman data. Hal ini juga termasuk dukungan pengayaan data melalui konektor I/O asinkron. Beberapa konektor tersebut mencakup hal berikut:

• Sumber data streaming: HAQM Managed Streaming for Apache Kafka (HAQM MSK), Tujuan HAQM Kinesis Data Streams, atau sink: HAQM Kinesis Data Streams
• HAQM Kinesis Data Firehose, HAQM DynamoDB, HAQM Elasticsearch Service, dan HAQM S3 (melalui integrasi sink file)

Ya. Anda dapat menggunakan aplikasi Layanan Terkelola HAQM untuk Apache Flink guna mereplikasi data antara HAQM Kinesis Data Streams, HAQM MSK, dan sistem lainnya. Contoh yang disediakan dalam dokumentasi kami menunjukkan cara membaca dari satu topik HAQM MSK dan menulis ke topik lain.

Anda dapat menambahkan sumber atau tujuan ke aplikasi Anda dengan membangun serangkaian primitif yang memungkinkan Anda membaca dan menulis dari file, direktori, soket, atau apa pun yang dapat Anda akses melalui internet. Apache Flink menyediakan primitif ini untuk sumber data dan sink data. Primitif hadir dengan konfigurasi seperti kemampuan untuk membaca dan menulis data terus menerus atau satu kali, secara asinkron atau sinkron, dan banyak lagi. Misalnya, Anda dapat menyiapkan aplikasi untuk membaca terus menerus dari HAQM S3 dengan memperluas integrasi sumber berbasis file yang ada.

Aplikasi Apache Flink di Layanan Terkelola HAQM untuk Apache Flink menggunakan model pengiriman tepat satu kali jika aplikasi dibuat menggunakan operator idempoten, termasuk sumber dan sink. Hal ini berarti data yang diproses berdampak pada hasil hilir satu kali dan hanya satu kali.

Secara default, aplikasi Layanan Terkelola HAQM untuk Apache Flink menggunakan semantik Apache Flink tepat satu kali. Aplikasi Anda mendukung semantik pemrosesan tepat satu kali jika Anda mendesain aplikasi dengan menggunakan sumber, operator, dan sink yang menggunakan semantik tepat satu kali dari Apache Flink.

Layanan Terkelola HAQM untuk Apache Flink secara otomatis mencadangkan status aplikasi yang sedang berjalan menggunakan titik pemeriksaan dan snapshot. Titik pemeriksaan menyimpan status aplikasi saat ini dan mengaktifkan aplikasi Layanan Terkelola HAQM untuk Apache Flink untuk memulihkan posisi aplikasi guna menyediakan semantik yang sama dengan eksekusi bebas kegagalan. Titik pemeriksaan menggunakan penyimpanan aplikasi yang sedang berjalan. Titik pemeriksaan untuk aplikasi Apache Flink disediakan melalui fungsionalitas titik pemeriksaan Apache Flink. Snapshot menyimpan titik pemulihan titik waktu untuk aplikasi dan menggunakan pencadangan aplikasi yang tahan lama. Snapshot dianalogikan dengan titik penyimpanan Flink.

Untuk mempelajari versi Apache Flink yang didukung selengkapnya, kunjungi halaman Catatan Rilis Layanan Terkelola HAQM untuk Apache Flink. Halaman ini juga mencakup versi Apache Beam, Java, Scala, Python, dan AWS SDK yang didukung Layanan Terkelola HAQM untuk Apache Flink. 

Ya, Layanan Terkelola HAQM untuk Apache Flink mendukung aplikasi streaming yang dibuat menggunakan Apache Beam. Anda dapat membangun aplikasi streaming Apache Beam di Java dan menjalankannya di berbagai mesin dan layanan termasuk menggunakan Apache Flink di Layanan Terkelola HAQM untuk Apache Flink. Anda dapat menemukan informasi tentang versi Apache Flink dan Apache Beam yang didukung di Panduan Developer Layanan Terkelola HAQM untuk Apache Flink. 

Anda dapat memulai dari konsol Layanan Terkelola HAQM untuk Apache Flink Studio, HAQM Kinesis Data Streams, atau HAQM MSK dalam beberapa langkah guna meluncurkan notebook nirserver untuk langsung mengueri aliran data dan melakukan analitik data interaktif.

Analitik data interaktif: Anda dapat menulis kode di notebook dalam SQL, Python, atau Scala untuk berinteraksi dengan data streaming Anda, dengan waktu respons kueri dalam hitungan detik. Anda dapat menggunakan visualisasi bawaan untuk menjelajahi data, melihat wawasan waktu nyata pada data streaming Anda dari dalam notebook Anda, dan mengembangkan aplikasi pemrosesan streaming yang ditenagai oleh Apache Flink.

Setelah kode siap dijalankan sebagai aplikasi produksi, Anda dapat bertransisi dengan satu langkah ke aplikasi pemrosesan streaming yang memproses gigabita data per detik, tanpa server.

Aplikasi pemrosesan streaming: Setelah Anda siap untuk mempromosikan kode ke produksi, Anda dapat membangun kode dengan mengeklik “Lakukan deployment sebagai aplikasi pemrosesan streaming” di antarmuka notebook atau mengeluarkan satu perintah di CLI. Studio menangani semua manajemen infrastruktur yang diperlukan agar Anda dapat menjalankan aplikasi pemrosesan streaming dalam skala besar, dengan penskalaan otomatis dan status tahan lama diaktifkan, seperti dalam aplikasi Layanan Terkelola HAQM untuk Apache Flink.

Anda dapat melakukan operasi SQL seperti berikut:

• Pindai dan filter (SELECT, WHERE) 
• Agregasi (GROUP BY, GROUP BY WINDOW, HAVING) 
• Atur (UNION, UNIONALL, INTERSECT, IN, EXISTS) 
• Urutkan (ORDER BY, LIMIT) 
• Bergabung (INNER, OUTER, Timed Window – BETWEEN, AND, Bergabung dengan Tabel Temporal – tabel yang melacak perubahan dari waktu ke waktu)
• Top-N
• Deduplikasi
• Pengenalan pola

Beberapa kueri ini, seperti GROUP BY, OUTER JOIN, dan Top-N, adalah pembaruan hasil untuk data streaming, yang berarti bahwa hasilnya terus diperbarui saat data streaming diproses. Pernyataan DDL lainnya, seperti CREATE, ALTER, dan DROP, juga didukung. Untuk daftar lengkap kueri dan sampel, lihat dokumentasi Kueri Apache Flink.

API Tabel milik Apache Flink mendukung Python dan Scala melalui integrasi bahasa menggunakan string Python dan ekspresi Scala. Operasi yang didukung sangat mirip dengan operasi SQL yang didukung, termasuk pilih, urutkan, kelompokkan, gabungan, filter, dan windowing. Daftar lengkap operasi dan sampel tercantum dalam panduan developer kami.

Untuk mempelajari versi Apache Flink yang didukung selengkapnya, kunjungi halaman Catatan Rilis Layanan Terkelola HAQM untuk Apache Flink. Halaman ini juga mencakup versi Apache Zeppelin, Apache Beam, Java, Scala, Python, dan AWS SDK yang didukung Layanan Terkelola HAQM untuk Apache Flink.

• Sumber data: HAQM Managed Streaming for Apache Kafka (HAQM MSK), HAQM Kinesis Data Streams, HAQM S3 
• Tujuan, atau sink: HAQM MSK, HAQM Kinesis Data Streams, dan HAQM S3

Anda berhak mendapatkan Kredit Layanan SLA dari Layanan Terkelola HAQM untuk Apache Flink di bawah SLA Layanan Terkelola HAQM untuk Apache Flink jika lebih dari satu Zona Ketersediaan tempat Anda menjalankan tugas, dalam Wilayah AWS yang sama, memiliki Persentase Waktu Aktif Bulanan kurang dari 99,9% selama siklus penagihan bulanan. Untuk detail lengkap tentang semua syarat dan ketentuan SLA serta detail tentang cara mengajukan klaim, kunjungi halaman detail SLA Layanan Terkelola HAQM untuk Apache Flink.