Apache Spark di HAQM EMR

EMR menghadirkan runtime HAQM EMR untuk Apache Spark, lingkungan runtime yang performanya dioptimalkan untuk Apache Spark yang aktif secara default di klaster HAQM EMR. HAQM EMR runtime for Apache Spark bisa lebih 3x lebih cepat dari kluster tanpa runtime EMR, dan memiliki kompatibilitas API sebesar 100% dengan Apache Spark standar. Peningkatan performa ini berarti beban kerja Anda berjalan lebih cepat dan menghemat biaya komputasi, tanpa membuat perubahan apa pun pada aplikasi Anda.

Dengan mesin eksekusi grafik asiklik yang diarahkan (DAG), Spark dapat membuat rencana kueri yang efisien untuk transformasi data. Spark juga menyimpan input, output, dan data perantara dalam memori sebagai frame data yang tangguh, yang memungkinkan pemrosesan cepat tanpa biaya I/O, percepatan performa iteratif, atau beban kerja interaktif.

Apache Spark secara native mendukung Java, Scala, SQL, dan Python, yang memberikan Anda berbagai bahasa untuk membangun aplikasi. Selain itu, Anda dapat mengirimkan kueri SQL atau HiveQL menggunakan modul Spark SQL. Selain menjalankan aplikasi, Anda dapat menggunakan API Spark secara interaktif dengan Python atau Scala secara langsung di shell Spark atau melalui EMR Studio, atau notebook Jupyter di klaster Anda. Dukungan untuk Apache Hadoop 3.0 di EMR 6.0 menghadirkan dukungan kontainer Docker untuk menyederhanakan pengelolaan ketergantungan. Anda juga dapat memanfaatkan EMR Notebooks independen klaster (berdasarkan Jupyter) atau menggunakan Zeppelin untuk membuat notebook interaktif dan kolaboratif untuk eksplorasi dan visualisasi data. Anda dapat menyetel dan melakukan debug beban kerja Anda di konsol EMR yang memiliki Spark History Server yang persisten di luar klaster.

Apache Spark mencakup beberapa pustaka yang membantu pembuatan aplikasi untuk machine learning (MLlib), pemrosesan stream (Spark Streaming), dan pemrosesan grafik (GraphX). Pustaka ini sangat terintegrasi dalam ekosistem Spark, dan dapat dimanfaatkan semaksimal mungkin untuk merujuk berbagai kasus penggunaan. Selain itu, Anda dapat menggunakan kerangka kerja deep learning seperti Apache MXNet dengan aplikasi Spark. Integrasi dengan AWS Step Functions memungkinkan Anda menambahkan otomatisasi dan orkestrasi alur kerja nirserver ke aplikasi Anda.

Kirimkan pekerjaan Apache Spark dengan EMR Step API, gunakan Spark dengan EMRFS untuk mengakses data secara langsung di S3, hemat biaya menggunakan kapasitas EC2 Spot, gunakan EMR Managed Scaling untuk menambah dan menghapus kapasitas secara dinamis, dan luncurkan klaster yang sudah berjalan lama atau sementara agar sesuai dengan beban kerja Anda. Anda juga dapat dengan mudah mengonfigurasi enkripsi Spark dan autentikasi dengan Kerberos menggunakan konfigurasi keamanan EMR. Selain itu, Anda dapat menggunakan Katalog Data AWS Glue untuk menyimpan metadata tabel Spark SQL atau menggunakan HAQM SageMaker dengan pipeline machine learning Spark. EMR menginstal dan mengelola Spark di Hadoop YARN, dan Anda juga dapat menambahkan aplikasi big data lainnya di klaster Anda. EMR dengan Apache Hudi memungkinkan Anda mengelola pengambilan data perubahan (CDC) dengan lebih efisien dan membantu peraturan privasi seperti GDPR dan CCPA dengan menyederhanakan penghapusan catatan. Klik di sini untuk detail selengkapnya tentang fitur-fitur EMR.

Konsumsi dan proses data waktu nyata dari HAQM Kinesis, Apache Kafka, atau aliran data lainnya dengan Spark Streaming di EMR. Lakukan analisis streaming dengan cara yang yang toleran kesalahan dan tulis hasilnya ke S3 atau HDFS di klaster.

Apache Spark pada EMR mencakup MLlib untuk berbagai algoritme machine learning yang dapat diskalakan, atau Anda dapat menggunakan pustaka Anda sendiri. Dengan menyimpan set data dalam memori selama mengerjakan tugas, Spark memiliki performa yang kuat untuk kueri iteratif yang umum di beban kerja machine learning. Anda dapat meningkatkan kemampuan HAQM SageMaker dengan menghubungkan instans notebook ke kluster Apache Spark yang berjalan di HAQM EMR, dengan HAQM SageMaker Spark untuk melatih model dan meng-hosting model dengan mudah.

Gunakan Spark SQL untuk latensi rendah, kueri interaktif dengan SQL atau HiveQL. Spark di EMR dapat memanfaatkan EMRFS, sehingga Anda dapat memiliki akses ad hoc ke set data Anda di S3. Anda juga dapat memanfaatkan EMR Studio, EMR Notebooks, Zeppelin notebook, atau alat BI melalui koneksi ODBC dan JDBC.