Các tính năng của Dịch vụ được quản lý của HAQM dành cho Apache Flink

Dịch vụ được quản lý của HAQM dành cho Apache Flink bao gồm các thư viện nguồn mở như Apache Flink, Apache Beam, Apache Zeppelin, SDK AWS và tích hợp dịch vụ AWS. Apache Flink là một khung và công cụ để xây dựng các ứng dụng truyền liên tục có độ sẵn sàng và chính xác cao. Apache Beam là một mô hình hợp nhất để xác định các ứng dụng xử lý dữ liệu hàng loạt và truyền liên tục chạy trên nhiều công cụ đảm bảo thời gian hoạt động. SDK AWS giúp loại bỏ sự phức tạp khi viết mã cho nhiều dịch vụ AWS bằng cách cung cấp các API bằng ngôn ngữ ưa thích của bạn và chúng bao gồm các thư viện AWS, mã mẫu và tài liệu. 

Dịch vụ được quản lý của HAQM dành cho Apache Flink hỗ trợ các API linh hoạt của Flink trong Java, Scala, Python và SQL chuyên dụng cho các trường hợp sử dụng khác nhau bao gồm xử lý sự kiện theo trạng thái, ETL (trích xuất, chuyển đổi và tải) truyền liên tục và phân tích theo thời gian thực. Với các toán tử và tính năng phân tích được dựng sẵn, bạn có thể xây dựng ứng dụng truyền liên tục Apache Flink chỉ trong vài giờ thay vì vài tháng, đồng thời nhờ các thư viện có thể mở rộng, bạn có thể thực hiện xử lý theo thời gian thực cho các trường hợp sử dụng đa dạng.

Bạn có thể thiết lập và tích hợp nguồn dữ liệu hoặc đích đến với lượng mã tối thiểu. Sử dụng các thư viện Dịch vụ được quản lý của HAQM dành cho Apache Flink để tích hợp với những dịch vụ AWS sau:  

• HAQM S3
• HAQM MSK
• Dịch vụ OpenSearch của HAQM
• HAQM DynamoDB
• Luồng dữ liệu HAQM Kinesis
• Firehose dữ liệu HAQM Kinesis
• HAQM CloudWatch
• Sổ đăng ký lược đồ AWS Glue

Ngoài tích hợp AWS, các thư viện Dịch vụ được quản lý của HAQM dành cho Apache Flink bao gồm hơn 40 bộ kết nối Apache Flink và khả năng xây dựng các tích hợp tùy chỉnh. Với một vài dòng mã, bạn có thể sửa đổi cách mỗi tích hợp hoạt động với chức năng nâng cao. Bạn cũng có thể xây dựng các tích hợp tùy chỉnh bằng cách sử dụng một tập hợp các loại Apache Flink nguyên thủy để bạn có thể đọc và ghi từ các tệp, thư mục, socket hoặc các nguồn khác được truy cập qua Internet.

Khi sử dụng Dịch vụ được quản lý của HAQM dành cho Apache Flink, bạn có thể xây dựng các ứng dụng mà trong đó bản ghi đã xử lý chỉ tác động đến kết quả đúng một lần, được gọi là xử lý chính xác một lần. Ngay cả trong trường hợp ứng dụng bị gián đoạn, chẳng hạn như bảo trì dịch vụ nội bộ hoặc cập nhật ứng dụng do người dùng khởi tạo, dịch vụ sẽ đảm bảo tất cả dữ liệu được xử lý và không có dữ liệu trùng lặp.

Dịch vụ sẽ lưu trữ các tính toán hoặc trạng thái trước đó và đang tiến hành trong kho lưu trữ ứng dụng đang chạy. So sánh kết quả theo thời gian thực và kết quả trong quá khứ ở bất kỳ khoảng thời gian nào và đạt được khả năng khôi phục nhanh chóng trong thời gian ứng dụng bị gián đoạn. Trạng thái luôn được mã hóa và lưu tăng dần trong kho lưu trữ ứng dụng đang chạy.

Tạo và xóa các bản sao lưu ứng dụng bền vững thông qua một lệnh gọi API đơn giản. Ngay lập tức khôi phục ứng dụng của bạn từ bản sao lưu mới nhất sau khi bị gián đoạn hoặc khôi phục ứng dụng của bạn về một phiên bản trước đó. 

Dịch vụ được quản lý của HAQM dành cho Apache Flink hỗ trợ các thuật toán máy học (ML). Bạn có thể tạo các ứng dụng theo thời gian thực để phân loại, phân cụm, đánh giá, đề xuất kỹ thuật lấy dữ liệu đặc trưng, hồi quy và thống kê. 

Dịch vụ được quản lý của HAQM dành cho Apache Flink tương thích với Sổ đăng ký lược đồ AWS Glue. Sổ đăng ký lược đồ giúp bạn cải thiện chất lượng dữ liệu và bảo vệ dữ liệu trước những thay đổi không mong muốn bằng cách sử dụng các kiểm tra khả năng tương thích hỗ trợ quản lý sự phát triển của lược đồ đối với các lược đồ trên khối lượng công việc Dịch vụ được quản lý của HAQM dành cho Apache Flink được kết nối với Apache Kafka, HAQM MSK hoặc Luồng dữ liệu HAQM Kinesis, dưới dạng bộ kết nối nguồn hoặc nơi gom tệp.