คําถามที่พบบ่อยเกี่ยวกับบริการที่มีการจัดการของ HAQM สำหรับ Apache Flink

รองรับ เมื่อใช้ Apache Flink DataStream Connectors แอปพลิเคชันบริการที่มีการจัดการของ HAQM สำหรับ Apache Flink จะสามารถใช้ AWS Glue Schema Registry ซึ่งเป็นคุณสมบัติแบบไม่ต้องใช้เซิร์ฟเวอร์ของ AWS Glu ได้ คุณสามารถผสานรวม Apache Kafka, HAQM MSK และ HAQM Kinesis Data Streams ซึ่งเป็นซิงก์หรือแหล่งที่มาเข้ากับเวิร์กโหลดของบริการที่มีการจัดการของ HAQM สำหรับ Apache Flink ได้ โปรดไปที่คู่มือนักพัฒนาเกี่ยวกับการลงทะเบียนสคีมาของ AWS Glue เพื่อเริ่มต้นใช้งานและเรียนรู้เพิ่มเติม

แอปพลิเคชันคือเอนทิตีบริการที่มีการจัดการของ HAQM สำหรับ Apache Flink ที่คุณทำงานด้วย บริการที่มีการจัดการของ HAQM สำหรับ Apache Flink จะอ่านและประมวลผลข้อมูลการสตรีมแบบเรียลไทม์อย่างต่อเนื่อง ส่วนคุณก็เขียนโค้ดแอปพลิเคชันในภาษาที่รองรับ Apache Flink เพื่อประมวลผลข้อมูลการสตรีมขาเข้าและสร้างเอาต์พุต จากนั้นบริการที่มีการจัดการของ HAQM สำหรับ Apache Flink จะเขียนเอาต์พุตไปยังปลายทางที่กําหนดไว้

แต่ละแอปพลิเคชันจะประกอบด้วย 3 องค์ประกอบหลัก:

1. อินพุต: อินพุตคือแหล่งที่มาของการสตรีมสําหรับแอปพลิเคชันของคุณ ในการกําหนดค่าอินพุต คุณจะต้องแมปแหล่งสตรีมมิงกับ Data Stream การไหลเวียนของข้อมูลจากแหล่งที่มาของข้อมูลไปยัง Data Stream ของคุณ คุณประมวลผลข้อมูลจาก Data Stream เหล่านี้โดยใช้โค้ดแอปพลิเคชันของคุณเอง โดยส่งข้อมูลที่ประมวลผลแล้วไปยัง Data Stream หรือปลายทางลำดับถัดไป คุณเพิ่มอินพุตภายในโค้ดแอปพลิเคชันสำหรับแอปพลิเคชัน Apache Flink และโน้ตบุ๊ก Studio และผ่าน API สำหรับแอปพลิเคชันบริการที่มีการจัดการของ HAQM สำหรับ Apache Flink 
2. โค้ดแอปพลิเคชัน:โค้ดแอปพลิเคชันคือชุดของตัวดำเนินการ Apache Flink ที่ประมวลผลอินพุตและสร้างเอาต์พุต ในรูปแบบที่ง่ายที่สุด โค้ดแอปพลิเคชันสามารถเป็นตัวดำเนินการ Apache Flink เพียงตัวเดียวที่อ่านจาก Data Stream ที่เชื่อมโยงกับแหล่งสตรีมมิง และเขียนไปยัง Data Stream อีกจุดหนึ่งที่เชื่อมโยงกับเอาต์พุต สำหรับโน้ตบุ๊ก Studio นี่อาจเป็นการสืบค้น “select” ของ Flink SQL แบบธรรมดา โดยผลลัพธ์จะแสดงในบริบทภายในโน้ตบุ๊ก คุณสามารถเขียนโค้ด Apache Flink ในภาษาที่รองรับสำหรับแอปพลิเคชันบริการที่มีการจัดการของ HAQM สำหรับ Apache Flink หรือโน้ตบุ๊ก Studio ก็ได้
3. เอาต์พุต: จากนั้นคุณสามารถเลือกกำหนดค่าเอาต์พุตของแอปพลิเคชันเพื่อคงข้อมูลไปยังปลายทางภายนอกได้ โดยเพิ่มอินพุตเหล่านี้ภายในโค้ดแอปพลิเคชันสำหรับโน้ตบุ๊กสตูดิโอและแอปพลิเคชันบริการที่มีการจัดการของ HAQM สำหรับ Apache Flink 

AWS มีเครื่องมือต่างๆ ที่คุณสามารถใช้เพื่อตรวจสอบแอปพลิเคชันบริการที่มีการจัดการของ HAQM สำหรับ Apache Flink รวมถึงสามารถเข้าถึง Flink Dashboard สําหรับแอปพลิเคชัน Apache Flink ได้อีกด้วย คุณสามารถกําหนดค่าเครื่องมือเหล่านี้เพื่อทําการตรวจสอบให้คุณได้ หากต้องการข้อมูลเพิ่มเติมเกี่ยวกับวิธีการตรวจสอบแอปพลิเคชันของคุณ โปรดอ่านคู่มือนักพัฒนาต่อไปนี้ 

• การตรวจสอบ บริการที่มีการจัดการของ HAQM สำหรับ Apache Flink ในคู่มือนักพัฒนาเกี่ยวกับบริการที่มีการจัดการของ HAQM สำหรับ Apache Flink
• การตรวจสอบบริการที่มีการจัดการของ HAQM สำหรับ Apache Flink ในคู่มือนักพัฒนาเกี่ยวกับบริการที่มีการจัดการของ HAQM สำหรับ Apache Flink Studio

บริการที่มีการจัดการของ HAQM สำหรับ Apache Flink ต้องใช้สิทธิ์ในการอ่านบันทึกจากแหล่งที่มาของข้อมูลการสตรีมที่คุณระบุในแอปพลิเคชันของคุณ บริการที่มีการจัดการของ HAQM สำหรับ Apache Flink ยังต้องใช้สิทธิ์ในการเขียนเอาต์พุตจากแอปพลิเคชันของคุณไปยังปลายทางที่ระบุในการกําหนดค่าเอาต์พุตแอปพลิเคชันของคุณด้วย คุณสามารถให้สิทธิ์เหล่านี้ได้โดยการสร้างบทบาท AWS Identity and Access Management (IAM) ที่บริการที่มีการจัดการของ HAQM สำหรับ Apache Flink สามารถรับบทบาทดังกล่าวได้ สิทธิ์ที่คุณมอบให้กับบทบาทนี้จะกำหนดว่าบริการที่มีการจัดการของ HAQM สำหรับ Apache Flink จะทำอะไรได้บ้างเมื่อบริการนี้รับบทบาทดังกล่าว หากต้องการข้อมูลเพิ่มเติม โปรดดูที่คู่มือนักพัฒนาต่อไปนี้

• การให้สิทธิ์ในคู่มือนักพัฒนาเกี่ยวกับบริการที่มีการจัดการของ HAQM สำหรับ Apache Flink
• การให้สิทธิ์ในคู่มือนักพัฒนาเกี่ยวกับบริการที่มีการจัดการของ HAQM สำหรับ Apache Flink Studio

บริการที่มีการจัดการของ HAQM สำหรับ Apache Flink ปรับขนาดแอปพลิเคชันของคุณได้อย่างยืดหยุ่นเพื่อรองรับอัตราการโอนถ่ายข้อมูลของสตรีมต้นทางและความซับซ้อนในการสืบค้นสำหรับสถานการณ์ส่วนใหญ่ ความจุของบริการที่มีการจัดการของ HAQM สำหรับ Apache Flink ในรูปแบบของ HAQM KPU หนึ่ง KPU จะมี 1 vCPU และหน่วยความจํา 4 GB 

สำหรับแอปพลิเคชัน Apache Flink และโน้ตบุ๊ก Studio นั้น บริการที่มีการจัดการของ HAQM สำหรับ Apache Flink จะกำหนดพื้นที่จัดเก็บแอปพลิเคชันที่ทำงานอยู่จำนวน 50 GB ต่อ KPU ซึ่งแอปพลิเคชันของคุณใช้สำหรับจุดตรวจสอบ และพร้อมให้คุณใช้ผ่านดิสก์ชั่วคราวได้ จุดตรวจสอบคือการสำรองข้อมูลที่อัปเดตแล้วของแอปพลิเคชันที่ทำงานอยู่ ซึ่งใช้เพื่อกู้คืนในทันทีหลังจากที่แอปพลิเคชันหยุดชะงัก คุณยังสามารถควบคุมการใช้งานแบบคู่ขนานสำหรับงานแอปพลิเคชันบริการที่มีการจัดการของ HAQM สำหรับ Apache Flink ได้อีกด้วย (เช่น การอ่านจากแหล่งที่มาหรือการใช้ตัวดำเนินการ) โดยใช้พารามิเตอร์ Parallelism และ ParallelismPerKPU ใน API Parallelism จะกำหนดจำนวนอินสแตนซ์ที่ใช้งานพร้อมกันในงานหนึ่งๆ ตัวดำเนินการ แหล่งที่มา และซิงก์ทั้งหมดจะทำงานด้วย Parallelism ที่กำหนดไว้ตามค่าเริ่มต้น Parallelism per KPU จะกำหนดจำนวนของงานคู่ขนานที่สามารถกำหนดเวลาได้ต่อ KPU ของแอปพลิเคชันของคุณตามค่าเริ่มต้น หากต้องการข้อมูลเพิ่มเติม โปรดดูที่ “การปรับขนาด” ในคู่มือนักพัฒนาเกี่ยวกับบริการที่มีการจัดการของ HAQM สำหรับ Apache Flink 

หากต้องการข้อมูลเกี่ยวกับแนวทางปฏิบัติที่ดีที่สุดสําหรับ Apache Flink โปรดดูหัวข้อแนวทางปฏิบัติที่ดีที่สุดในคู่มือนักพัฒนาเกี่ยวกับบริการที่มีการจัดการของ HAQM สำหรับ Apache Flink หัวข้อนี้กล่าวถึงแนวทางปฏิบัติที่ดีที่สุดสำหรับความทนทานต่อความเสียหาย ประสิทธิภาพ การบันทึก การเขียนโค้ด และอื่นๆ 

หากต้องการข้อมูลเกี่ยวกับแนวทางปฏิบัติที่ดีที่สุดสําหรับ บริการที่มีการจัดการของ HAQM สำหรับ Apache Flink Studio โปรดดูหัวข้อแนวทางปฏิบัติที่ดีที่สุดในคู่มือนักพัฒนาเกี่ยวกับบริการที่มีการจัดการของ HAQM สำหรับ Apache Flink Studio นอกเหนือจากแนวทางปฏิบัติที่ดีที่สุดแล้ว หัวข้อนี้ยังกล่าวถึงตัวอย่างแอปพลิเคชัน SQL, Python และ Scala ข้อกำหนดสำหรับการปรับใช้โค้ดของคุณให้เป็นแอปพลิเคชันประมวลผลสตรีมที่ทำงานอย่างต่อเนื่อง ประสิทธิภาพ การบันทึก และอื่นๆ

ใช่ คุณสามารถเข้าถึงทรัพยากรที่อยู่เบื้องหลัง HAQM VPC ได้ คุณสามารถเรียนรู้วิธีกําหนดค่าแอปพลิเคชันของคุณสําหรับการเข้าถึง VPC ได้ในหัวข้อการใช้ HAQM VPC ในคู่มือนักพัฒนาเกี่ยวกับบริการที่มีการจัดการของ HAQM สำหรับ Apache Flink

แอปพลิเคชันบริการที่มีการจัดการของ HAQM สำหรับ Apache Flink และโน้ตบุ๊กบริการที่มีการจัดการของ HAQM สำหรับ Apache Flink Studio ที่ได้รับการกำหนดค่าให้เข้าถึงทรัพยากรใน VPC ที่เฉพาะเจาะจงจะไม่สามารถเข้าถึงอินเทอร์เน็ตได้โดยเป็นการกำหนดค่าเริ่มต้น คุณสามารถเรียนรู้วิธีกําหนดค่าการเข้าถึงอินเทอร์เน็ตสําหรับแอปพลิเคชันของคุณได้ในหัวข้อการเข้าถึงอินเทอร์เน็ตและบริการในคู่มือนักพัฒนาเกี่ยวกับบริการที่มีการจัดการของ HAQM สำหรับ Apache Flink

เมื่อใช้บริการที่มีการจัดการของ HAQM สำหรับ Apache Flink คุณจะชําระค่าบริการเฉพาะส่วนที่คุณใช้เท่านั้น ไม่มีทรัพยากรที่ต้องจัดหาหรือค่าใช้จ่ายล่วงหน้าที่เกี่ยวข้องกับบริการที่มีการจัดการของ HAQM สำหรับ Apache Flink 

คุณจะถูกเรียกเก็บค่าบริการรายชั่วโมงตามจำนวน HAQM KPU ที่ใช้เพื่อเรียกใช้แอปพลิเคชันการสตรีมของคุณ KPU เดียวคือหน่วยของความสามารถในการประมวลผลสตรีมที่ประกอบด้วยการประมวลผล 1 vCPU และหน่วยความจำ 4 GB บริการที่มีการจัดการของ HAQM สำหรับ Apache Flink จะทำการปรับจำนวน KPU ที่แอปพลิเคชันประมวลผลสตรีมของคุณต้องใช้โดยอัตโนมัติเนื่องจากความต้องการหน่วยความจำและการประมวลผลแตกต่างกันไปตามความซับซ้อนของการประมวลผลและอัตราการโอนถ่ายข้อมูลการสตรีมที่ประมวลผล 

สำหรับแอปพลิเคชัน Apache Flink และ Apache Beam คุณจะถูกเรียกเก็บค่า KPU เพิ่มเติมหนึ่งรายการต่อแอปพลิเคชันสำหรับการควบคุมระบบแอปพลิเคชัน แอปพลิเคชัน Apache Flink และ Apache Beam ยังมีการเรียกเก็บค่าบริการสำหรับการเรียกใช้พื้นที่จัดเก็บข้อมูลแอปพลิเคชันที่ทำงานอยู่และการสำรองข้อมูลแอปพลิเคชันที่คงที่อีกด้วย พื้นที่จัดเก็บข้อมูลแอปพลิเคชันที่ทำงานอยู่จะใช้สำหรับความสามารถในการประมวลผลที่สนับสนุนสถานะต่างๆ ในบริการที่มีการจัดการของ HAQM สำหรับ Apache Flink และคิดค่าบริการต่อ GB/เดือน การสำรองข้อมูลแอปพลิเคชันที่คงที่เป็นตัวเลือกแบบไม่บังคับ คิดค่าบริการต่อ GB/เดือน และมีคุณสมบัติการกู้คืน ณ จุดใดจุดหนึ่งของเวลาสำหรับแอปพลิเคชันให้ 

สำหรับบริการที่มีการจัดการของ HAQM สำหรับ Apache Flink Studio ในโหมดการพัฒนาหรือโหมดโต้ตอบ คุณจะถูกเรียกเก็บค่า KPU เพิ่มเติมหนึ่งรายการสำหรับการควบคุมระบบแอปพลิเคชัน และ 1 KPU สำหรับการพัฒนาเชิงโต้ตอบ นอกจากนี้ คุณจะถูกเรียกเก็บเงินสําหรับการเรียกใช้พื้นที่เก็บข้อมูลแอปพลิเคชันด้วย มั้งนี้ คุณจะไม่ถูกเรียกเก็บเงินสําหรับการสํารองข้อมูลแอปพลิเคชันที่คงที่

หากต้องการข้อมูลราคาเพิ่มเติม โปรดดูที่หน้าราคาของบริการที่มีการจัดการของ HAQM สำหรับ Apache Flink

สำหรับแอปพลิเคชัน Apache Flink และ Apache Beam คุณจะถูกเรียกเก็บเงินขั้นต่ำ 2 KPU และพื้นที่จัดเก็บแอปพลิเคชันที่ทำงานอยู่ 50 GB หากแอปพลิเคชันบริการที่มีการจัดการของ HAQM สำหรับ Apache Flink ของคุณกำลังทำงานอยู่

สำหรับโน้ตบุ๊กของบริการที่มีการจัดการของ HAQM สำหรับ Apache Flink Studio คุณจะถูกเรียกเก็บเงินขั้นต่ำ 3 KPU และพื้นที่จัดเก็บแอปพลิเคชันที่ทำงานอยู่ 50 GB หากแอปพลิเคชันของคุณกำลังทำงานอยู่

Apache Flink เป็นเฟรมเวิร์กและกลไกโอเพนซอร์สสําหรับประมวลผล Data Stream และข้อมูลแบบแบตช์ โดยช่วยให้สร้างแอปพลิเคชันการสตรีมได้ง่าย เนื่องจากมีตัวดำเนินการที่มีประสิทธิภาพและแก้ไขปัญหาการสตรีมหลักๆ ได้ เช่น การประมวลผลซ้ำซ้อน Apache Flink ให้การกระจายข้อมูล การสื่อสาร และความทนทานต่อความเสียหายสำหรับการประมวลผลแบบกระจายบน Data Stream

คุณสามารถเริ่มต้นด้วยการดาวน์โหลดไลบรารีโอเพนซอร์ส รวมถึง AWS SDK, Apache Flink และตัวเชื่อมต่อสำหรับบริการของ AWS รับคำแนะนำเกี่ยวกับวิธีดาวน์โหลดไลบรารีและสร้างแอปพลิเคชันแรกของคุณในคู่มือนักพัฒนาเกี่ยวกับบริการที่มีการจัดการของ HAQM สำหรับ Apache Flink

คุณเขียนโค้ด Apache Flink โดยใช้ Data Stream และตัวดำเนินการสตรีม Data Stream ของแอปพลิเคชันคือโครงสร้างข้อมูลที่คุณดำเนินการประมวลผลโดยใช้โค้ดแอปพลิเคชันของคุณเอง ข้อมูลจะไหลเวียนอย่างต่อเนื่องจากแหล่งที่มาไปสู่ Data Stream ของแอปพลิเคชัน ตัวดำเนินการสตรีมอย่างน้อยหนึ่งตัวจะถูกใช้เพื่อกำหนดการประมวลผลบน Data Stream ของแอปพลิเคชัน รวมถึงการแปลง การแบ่งส่วน การรวม การผสาน และวินโดว์ Data Stream และตัวดําเนินการสามารถเชื่อมต่อในห่วงโซ่แบบอนุกรมและแบบขนานได้ เราได้แสดงตัวอย่างสั้นๆ โดยใช้โค้ดหลอกที่ด้านล่าง

DataStream <GameEvent> rawEvents = env.addSource(

New KinesisStreamSource(“input_events”));

DataStream <UserPerLevel> gameStream =

rawEvents.map(event - > new UserPerLevel(event.gameMetadata.gameId,

event.gameMetadata.levelId,event.userId));

gameStream.keyBy(event -> event.gameId)

.keyBy(1)

.window(TumblingProcessingTimeWindows.of(Time.minutes(1)))

.apply(...) - > {...};

gameStream.addSink(new KinesisStreamSink("myGameStateStream"));

ตัวดำเนินการจะรับ Data Stream ของแอปพลิเคชันเป็นอินพุตและส่งข้อมูลที่ประมวลผลแล้วไปยัง Data Stream ของแอปพลิเคชันเป็นเอาต์พุต โดยสามารถเชื่อมต่อตัวดำเนินการเข้าด้วยกันเพื่อสร้างแอปพลิเคชันที่มีหลายขั้นตอน และไม่จำเป็นต้องใช้ความรู้ขั้นสูงเกี่ยวกับระบบแบบกระจายในการนำตัวดำเนินการเหล่านี้ไปใช้งาน

บริการที่มีการจัดการของ HAQM สำหรับ Apache Flink รองรับตัวดำเนินการทั้งหมดจาก Apache Flink ที่สามารถใช้เพื่อแก้ไขกรณีการใช้งานที่หลากหลาย รวมถึงแผนที่, KeyBy, การรวม, วินโดว์, การผสานรวม และอื่นๆ ตัวอย่างเช่น ตัวดำเนินการแผนที่ช่วยให้คุณทำการประมวลผลได้ตามความต้องการ โดยนำองค์ประกอบหนึ่งมาจาก Data Stream ขาเข้าและสร้างอีกองค์ประกอบหนึ่งขึ้นมา KeyBy จัดระเบียบข้อมูลอย่างมีเหตุผลโดยใช้คีย์ที่ระบุ เพื่อให้คุณสามารถประมวลผลจุดข้อมูลที่คล้ายคลึงกันร่วมกันได้ การรวมจะดำเนินการประมวลผลในหลายคีย์ เช่น ผลรวม ต่ำสุด และสูงสุด ส่วน Window Join จะรวม Data Stream 2 รายการเข้าด้วยกันบนคีย์และวินโดว์ที่กำหนด 

คุณสามารถสร้างตัวดำเนินการแบบกำหนดเองได้หากการทำงานนี้ไม่ตรงกับความต้องการของคุณ ค้นหาตัวอย่างเพิ่มเติมได้ในหัวข้อตัวดำเนินการในคู่มือนักพัฒนาเกี่ยวกับบริการที่มีการจัดการของ HAQM สำหรับ Apache Flink คุณสามารถดูรายชื่อตัวดําเนินการ Apache Flink ทั้งหมดได้ในเอกสารประกอบ Apache Flink 

คุณสามารถตั้งค่าการผสานรวมที่สร้างไว้ล่วงหน้าโดย Apache Flink โดยใช้โค้ดที่น้อยที่สุดหรือสร้างการผสานรวมของคุณเองเพื่อเชื่อมต่อกับแหล่งที่มาของข้อมูลได้แทบทุกแหล่ง ไลบรารีโอเพนซอร์สที่ใช้ Apache Flink รองรับแหล่งการสตรีมและปลายทาง หรือซิงค์เพื่อประมวลผลการส่งข้อมูล นอกจากนี้ ยังรวมถึงการสนับสนุนการเพิ่มข้อมูลผ่านตัวเชื่อมต่อ I/O แบบอะซิงโครนัสอีกด้วย ตัวอย่างตัวเชื่อมต่อเหล่านี้มีดังต่อไปนี้

• แหล่งที่มาของข้อมูลการสตรีม: HAQM Managed Streaming สำหรับ Apache Kafka (HAQM MSK), HAQM Kinesis Data Streams ปลายทางหรือซิงก์: HAQM Kinesis Data Streams
• HAQM Kinesis Data Firehose, HAQM DynamoDB, HAQM Elasticsearch Service และ HAQM S3 (ผ่านการผสานรวมการซิงค์ไฟล์)

ใช่ คุณสามารถใช้แอปพลิเคชันบริการที่มีการจัดการของ HAQM สำหรับ Apache Flink เพื่อจำลองข้อมูลระหว่าง HAQM Kinesis Data Streams, HAQM MSK และระบบอื่นๆ ได้ ตัวอย่างที่ให้ไว้ในเอกสารประกอบของเราแสดงให้เห็นถึงวิธีการอ่านจากหัวข้อ HAQM MSK หนึ่งและเขียนไปยังอีกหัวข้อหนึ่ง

คุณสามารถเพิ่มแหล่งที่มาหรือปลายทางให้กับแอปพลิเคชันของคุณได้โดยสร้างจากโปรแกรมพื้นฐานที่ช่วยให้คุณสามารถอ่านและเขียนจากไฟล์ ไดเร็กทอรี ซ็อกเก็ต หรืออะไรก็ตามที่คุณสามารถเข้าถึงได้ผ่านทางอินเทอร์เน็ต Apache Flink มีโปรแกรมพื้นฐานเหล่านี้สำหรับแหล่งที่มาของข้อมูลและซิงค์ข้อมูล โปรแกรมพื้นฐานมาพร้อมกับการกำหนดค่าต่างๆ เช่น ความสามารถในการอ่านและเขียนข้อมูลอย่างต่อเนื่องหรือครั้งเดียว แบบอะซิงโครนัสหรือซิงโครนัส และอื่นๆ อีกมากมาย ตัวอย่างเช่น คุณสามารถตั้งค่าแอปพลิเคชันให้อ่านอย่างต่อเนื่องจาก HAQM S3 โดยขยายการผสานรวมแหล่งที่มาตามไฟล์ที่มีอยู่

แอปพลิเคชันบริการที่มีการจัดการของ HAQM สำหรับ Apache Flink ใช้โมเดลการส่งมอบเพียงครั้งเดียวหากแอปพลิเคชันถูกสร้างขึ้นโดยใช้ตัวดําเนินการ idempotent รวมถึงแหล่งที่มาและซิงค์ ซึ่งหมายความว่าข้อมูลที่ประมวลผลจะส่งผลกระทบต่อผลลัพธ์ขั้นปลายหนึ่งครั้งและเพียงครั้งเดียวเท่านั้น

ตามค่าเริ่มต้น แอปพลิเคชันบริการที่มีการจัดการของ HAQM สำหรับ Apache Flink จะใช้ความหมายของ Apache Flink เพียงครั้งเดียว แอปพลิเคชันของคุณรองรับความหมายการประมวลผลเพียงครั้งเดียวหากคุณออกแบบแอปพลิเคชันโดยใช้แหล่งที่มา ตัวดำเนินการ และซิงก์ที่ใช้ความหมายเพียงครั้งเดียวของ Apache Flink

บริการที่มีการจัดการของ HAQM สำหรับ Apache Flink จะสํารองข้อมูลสถานะของแอปพลิเคชันที่ทํางานอยู่โดยอัตโนมัติโดยใช้จุดตรวจสอบและสแนปช็อต จุดตรวจสอบจะบันทึกสถานะปัจจุบันของแอปพลิเคชันและเปิดใช้งานแอปพลิเคชันบริการที่มีการจัดการของ HAQM สำหรับ Apache Flink เพื่อกู้คืนตำแหน่งของแอปพลิเคชันเพื่อให้ความหมายเหมือนกับการดำเนินการที่ปราศจากข้อผิดพลาด จุดตรวจสอบจะใช้พื้นที่จัดเก็บแอปพลิเคชันที่ทํางานอยู่ จุดตรวจสอบสําหรับแอปพลิเคชัน Apache Flink จะมีให้ผ่านฟังก์ชันจุดตรวจสอบของ Apache Flink สแนปช็อตจะบันทึกจุดกู้คืนในจุดเวลาที่กำหนดสําหรับแอปพลิเคชันและใช้การสํารองข้อมูลแอปพลิเคชันที่คงที่ สแนปช็อตจะคล้ายกับจุดบันทึกของ Flink

หากต้องการข้อมูลเพิ่มเติมเกี่ยวกับเวอร์ชันของ Apache Flink ที่รองรับ โปรดไปที่หน้าบันทึกย่อประจำรุ่นของบริการที่มีการจัดการของ HAQM สำหรับ Apache Flink หน้านี้ยังมีเวอร์ชันต่างๆ ของ Apache Beam, Java, Scala, Python และ AWS SDK ที่บริการที่มีการจัดการของ HAQM สำหรับ Apache Flink รองรับอีกด้วย 

ได้ บริการที่มีการจัดการของ HAQM สำหรับ Apache Flink รองรับแอปพลิเคชันการสตรีมที่สร้างขึ้นโดยใช้ Apache Beam คุณสามารถสร้างแอปพลิเคชันการสตรีม Apache Beam ในภาษา Java และเรียกใช้ในเอนจิ้นและบริการต่างๆ รวมถึงใช้ Apache Flink บนบริการที่มีการจัดการของ HAQM สำหรับ Apache Flink ได้ คุณสามารถค้นหาข้อมูลเกี่ยวกับเวอร์ชันของ Apache Flink และ Apache Beam ที่รองรับได้ในคู่มือนักพัฒนาเกี่ยวกับบริการที่มีการจัดการของ HAQM สำหรับ Apache Flink 

คุณสามารถเริ่มต้นจากบริการที่มีการจัดการของ HAQM สำหรับ Apache Flink Studio, HAQM Kinesis Data Streams หรือคอนโซล HAQM MSK ได้ในไม่กี่ขั้นตอนเพื่อเปิดใช้โน้ตบุ๊กแบบไม่ต้องใช้เซิร์ฟเวอร์เพื่อสืบค้น Data Stream ได้ทันทีและดำเนินการวิเคราะห์ข้อมูลเชิงโต้ตอบได้

การวิเคราะห์ข้อมูลเชิงโต้ตอบ: คุณสามารถเขียนโค้ดในโน้ตบุ๊กด้วยภาษา SQL, Python หรือ Scala เพื่อโต้ตอบกับข้อมูลการสตรีมของคุณ โดยมีเวลาตอบกลับการสืบค้นเป็นวินาที คุณสามารถใช้การแสดงภาพในตัวเพื่อสำรวจข้อมูล ดูข้อมูลเชิงลึกแบบเรียลไทม์เกี่ยวกับข้อมูลการสตรีมของคุณจากภายในโน้ตบุ๊ก และพัฒนาแอปพลิเคชันการประมวลผลสตรีมที่ขับเคลื่อนโดย Apache Flink

เมื่อโค้ดของคุณพร้อมที่จะทำงานเป็นแอปพลิเคชันที่ใช้งานจริงแล้ว คุณสามารถเปลี่ยนผ่านไปเป็นแอปพลิเคชันประมวลผลสตรีมที่ประมวลผลข้อมูลในระดับกิกะไบต์ต่อวินาทีได้ในขั้นตอนเดียว โดยไม่ต้องใช้เซิร์ฟเวอร์

แอปพลิเคชันการประมวลผลสตรีม: เมื่อคุณพร้อมที่จะเลื่อนระดับโค้ดของคุณไปเป็นการใช้งานจริงแล้ว คุณสามารถสร้างโค้ดได้โดยคลิก “ปรับใช้เป็นแอปพลิเคชันการประมวลผลสตรีม” ในอินเทอร์เฟซโน้ตบุ๊กหรือออกคำสั่งเดียวใน CLI Studio จะดูแลการจัดการโครงสร้างพื้นฐานทั้งหมดที่จำเป็นเพื่อให้คุณเรียกใช้แอปพลิเคชันการประมวลผลสตรีมได้ในวงกว้าง โดยเปิดใช้งานการปรับขนาดอัตโนมัติและสถานะคงที่ เช่นเดียวกับในแอปพลิเคชันบริการที่มีการจัดการของ HAQM สำหรับ Apache Flink

คุณสามารถดําเนินการ SQL ดังต่อไปนี้

• สแกนและกรอง (SELECT, WHERE) 
• การรวม (GROUP BY, GROUP BY WINDOW, HAVING) 
• เซ็ต (UNION, UNIONALL, INTERSECT, IN, EXISTS) 
• เรียงลำดับ (ORDER BY, LIMIT) 
• ผสานรวม (INNER, OUTER, Timed Window – BETWEEN, AND, Joining with Temporal Tables – ตารางที่ติดตามการเปลี่ยนแปลงเมื่อเวลาผ่านไป)
• Top-N
• การลบข้อมูลซ้ำซ้อน
• การจดจํารูปแบบ

การสืบค้นเหล่านี้บางส่วน เช่น GROUP BY, OUTER JOIN และ Top-N เป็นผลลัพธ์ที่อัปเดตสำหรับการสตรีมข้อมูล ซึ่งหมายความว่าผลลัพธ์จะมีการอัปเดตอย่างต่อเนื่องในขณะที่ข้อมูลการสตรีมได้รับการประมวลผล นอกจากนี้ยังรองรับคําสั่ง DDL อื่นๆ เช่น CREATE, ALTER และ DROP โปรดดูการสืบค้นและตัวอย่างทั้งหมดได้ในเอกสารประกอบเกี่ยวกับการสืบค้นของ Apache Flink

Table API ของ Apache Flink รองรับ Python และ Scala ผ่านการรวมภาษาโดยใช้สตริง Python และนิพจน์ Scala การดำเนินการที่รองรับจะคล้ายกับการดำเนินการ SQL ที่รองรับอย่างมาก รวมถึงการเลือก การเรียงลำดับ การจัดกลุ่ม การผสานรวม การกรอง และการวินโดว์ การดําเนินการและตัวอย่างทั้งหมดระบุอยู่ในคู่มือนักพัฒนาของเรา

หากต้องการข้อมูลเพิ่มเติมเกี่ยวกับเวอร์ชันของ Apache Flink ที่รองรับ โปรดไปที่หน้าบันทึกย่อประจำรุ่นของบริการที่มีการจัดการของ HAQM สำหรับ Apache Flink หน้านี้ยังมีเวอร์ชันต่างๆ ของ Apache Zeppelin, Apache Beam, Java, Scala, Python และ AWS SDK ที่บริการที่มีการจัดการของ HAQM สำหรับ Apache Flink รองรับอีกด้วย

• แหล่งที่มาของข้อมูล: HAQM Managed Streaming สำหรับ Apache Kafka (HAQM MSK), HAQM Kinesis Data Streams, HAQM S3 
• ปลายทางหรือซิงค์: HAQM MSK, HAQM Kinesis Data Streams และ HAQM S3

คุณมีสิทธิ์ได้รับเครดิตบริการ SLA สําหรับบริการที่มีการจัดการของ HAQM สำหรับ Apache Flink ภายใต้ SLA ของบริการที่มีการจัดการของ HAQM สำหรับ Apache Flinkหาก Availability Zone มากกว่าหนึ่งแห่งที่คุณกําลังทํางานอยู่ภายใน AWS Region เดียวกันมีเปอร์เซ็นต์เวลาทํางานรายเดือนน้อยกว่า 99.9% ในระหว่างรอบการเรียกเก็บเงินรายเดือนในรอบใดก็ตาม สำหรับรายละเอียดเกี่ยวกับข้อกำหนดและเงื่อนไข SLA ทั้งหมด รวมถึงรายละเอียดเกี่ยวกับวิธีการยื่นคำร้อง โปรดไปที่หน้ารายละเอียดบริการที่มีการจัดการของ HAQM สำหรับ Apache Flink SLA