HAQM Data Firehose

โหลดสตรีมข้อมูลแบบเรียลไทม์ลงในที่จัดเก็บข้อมูลดิบ คลังข้อมูล และบริการด้านวิเคราะห์อย่างเชื่อถือได้

ประโยชน์

จับภาพ แปลง และโหลดข้อมูลการสตรีมได้อย่างง่ายดาย สร้างสตรีมการส่งมอบ เลือกปลายทางของคุณ และเริ่มสตรีมข้อมูลแบบเรียลไทม์ด้วยการคลิกเพียงไม่กี่ครั้ง

จัดเตรียมและปรับขนาดทรัพยากรการประมวลผล หน่วยความจำ และเครือข่ายโดยอัตโนมัติโดยไม่ต้องมีการบริหารจัดการระบบอย่างต่อเนื่อง

แปลงข้อมูล Raw Streaming (การสตรีมดิบ) ให้อยู่ในรูปแบบ เช่น Apache Parquet และแบ่งพาร์ติชันข้อมูลการสตรีมแบบไดนามิกโดยไม่ต้องสร้างไปป์ไลน์การประมวลผลของคุณเอง

วิธีทำงาน

HAQM Data Firehose มอบวิธีที่ง่ายที่สุดในการรับ เปลี่ยน และส่ง Data Stream ไปยัง Data Lake คลังข้อมูล และบริการการวิเคราะห์ต่างๆ ภายในไม่กี่วินาที ในการใช้ HAQM Data Firehose คุณต้องตั้งค่าสตรีมด้วยแหล่งที่มา ปลายทาง และการแปลงที่จำเป็น HAQM Data Firehose จะประมวลผลการสตรีมอย่างต่อเนื่อง ปรับขนาดตามปริมาณข้อมูลที่มีโดยอัตโนมติ และนำส่งภายในเวลาไม่กี่วินาที

เลือกแหล่งที่มาสำหรับ Data Stream ของคุณ เช่น หัวข้อใน HAQM Managed Streaming สำหรับ Kafka (MSK) สตรีมใน Kinesis Data Streams หรือเขียนข้อมูลโดยใช้ Firehose Direct PUT API HAQM Data Firehos ผสานรวมบริการของ AWS ไว้มากกกว่า 20 รายการ เพื่อให้คุณสามารถกำหนดค่าสตรีมจากแหล่งที่มาต่าง ๆ เช่น ฐานข้อมูล (แสดงตัวอย่าง) HAQM CloudWatch Logs, AWS WAF web ACL logs ข้อมูลบันทึก AWS Network Firewall, HAQM SNS หรือ AWS IoT

ระบุว่าคุณต้องการแปลง Data Stream ของคุณเป็นรูปแบบต่างๆ เช่น Parquet หรือ ORC ยกเลิกการบีบอัดข้อมูล ดำเนินการแปลงข้อมูลแบบกำหนดเองโดยใช้ฟังก์ชัน AWS Lambda ของคุณเองหรือพาร์ทิชันบันทึกข้อมูลอินพุตแบบไดนามิกตามคุณลักษณะเพื่อส่งไปยังตำแหน่งต่างๆ

เลือกปลายทางสำหรับสตรีมของคุณ เช่น HAQM S3, HAQM OpenSearch Service, HAQM Redshift, Splunk, Snowflake ตาราง Apache Iceberg ตาราง  HAQM S3 (แสดงตัวอย่าง) หรือตำแหน่งข้อมูล HTTP ที่กำหนดเอง

ดูข้อมูลเพิ่มเติมเกี่ยวกับ HAQM Data Firehose ได้ที่ เอกสารประกอบเกี่ยวกับ HAQM Data Firehose

กรณีใช้งาน

สตรีมข้อมูลลงใน HAQM S3 แล้วแปลงข้อมูลให้อยู่ในรูปแบบที่ต้องใช้ในการวิเคราะห์โดยไม่ต้องสร้างไปป์ไลน์การประมวลผล

ตรวจสอบความปลอดภัยของเครือข่ายแบบเรียลไทม์และสร้างการแจ้งเตือนเมื่อพบสิ่งที่อาจเป็นภัยคุกคาม โดยใช้เครื่องมือการจัดการข้อมูลและเหตุการณ์ด้านความปลอดภัย (SIEM) ที่ได้รับการสนับสนุน

เพิ่มประสิทธิภาพให้กับ Data Stream ของคุณด้วยโมเดลแมชชีนเลิร์นนิง (ML) เพื่อวิเคราะห์ข้อมูลและคาดการณ์ตำแหน่งข้อมูลการอนุมานเมื่อสตรีมย้ายไปยังปลายทาง


สำรวจ AWS เพิ่มเติม