これは、データを収集して HAQM Kinesis データストリームに送信する機能を簡単に実現する、ビルド済みの Java アプリケーションです。このエージェントは、ウェブサーバー、ログサーバー、データベースサーバーなど、Linux ベースのサーバー環境にインストールできます。エージェントによって特定のファイルがモニタリングされ、継続的にデータがデータストリームに送られます。HAQM Kinesis Agent を入手する。
HAQM Kinesis の AWS ストリーミングデータソリューションを使用して、大量のアプリケーションログのキャプチャ、クリックストリームデータの分析、データレイクへの継続的な配信など、リアルタイムストリーミングのユースケースを解決します。
このソリューションは、AWS CloudFormation を使用してリソースをモデル化およびプロビジョニングすること、HAQM CloudWatch アラーム、ダッシュボード、およびロギングをセットアップすること、そして AWS でストリーミングデータのベストプラクティスを手動で実装することの必要性を排除または抑制することにより、開発時間を数日短縮します。このソリューションはデータやロジックに依存しないため、定型コードから始めて、すぐにカスタマイズを開始できます。デプロイ後、ソリューションのモニタリング機能を使用して、本番環境に簡単に移行できます。
HAQM Kinesis ストリームにデータを格納するのに役立つ、使いやすく、高度な設定が可能なライブラリです。このライブラリは、最低限のクライアントリソースを使用して、高いプロデューサースループットを素早く実現できる、シンプルで非同期の、信頼のおけるインターフェイスを提供します。Kinesis Producer Library はこちら。
ビルド済みのこのライブラリを使用すると、HAQM Kinesis Data Streams を AWS の他のサービスやサードパーティ製ツールと簡単に統合できます。このライブラリを使用するには、HAQM Kinesis クライアントライブラリ(KCL)が必要です。このライブラリの現在のバージョンでは、HAQM DynamoDB、HAQM Redshift、HAQM S3、Elasticsearch に対するコネクタをご利用いただけます。またライブラリには、各タイプのサンプルコネクタと、サンプルを実行するための Apache Ant ビルドファイルも含まれています。 Kinesis コネクタライブラリはこちら。
ビルド済みのこのライブラリを使用すると、HAQM Kinesis Data Streams と Apache Storm を簡単に統合できます。このライブラリの現在のバージョンでは、HAQM Kinesis ストリームからデータをフェッチし、そのデータをタプルとして送出します。信頼性が高くスケーラブルなストリームキャプチャ、ストレージ、および再生サービスとして HAQM Kinesis Data Streams を活用するには、Spout を Storm トポロジに追加します。 Kinesis Storm Spout はこちら。
HAQM Kinesis Data Streams と Apache Storm でリアルタイムのスライディングウィンドウダッシュボードを作成する方法について学びましょう。
HAQM Elastic MapReduce (EMR) を使用すると、HAQM Kinesis データストリームから直接データを読み取り、クエリを実行できます。
HAQM Kinesis Recorder を使用すると、モバイルアプリケーションから HAQM Kinesis データストリームにデータを安全に記録できます。
Apache Log4J Appender Interface を実装すると、Log4J の出力を直接 HAQM Kinesis データストリームにプッシュできます。カスタムコードは不要です。
Fluentd を使用して HAQM Kinesis データストリームにデータを追加できるようにするプラグインです。
HAQM Kinesis Source and Sink for Apache Flume サービス。
HAQM Kinesis クライアントライブラリを使用して入力 DStream を作成する、HAQM Kinesis Data Streams のレシーバーです。
開発者が、HAQM Kinesis クライアントライブラリのマルチ言語デーモンを使用して、Go 言語でレコードプロセッサを書くことができるようにします。
HAQM Kinesis データストリームから、集約した時系列データを自動的に作成し、可視化できます。
HAQM Kinesis データストリームのシャード数をスケールできます。開発者は、特定のシャード数を指定するか、合計シャード数のうちのパーセンテージを指定することで、スケールアップやスケールダウンができます。
他の Vert.x 頂点から発行されたイベントを受け取り、そのイベントを HAQM Kinesis Data Streams に送信できます。