Это встроенное приложение Java позволяет легко собирать и отправлять данные в поток данных HAQM Kinesis. Этот агент можно устанавливать в серверных средах Linux, включая веб‑серверы, серверы журналов или баз данных. Он отслеживает определенные файлы и непрерывно отправляет данные в поток. Загрузить агент HAQM Kinesis.
Клиентская библиотека HAQM Kinesis – это встроенная библиотека, с помощью которой можно легко создавать приложения HAQM Kinesis для считывания и обработки данных из потока HAQM Kinesis. Она выполняет такие сложные задачи, как адаптация приложения к изменениям объема потока, балансирование нагрузки потока данных, координация распределенных сервисов и отказоустойчивая обработка данных, и позволяет вам сконцентрировать усилия на функциональном коде приложений. Загрузить клиентскую библиотеку для Java | Python | Ruby | Node.js | .NET
Решение AWS для потоковой передачи данных для HAQM Kinesis поможет вам разобраться со стандартным примерами использования, связанными с потоковой передачей данных в режиме реального времени, такими как создание журналов крупномасштабных приложений, анализ истории посещений, постоянная доставка в озеро данных и другие.
Это решение сократит время разработки на несколько дней, устраняя или уменьшая необходимость в моделировании и инициализации ресурсов при помощи AWS CloudFormation, настройке панелей мониторинга, журналов и оповещений HAQM CloudWatch, а также самостоятельной реализации лучших методик потоковой передачи данных в AWS. Это решение не зависит от данных и логики, что позволяет начать с шаблонного кода и быстро приступить к персонализации. После развертывания вы можете использовать доступные в этом решении возможности мониторинга, чтобы легко перейти в рабочую среду.
Эта простая в использовании библиотека с гибко перестраиваемой конфигурацией помогает добавлять данные в поток HAQM Kinesis. Она обладает простым и надежным асинхронным интерфейсом, который позволяет быстро достичь высокой пропускной способности источника при минимальных клиентских ресурсах. Загрузить библиотеку источников Kinesis.
Связующая библиотека HAQM Kinesis – это встроенная библиотека, которая позволяет легко интегрировать HAQM Kinesis Data Streams с другими сервисами AWS и инструментами сторонних разработчиков. Для ее использования требуется клиентская библиотека HAQM Kinesis (KCL). Текущая версия этой библиотеки обеспечивает подключение к HAQM DynamoDB, HAQM RedShift, HAQM S3 и Elasticsearch. Кроме того, библиотека содержит примеры подключений для каждого типа, а также файлы компоновки Apache Ant для запуска примеров. Загрузить связующую библиотеку Kinesis.
HAQM Kinesis Storm Spout – это встроенная библиотека, позволяющая легко интегрировать HAQM Kinesis Data Streams с Apache Storm. Текущая версия этой библиотеки извлекает данные из потока HAQM Kinesis и выводит их в виде кортежей. Чтобы использовать HAQM Kinesis Data Streams в качестве надежного и масштабируемого сервиса захвата потока, хранения и воспроизведения, необходимо добавить Spout в топологию Storm. Загрузить Kinesis Storm Spout.
Узнайте, как с помощью Потоков данных HAQM Kinesis и Apache Storm создать панель управления, предоставляющую информацию по «скользящему окну» в режиме реального времени.
Связующая библиотека HAQM Elastic MapReduce (EMR) позволяет этому сервису напрямую считывать данные из потоков данных HAQM Kinesis и выполнять запросы к ним.
Подробнее | Вопросы и ответы о связующей библиотеке EMR для Kinesis
Инструмент HAQM Kinesis Recorder обеспечивает стабильную передачу данных из мобильного приложения в поток данных HAQM Kinesis.
Log4J Appender для HAQM Kinesis Data Streams – это реализация интерфейса Apache Log4J Appender для передачи выходных данных Log4J непосредственно в потоки данных HAQM Kinesis без создания специального кода.
Этот плагин позволяет Fluentd добавлять свои данные в потоки данных HAQM Kinesis.
Источник и приемник данных HAQM Kinesis для сервиса Apache Flume.
Приемник данных HAQM Kinesis Data Streams создает входной поток DStream с помощью клиентской библиотеки HAQM Kinesis.
Эта библиотека позволяет разработчикам создавать обработчики записей на языке Go с помощью демона клиентской библиотеки HAQM Kinesis с многоязычной поддержкой.
Эти агрегаторы позволяют автоматически создавать и отображать агрегированные временные ряды для данных потоков HAQM Kinesis.
Эта программа предназначена для масштабирования количества сегментов потока данных HAQM Kinesis. С ее помощью можно увеличивать или уменьшать количество сегментов, задавая их в виде некоторого числа или в процентах от общего количества сегментов.
Этот модуль позволяет получать события, публикуемые другими «вертикалями» (исполняемыми файлами) Vert.x, и отправлять их в HAQM Kinesis Data Streams.