Упростите извлечение данных и автоматизацию процессов в мультимодальных рабочих процессах, ориентированных на данные, включая Интеллектуальную обработку документов (IDP)
В этом руководстве показано, как автоматизация данных HAQM Bedrock упрощает получение ценной информации из неструктурированного мультимодального контента, такого как документы, изображения, аудио и видео, с помощью унифицированного API мультимодального вывода. Автоматизация данных HAQM Bedrock помогает разработчикам быстро и экономично создавать приложения с генеративным искусственным интеллектом и автоматизировать мультимодальные рабочие процессы, ориентированные на данные, такие как IDP, анализ медиаданных или дополненная извлеченными данными генерация (RAG). Следуя этому руководству, вы сможете упростить сложные задачи, такие как разделение документов, классификация, извлечение данных, нормализация выходного формата и проверка данных, значительно повысив масштабируемость обработки.
Обратите внимание: [Disclaimer]
Схема архитектуры
-
Интеллектуальная обработка документов
-
Обработка медицинских претензий
-
Интеллектуальная обработка документов
-
На этой архитектурной схеме показано, как выполнять классификацию и извлечение документов на примере обработки выдачи кредита для компании, предоставляющей финансовые услуги.
Нажмите для увеличения
Шаг 1
Группа анализа данных загружает образцы документов в корзину HAQM Simple Storage Service (HAQM S3).Шаг 2
Команда анализа данных использует предоставленные чертежи и создает новые собственные для каждого класса документов: W2, платежной ведомости, водительских прав, 1099 и банковской выписки. Каждый образец обрабатывается, и генеративный искусственный интеллект извлекает поля (например, имя и фамилию, валовую заработную плату, прирост капитала и конечный баланс).
Шаг 3
Чертежи проверяются и дорабатываются. Добавляются ключевые нормализации, преобразования и проверки.
Шаг 4
Управление чертежами и их хранение осуществляются с помощью функции автоматизации данных HAQM Bedrock.
Шаг 5
Используя событие «Объект создан», HAQM EventBridge запускает функцию AWS Lambda при загрузке документов в HAQM S3. Затем эта функция Lambda использует функцию автоматизации данных HAQM Bedrock для обработки загруженных документов.Шаг 6
Рабочий процесс обработки в функции автоматизации данных HAQM Bedrock включает разделение документов по логическим границам, причем каждое разделение содержит до 20 страниц. Каждая страница классифицируется по определенному типу документа и сопоставляется с соответствующими чертежами.Шаг 6 (продолжение)
Затем для каждой страницы вызывается соответствующий чертеж, выполняющий ключевые нормализации, преобразования и проверки. Весь этот процесс работает асинхронно, что позволяет эффективно обрабатывать несколько документов и большие объемы данных.
Шаг 7
Автоматизация данных HAQM Bedrock сохраняет результаты в корзине HAQM S3 для последующей обработки и запускает EventBridge.
Шаг 8
EventBridge запускает функцию Lambda для обработки результатов автоматизации данных HAQM Bedrock в формате JSON. Результаты обработки отправляются в последующие системы обработки.
Шаг 1
Группа анализа данных загружает образцы документов в корзину HAQM Simple Storage Service (HAQM S3).Шаг 2
Команда анализа данных использует предоставленные чертежи и создает новые собственные для каждого класса документов: W2, платежной ведомости, водительских прав, 1099 и банковской выписки. Каждый образец обрабатывается, и генеративный искусственный интеллект извлекает поля (например, имя и фамилию, валовую заработную плату, прирост капитала и конечный баланс).
Шаг 3
Чертежи проверяются и дорабатываются. Добавляются ключевые нормализации, преобразования и проверки.
Шаг 4
Управление чертежами и их хранение осуществляются с помощью функции автоматизации данных HAQM Bedrock.
Шаг 5
Используя событие «Объект создан», HAQM EventBridge запускает функцию AWS Lambda при загрузке документов в HAQM S3. Затем эта функция Lambda использует функцию автоматизации данных HAQM Bedrock для обработки загруженных документов.Шаг 6
Рабочий процесс обработки в функции автоматизации данных HAQM Bedrock включает разделение документов по логическим границам, причем каждое разделение содержит до 20 страниц. Каждая страница классифицируется по определенному типу документа и сопоставляется с соответствующими чертежами.
Шаг 6 (продолжение)
Затем для каждой страницы вызывается соответствующий чертеж, выполняющий ключевые нормализации, преобразования и проверки. Весь этот процесс работает асинхронно, что позволяет эффективно обрабатывать несколько документов и большие объемы данных.
Шаг 7
Автоматизация данных HAQM Bedrock сохраняет результаты в корзине HAQM S3 для последующей обработки и запускает EventBridge.
Шаг 8
EventBridge запускает функцию Lambda для обработки результатов автоматизации данных HAQM Bedrock в формате JSON. Результаты обработки отправляются в последующие системы обработки.
-
Обработка медицинских претензий
-
На этой архитектурной схеме показано, как автоматизировать обработку медицинских претензий с использованием мультимодальных входных данных и их обработки для повышения эффективности и точности.
Нажмите для увеличения
Шаг 1
Поставщики отправляют документы, изображения и видео по претензиям в HAQM S3.
Шаг 2
В функции автоматизации данных HAQM Bedrock запускается рабочий процесс.
Шаг 3
Разработчики создают чертежи в функции автоматизации данных HAQM Bedrock для извлечения соответствующих данных.
Шаг 4
Автоматизация данных HAQM Bedrock обрабатывает документы, изображения и видео путем извлечения текста, таблиц, объектов, транскриптов, нормализации структурирования данных и пометки объектов с низким уровнем достоверности для проверки. Автоматизация данных HAQM Bedrock сохраняет данные в HAQM S3 и запускает EventBridge.
Шаг 5
EventBridge запускает функцию Lambda, которая извлекает выходные данные автоматизации данных HAQM Bedrock из корзины S3.
Шаг 6
Агенты HAQM Bedrock используют функцию Lambda для получения сведений о страховом плане пациента из HAQM Aurora.Шаг 7
Затем агенты HAQM Bedrock обновляют базу данных претензий в Aurora.
Шаг 8
Оценивающие специалисты проверяют важные области и сосредотачиваются на вопросах с низкой степенью достоверности.
Шаг 9
Документы, изображения и видео из описания страхового покрытия (EoC) хранятся в HAQM S3. Автоматизация данных HAQM Bedrock обрабатывает мультимодальные данные с помощью единого API и сохраняет их в HAQM S3. Затем они обрабатываются, встраиваются и сохраняются в векторной коллекции для баз знаний HAQM Bedrock.Шаг 10
Агенты HAQM Bedrock рассчитывают соответствие критериям на основе извлеченных данных и индексированной информации.
Шаг 11
Агенты HAQM Bedrock обновляют базу данных претензий и уведомляют оценивающего специалиста. Оценивающий специалист эффективно рассматривает, утверждает или корректирует претензию.
Шаг 1
Поставщики отправляют документы, изображения и видео по претензиям в HAQM S3.
Шаг 2
В функции автоматизации данных HAQM Bedrock запускается рабочий процесс.
Шаг 3
Разработчики создают чертежи в функции автоматизации данных HAQM Bedrock для извлечения соответствующих данных.
Шаг 4
Автоматизация данных HAQM Bedrock обрабатывает документы, изображения и видео путем извлечения текста, таблиц, объектов, транскриптов, нормализации структурирования данных и пометки объектов с низким уровнем достоверности для проверки. Автоматизация данных HAQM Bedrock сохраняет данные в HAQM S3 и запускает EventBridge.
Шаг 5
EventBridge запускает функцию Lambda, которая извлекает выходные данные автоматизации данных HAQM Bedrock из корзины S3.
Шаг 6
Агенты HAQM Bedrock используют функцию Lambda для получения сведений о страховом плане пациента из HAQM Aurora.Шаг 7
Затем агенты HAQM Bedrock обновляют базу данных претензий в Aurora.
Шаг 8
Оценивающие специалисты проверяют важные области и сосредотачиваются на вопросах с низкой степенью достоверности.
Шаг 9
Документы, изображения и видео из описания страхового покрытия (EoC) хранятся в HAQM S3. Автоматизация данных HAQM Bedrock обрабатывает мультимодальные данные с помощью единого API и сохраняет их в HAQM S3. Затем они обрабатываются, встраиваются и сохраняются в векторной коллекции для баз знаний HAQM Bedrock.Шаг 10
Агенты HAQM Bedrock рассчитывают соответствие критериям на основе извлеченных данных и индексированной информации.
Шаг 11
Агенты HAQM Bedrock обновляют базу данных претензий и уведомляют оценивающего специалиста. Оценивающий специалист эффективно рассматривает, утверждает или корректирует претензию.
Начало работы
Развертывание данного руководства
Принципы Well-Architected
Платформа AWS Well‑Architected помогает понять преимущества и недостатки решений, принимаемых при создании систем в облаке. Шесть принципов платформы позволяют изучить передовые архитектурные практики проектирования и эксплуатации надежных, безопасных, эффективных, экономичных и устойчивых систем. С помощью Инструмента AWS Well-Architected, который бесплатно доступен в Консоли управления AWS, можно проверить свои рабочие нагрузки на соответствие этим рекомендациям, ответив на ряд вопросов по каждому из прниципов.
Приведенная выше схема архитектуры является примером решения, созданного с учетом передовых практик Well-Architected. Для того чтобы полностью освоить Well-Architected, используйте как можно больше передовых практик Well-Architected.
-
Оптимизация бизнес‑процессовЧитать техническое описание о принципе оптимизации бизнес-процессов
HAQM S3, EventBridge и Lambda формируют удобный автоматизированный рабочий процесс обработки документов и извлечения данных с помощью безопасного хранилища для различных типов документов. Автоматизация данных HAQM Bedrock упрощает извлечение и нормализацию данных, сокращая объем ручного труда и повышая точность. Базы знаний HAQM Bedrock индексируют обработанную информацию, упрощая поиск и доступ к ней, а агенты HAQM Bedrock используют эти структурированные данные для принятия интеллектуальных решений и эффективной маршрутизации заявок. Aurora служит надежной базой данных для хранения и извлечения важной информации. В совокупности эти сервисы позволяют создать высокоэффективную, масштабируемую и надежную систему, которая сводит к минимуму вмешательство человека и максимизирует производительность.
-
БезопасностьЧитать техническое описание о принципе безопасности
HAQM S3 предлагает зашифрованное хранилище, Lambda выполняет код в изолированных средах, а HAQM Bedrock использует безопасную инфраструктуру AWS со встроенным шифрованием и контролем доступа. Aurora предоставляет расширенные функции безопасности баз данных. Эти сервисы обеспечивают комплексный подход к безопасности, который защищает данные на протяжении всего их жизненного цикла, обеспечивая при этом строгий контроль доступа и контрольные журналы. Возможность централизованного управления политиками безопасности, а также использования постоянных обновлений и улучшений AWS, призванных обеспечить защиту, позволяет поддерживать высокий уровень безопасности, сосредоточившись на основных бизнес-операциях.
-
НадежностьЧитать техническое описание о принципе надежности
HAQM S3 обеспечивает надежное и высокодоступное хранилище для документов. EventBridge помогает обеспечить последовательную обработку, управляемую событиями, за счет надежного запуска функций Lambda, которые легко масштабируются для обработки различных рабочих нагрузок без простоев. Высокодоступная база данных Aurora предлагает возможности автоматического резервного копирования и аварийного переключения. Эти сервисы представляют собой надежную отказоустойчивую систему, способную выдерживать отказы компонентов, автоматически масштабироваться и поддерживать стабильную производительность при высоких нагрузках, сводя к минимуму время простоя и риски потери данных.
-
Высокая производительностьЧитать техническое описание о принципе высокой производительности
Сервисы AWS повышают эффективность работы благодаря масштабируемым и высокопроизводительным решениям для обработки документов. HAQM S3 обеспечивает доступ к сохраненным документам с малой задержкой, а EventBridge обеспечивает обработку событий в реальном времени. Lambda обеспечивает быструю вычислительную мощность по запросу. Бессерверная природа Lambda и EventBridge устраняет узкие места, связанные с подготовкой серверов. Кроме того, HAQM Bedrock использует модели искусственного интеллекта для эффективной обработки сложных задач по анализу данных.
-
Оптимизация затратЧитать техническое описание о принципе оптимизации затрат
Сервисы AWS способствуют оптимизации затрат с помощью моделей оплаты по факту использования (то есть вы платите только за потребленные ресурсы) и устраняют авансовые инвестиции в инфраструктуру. HAQM S3 предлагает варианты многоуровневого хранения, балансирующие производительность и стоимость. Бессерверная природа EventBridge и Lambda означает плату только за фактическое использованное вычислительное время. HAQM Bedrock предоставляет возможности искусственного интеллекта без дорогостоящей собственной инфраструктуры или опыта, а Aurora обеспечивает производительность, сопоставимую с коммерческими базами данных, за небольшую часть стоимости.
-
Устойчивое развитиеЧитать техническое описание о принципе устойчивого развития
Сервисы AWS способствуют устойчивому развитию, оптимизируя использование ресурсов и энергоэффективность. HAQM S3 использует эффективные технологии хранения данных, а EventBridge и Lambda предоставляют бессерверные архитектуры, позволяющие свести к минимуму объем простоя. Эти облачные сервисы значительно сокращают локальную инфраструктуру, снижают потребление энергии и выбросы углекислого газа. Их масштабируемость обеспечивает оптимальное использование ресурсов, избегая избыточного выделения ресурсов и потерь.
Похожие материалы
[Title]
Отказ от ответственности
Образец кода, библиотеки программного обеспечения, инструменты командной строки, проверки концепции, шаблоны или другие сопутствующие технологии (включая все вышеперечисленные, предоставляемые нашим персоналом) предоставляются в виде контента AWS в соответствии с Клиентским соглашением AWS или соответствующим письменным соглашением между вами и AWS (в зависимости от того, что применимо). Не следует использовать этот контент AWS в своих производственных аккаунтах, а также на производственных или других важных данных. Вы несете ответственность за тестирование, защиту и оптимизацию контента AWS, например образца кода, в соответствии с требованиями производственного уровня на основе конкретных методов и стандартов контроля качества. Развертывание контента AWS может повлечь за собой взимание платы AWS за создание или использование платных ресурсов AWS, таких как запуск инстансов HAQM EC2 или использование хранилища HAQM S3.
Ссылки на сторонние сервисы или организации в этом руководстве не означают одобрения, спонсорства или членства между HAQM или AWS и третьей стороной. Рекомендации AWS являются отправной точкой с технической точки зрения, и вы можете настроить интеграцию со сторонними сервисами при развертывании архитектуры.