Uso de la Inteligencia Artificial Generativa para el apoyo a los educadores

Por Mateo Laguna y Cristian Castellanos, arquitectos de Soluciones en HAQM Web Services para el Sector Público.

Introducción

Se estima que entre el 20 y el 40 por ciento de las horas docentes actuales se dedican a actividades que podrían automatizarse utilizando la tecnología existente. En el ámbito educativo, la tecnología se vuelve una herramienta clave para ayudar a los educadores acelerar tareas repetitivas y centrarse en las tareas de enseñanza que más agregan valor a los estudiantes.

La evaluación del conocimiento es un aspecto fundamental en el marco educativo, ya que permite medir el progreso y el aprendizaje de los estudiantes. La construcción y aplicación de sistemas de evaluación proporciona información sobre las fortalezas y debilidades en el aprendizaje, lo que permite a los educadores adaptar su enseñanza para mejorar los resultados. Sin embargo, la construcción de estos artefactos de evaluación tienen una procedimiento definido que debe seguirse para garantizar la calidad de las evaluaciones. Por esta razón, la taxonomía de Bloom es una herramienta útil para guiar la evaluación del conocimiento en el aula. Al utilizar la taxonomía de Bloom, los educadores pueden diseñar evaluaciones que midan diferentes niveles de comprensión y habilidades de pensamiento crítico.

Por lo tanto, el objetivo de este blog es compartir una solución basada en tecnologías de inteligencia artificial implementado sobre servicios de HAQM Web Services (AWS). Esta solución busca automatizar la construcción o elaboración de preguntas para la evaluación de los estudiantes que cumplan con los estándares de alta calidad, alineados con la rúbrica específica y así apoyar a los educadores en tareas repetitivas que consumen tiempo.

Diseño de la Arquitectura

Esta solución contempla una arquitectura sin servidores (serverless) y orientada por eventos (aquí encuentras más información sobre arquitecturas orientadas por eventos) que se ejecuta a la llegada de un nuevo documentos de guía educativa a procesar de manera que se optimizan costos de infraestructura, a la vez que se favorece la escalabilidad y disponibilidad. La guía educativa describe las competencias que se espera que un estudiante desarrolle a lo largo de un curso y los criterios de evaluación que permitirán definir el nivel que demuestra en dichas competencias. A partir del contenido de las guías en formato imagen, se extrae el texto para dar contexto a una tarea basada en inteligencia artificial generativa que genere preguntas de evaluación alineada con las guías.

diagrama_arquitectura

A continuación el detalle de cada uno de los pasos de la arquitectura:

Carga de archivos: se realiza el proceso de transferir uno o más archivos (i.e. guías educativas) desde un dispositivo local, como una computadora, a un bucket de HAQM Simple Storage Service (HAQM S3, es un servicio de almacenamiento en la nube que permite a los usuarios almacenar y recuperar cualquier cantidad de datos en cualquier momento. En la arquitectura se utiliza el servicio de HAQM S3 para almacenar y recibir las guías para las preguntas; para almacenar y disponibilizar los resultados parciales después de la extracción de los datos; y para almacenar y disponibilizar los resultados finales después de la elaboración de las preguntas). La carga de archivos puede realizarse a través de una interfaz de usuario como la consola de AWS, o mediante el uso de herramientas de línea de comandos a través del AWS CLI.
Código para procesar el archivo entrante: para este paso se usa una función de AWS Lambda (el cual es un servicio de computación sin servidor que permite a los usuarios ejecutar código sin tener que preocuparse por la infraestructura subyacente. En la infraestructura que se desplegó, AWS Lambda tiene un papel fundamental dado que es el orquestador lógico que se encarga de comunicar y accionar los diferentes servicios, por ejemplo, se encarga de llamar a los servicios de inteligencia artificial cuando los documentos están listos para ser procesados). Dentro de la primera función de AWS Lambda se tiene el código que se utiliza para analizar y manipular el archivo que ha sido cargado en el bucket de HAQM S3. El código en Python que se utilizó en esta primera función (se usa el SDK de python, boto3) se encarga de orquestar el proceso de llamar al servicio de HAQM Textract pasándole el archivo que había sido previamente cargado.
Extracción de la información textual: HAQM Textract (es un servicio de procesamiento de documentos que utiliza aprendizaje automático para extraer texto y datos de documentos escaneados y digitales. Este servicio de inteligencia artificial de AWS es el que permite en la arquitectura extraer la información de los documentos físicos o digitales a datos que pueden ser usados por otros servicios posteriormente (por ejemplo, datos que pueden ser consumidos por HAQM Bedrock más adelante). En este caso, HAQM Textract se encarga del proceso de identificar y extraer información relevante de las guías educativas con el material de aprendizaje, tales como palabras clave, frases o patrones específicos. La extracción de información textual puede realizarse mediante el uso de técnicas de procesamiento de lenguaje natural, como el análisis léxico, el análisis sintáctico y la extracción de entidades.
Almacenamiento de resultados: se guardan los resultados parciales de la extracción de datos de los archivos en un bucket de HAQM S3 diferente.
Código para crear las preguntas: dentro de la segunda función de AWS Lambda se tiene el código que se utiliza para generar las preguntas de evaluación a partir de la información extraída de las guías académicas. El código en Python que se utilizó en esta segunda función se encarga de orquestar el uso de la información extraída por HAQM Textract para llamar al servicio de HAQM Bedrock (el cual es un servicio totalmente administrado que ofrece una selección de modelos fundacionales (FM) de alto rendimiento de las principales empresas de IA como AI21 Labs, Anthropic, Cohere, Meta, Mistral AI, Stability AI y HAQM a través de una sola API, junto con un amplio conjunto de funciones necesarias para crear aplicaciones de IA generativa con seguridad, privacidad e IA responsables. En la arquitectura de este blog, HAQM Bedrock es el servicio que se encarga de entender los datos que vienen de los documentos que se cargaron previamente, luego se encarga de procesarlos a través de las diferentes instrucciones (o como se conoce el término en inglés, prompt engineering) para lograr construir las preguntas para evaluar a los estudiantes. Ambos procesos se realizan a través de instrucciones en lenguaje natural, no se requiere código por parte del usuario). Sin embargo, es importante aclarar que las peticiones hechas al servicio de inteligencia artificial generativa son hechas en lenguaje natural (es decir, en el lenguaje que usaría un ser humano), la razón de usar código Python es para poder comunicar varios servicios de AWS a la vez de forma automática y autónoma.
Creación de las preguntas: HAQM Bedrock a través de sus diferentes modelos fundacionales (el modelo que se utilizó en esta solución fue Claude V2 de Anthropic) de inteligencia artificial generativa se encarga del proceso de generar preguntas a partir de la información obtenida por HAQM Textract en pasos anteriores a través de las diferentes peticiones (o como se les conoce, prompts). Es importante mencionar que se debe ir realizando una iteración de ajustes en los prompts a medida que se van generando las preguntas hasta alcanzar el resultado deseado.
Almacenamiento de las preguntas: se guardan las preguntas generadas para la evaluación de los estudiantes en un bucket de HAQM S3 diferente.
Notificación de proceso culminado: una vez se ha procesado la guía y se han elaborado las preguntas, se procede a notificar a los profesores de que ya están disponibles los resultados para ser utilizados a través del servicio de HAQM Simple Notificacion Services (HAQM SNS, es un servicio de mensajería que permite a los usuarios enviar y recibir mensajes entre aplicaciones y servicios en la nube de AWS. En este escenario, el servicio de HAQM SNS será el encargado de notificar al profesor cuando los resultados del procesamiento completo de las guías se haya culminado y las preguntas para evaluar a los estudiantes estén listas para ser utilizadas o revisadas). En caso de fallo, también se notifica para revisar lo ocurrido.

Solución

De cada guía de aprendizaje se debe extraer cuál es el conocimiento que se plantea evaluar y cuál es el criterio en el cual se debe desempeñar ese conocimiento. Estos elementos son fundamentales para posterior poder hacer la generación de las preguntas para la evaluación.

Vamos a tomar como ejemplo la guía académica que se usa en los laboratorios sobre el proceso químico de la electrólisis. En esta guía se pueden encontrar varios conocimientos que se pueden evaluar a un estudiante, tales como: gases, mecánica de fluidos, electrolizador, reglamentación y normativa, riesgos en el laboratorio, etc. Lo que hace la solución en esta primera etapa es extraer con HAQM Textract los conocimientos de los documentos que se cargaron previamente al bucket de HAQM S3, llevándolos de texto en un documento a oraciones en formato digital (es decir, datos) para ser utilizadas.

Los conocimientos extraídos en formato de archivo de texto se muestran a continuación:

A. Estudio de los gases, incluyendo sus diferentes tipos, composición química, propiedades fisicoquímicas y características de los gases que pueden ser utilizados como combustible.
B. El hidrógeno, su definición, características, variedades, propiedades, aplicaciones, criterios para su mezcla y distribución, y sus propiedades de ignición y combustión.
C. Métodos para la producción de hidrógeno verde, incluyendo sus características, procedimientos, criterios técnicos, características de las energías renovables y protocolos de seguridad para el proceso de producción.
D. La mecánica de los fluidos, su definición, propiedades de los fluidos y los diferentes tipos de variables que pueden afectar su comportamiento.
E. Los electrolizadores, sus diferentes tipos, características, componentes, variables de operación, técnicas de manejo, manuales del fabricante y guías de operación.
F. Los planos del sistema de electrólisis, incluyendo los criterios de interpretación y las especificaciones técnicas.
G. La electrólisis, su definición, principios, proceso y características de los sistemas que la utilizan.
H. Los sistemas de automatización y control, incluyendo sus características, componentes, procedimientos de operación y flujo del proceso.
I. La reglamentación y normativa técnica, incluyendo los procedimientos de operación de las máquinas de producción de gas hidrógeno, los procedimientos de verificación de la calidad de la producción de hidrógeno, los protocolos de seguridad y las certificaciones de trabajo en alturas, los tipos de permisos, las características de las licencias, las técnicas de señalización y las especificaciones constructivas de las instalaciones de gas, y el trabajo seguro con hidrógeno.
J. Los riesgos de manejo de electrolizadores, incluyendo los diferentes tipos de riesgos, los factores que los causan, las fuentes de estos riesgos, los métodos de análisis y control, y el protocolo de manejo de sustancias peligrosas.

Por otro lado, los criterios de desempeño de cada uno de los conocimientos de la electrólisis a evaluar según la guía y extraídos con HAQM Textract se muestran a continuación:

Verificar las condiciones previas al funcionamiento del sistema electrolítico.
Confirmar que las características técnicas del sistema cumplen con el procedimiento técnico y el orden de trabajo establecido.
Recopilar información sobre la liberación del sistema siguiendo el procedimiento técnico y las especificaciones de las áreas de soporte.
Describir las actividades siguiendo el procedimiento técnico y el orden de trabajo establecido.
Verificar que los criterios de calidad cumplen con las especificaciones técnicas del agua de suministro y los parámetros técnicos del hidrógeno verde.
Confirmar que la cantidad de energía renovable utilizada está de acuerdo con los parámetros técnicos del hidrógeno verde y los protocolos de seguridad.
Verificar que el estado de los componentes del electrolizador cumple con el procedimiento técnico y la normativa técnica.
Confirmar que la presión interna del electrolizador cumple con el procedimiento técnico y la normativa técnica.
Verificar que el sistema contra incendios está de acuerdo con el procedimiento técnico y los protocolos de seguridad.
Monitorear las alarmas del sistema de acuerdo con el procedimiento técnico y los protocolos de seguridad.
Preparar el entorno de trabajo del electrolizador.
Inertar los equipos de acuerdo con el procedimiento técnico y los protocolos de seguridad.
Activar los equipos de acuerdo con el procedimiento técnico y los protocolos de seguridad.
Manejar las válvulas de acuerdo con el procedimiento técnico y los protocolos de seguridad.
Verificar los sellos de acuerdo con el procedimiento técnico y los protocolos de seguridad.
Asegurarse de que el tiempo de arranque sea acorde con el procedimiento técnico y el tipo de electrolizador.
Asignar el nivel de llenado del agua de acuerdo con los parámetros técnicos del hidrógeno verde y los protocolos de seguridad.
Verificar que la presión de salida de hidrógeno cumple con el procedimiento técnico y la normativa técnica.
Asociar los valores de corriente eléctrica con los parámetros técnicos del hidrógeno verde y los protocolos de seguridad.

Acá recordamos al lector que la razón de seguir este formato para la creación de preguntas es que estamos siguiendo la taxonomía de Bloom para verificar que la calidad de las preguntas que se generen cumplan con el estándar.

Después de haber extraído la información necesaria para la construcción de las preguntas, la solución procede a enviarle a HAQM Bedrock esos datos como parámetros para la elaboración de las preguntas, esto se presenta en la solución a través de la instrucción (prompt) que se le envía al servicio:

prompt = f"""
    \n\nHuman: Eres un asistente que se encarga de generar preguntas para un examen de acuerdo a ciertos parámetros. Cada pregunta generada responde al título de una norma y debe contener 2 partes: el enunciado y las opciones de respuesta.
    El enunciado siempre debe contener cuatro elementos: 
    1. contexto: Escenario laboral, elementos y condiciones variables donde se plantea una acción. Puede hacer referencia a una situación, lugar, caso, parte de un proceso o procedimiento, texto. 
    En general, permite situar al conocimiento. 
    2. conocimiento: Conocimiento esencial a evaluar en la pregunta. El tema se recibe como parámetro. 
    3. criterio de desempeño: Son los resultados del desempeño indispensables para el desarrollo de todas las actividades claves de la función. 
    Permiten precisar acerca de lo que se hace y la calidad con que se realiza. El tema se recibe como parámetro.
    4. reactivo: Frase que siempre debe ir afirmativa que permite evaluar el conocimiento y se complementa con la clave de respuesta.
    
    Las opciones de respuesta deben tener dos elementos:
    1. respuesta: Alternativa que satisface al reactivo, es decir, da respuesta al conocimiento evaluado. La que mayor precisión tenga. Solo una respueta puede ser la correcta. 
    2. alternativa: Opciones de respuesta diferentes entre ellas dentro del contexto evaluado, son las opciones que son incorrectas, 
    pero conservan niveles de verdad en relación con lo que se pregunta. Las alternativas pueden parecerse, pero no pueden ser exactamente iguales. Ninguna alternativa puede ser la respuesta correcta.
    
    Dada la siguiente norma: <entrada>{norma}</entrada>, el siguiente conocimiento: <entrada>{conocimiento}</entrada>, y el siguiente criterio de desempeño <entrada>{criterio}</entrada>, 
    genera una pregunta para el examen que contenga todos los elementos descritos anteriormente. 
    Justifica la respuesta correcta. El enunciado no debe ir fragmentado en partes, sino como un solo texto. 
    La respuesta correcta no puede aparecer en el enunciado de la pregunta. Incluye la norma, el conocimiento y el criterio de desempeño usado como parte de tu respuesta. 
    \n\nAssistant:"""

Finalmente, HAQM Bedrock se encarga de crear las preguntas a partir de la instrucción dada y de acuerdo a la información recibida como parámetro. Estos son algunos ejemplos de preguntas generadas por el servicio de inteligencia artificial generativa de AWS:

Aquí está la pregunta generada con todos los elementos solicitados:

Norma: Preparar condiciones de proceso de electrólisis de acuerdo con plan de producción de hidrógeno verde y especificaciones técnicas

Conocimiento: c. métodos de producción de hidrógeno verde: características, procedimientos, criterios técnicos, características de energías renovables, protocolos de seguridad de proceso de producción (1.2, 1.3, 1.4, 1.5, 2.5, 2.6, 2.7, 2.8)

Criterio de desempeño: La corroboración de características técnicas del sistema corresponde con procedimiento técnico y orden de trabajo

Pregunta: Un técnico en producción de hidrógeno verde (contexto) debe preparar las condiciones para realizar el proceso de electrólisis (conocimiento), verificando que el sistema cumpla con las especificaciones técnicas establecidas en el procedimiento y la orden de trabajo (criterio de desempeño). Para esto, el técnico debe corroborar principalmente que (reactivo):

A. El material de los electrodos sea de níquel (alternativa) 
B. La fuente de energía eléctrica provenga de paneles solares (respuesta)
C. El electrolito utilizado sea una disolución de hidróxido de sodio (alternativa)  
D. La celda electrolítica esté hecha de acero inoxidable (alternativa)

Justificación: La respuesta correcta es la B, ya que el proceso de electrólisis para la producción de hidrógeno verde debe utilizar energía proveniente de fuentes renovables como los paneles solares, según lo establecido en el conocimiento sobre métodos de producción de hidrógeno verde. Las otras opciones no se relacionan directamente con el uso de energías renovables.

Se incluyó la norma, el conocimiento y el criterio de desempeño tal como se solicitó. El enunciado contiene los elementos de contexto, conocimiento, criterio de desempeño y reactivo en un solo texto. La respuesta correcta no está incluida en el enunciado.

Conclusiones

De la solución presentada, se puede concluir que lainteligencia artificial generativa puede ser una herramienta valiosa para ayudar a los educadores a mejorar la eficiencia y la calidad de la evaluación del conocimiento en el aula. La automatización de tareas repetitivas, como la construcción de preguntas para la evaluación de los estudiantes, puede liberar tiempo y energía para que los educadores puedan enfocarse aún más en los procesos de aprendizaje de cada uno de sus estudiantes.

Además, la taxonomía de Bloom es una herramienta útil para guiar la evaluación del conocimiento en el aula y garantizar que las evaluaciones midan diferentes niveles de comprensión y habilidades de pensamiento crítico. Al utilizar la taxonomía de Bloom en combinación con tecnologías de inteligencia artificial y servicios de AWS, se puede crear una solución que cumpla con los estándares de alta calidad y apoye a los educadores en tareas repetitivas que consumen tiempo.

Referencias

Sobre los autores

	Mateo Laguna, es arquitecto de soluciones en HAQM Web Services para Sector Público en la verticual de Educación. Además, es Físico e Ingeniero de Sistemas y Computación egresado de la Universidad de los Andes en Bogotá, Colombia. Y como dato adicional,
	Cristian Castellanos, es Arquitecto de Soluciones en HAQM Web Services para el Sector Público. Cristian ha ayudado a múltiples NPOs, instituciones educativas, y de gobierno en la adopción de nuevas tecnologías e implementación de soluciones de analítica.

Sobre los revisores técnicos

	Juan Nicolas Bolaños es Arquitecto de Soluciones en HAQM Web Services para Sector Público. Nicolás trabaja para la vertical de salud con pagadores, prestadores del servicio, farmacias y entidades gubernamentales para la salud. Le apasiona el desarrollo de software, creación de soluciones SaaS, uso tecnologías serverless y aplicaciones en campos disruptivos como la IA generativa.
	Juan Miguel Bermudez Mieles es Arquitecto de Soluciones en HAQM Web Services para Sector Público. Juan Miguel apoya a distintas entidades e instituciones públicas en Centro América y el Caribe en la adopción de nuevas tecnologías y prácticas que permitan el mejoramiento de sus servicios.

Blog de HAQM Web Services (AWS)