• 2 min de lectura
UIUC creó un tutor de IA para ECE 120
Un proyecto de código abierto de UIUC usa 11 modelos en paralelo para responder preguntas de ingeniería eléctrica en aproximadamente 2 segundos.
Imagen: Hacker News
Un proyecto de asistente docente de IA de UIUC pretende ofrecer lo que sus creadores llaman «Mejor que Google»: búsqueda multimedia y respuesta a preguntas para cursos de ingeniería eléctrica. El sistema ya está en vivo en Hugging Face en https://huggingface.co/spaces/kastan/ai-teaching-assistant y está diseñado en torno al material del curso ECE 120 de UIUC, una introducción a la ingeniería eléctrica.
Según la página del proyecto, el sistema ejecuta 11 modelos independientes en paralelo para recuperación de texto e imágenes, generación, moderación y ranking, y aun así alcanza un tiempo de respuesta medio de 2 segundos.
El asistente extrae información de libros de texto, vídeos de clase y foros de preguntas y respuestas de estudiantes, listados por el equipo en ese orden de importancia. Esos datos fuente no están públicamente disponibles, porque el proyecto no obtuvo los derechos de distribución de los autores originales. Aun así, la base de código en general es completamente de código abierto, aparte del contenido de libros de texto comerciales, y el equipo anima a otros a incorporar su propia base de datos de documentos en Pinecone.
Uno de los elementos más inusuales del proyecto es su flujo de trabajo RLHF. El autor destaca un método que combina la recuperación por búsqueda semántica durante el RLHF, construido usando un conjunto de datos creado de forma iterativa con la ayuda de cinco estudiantes de ingeniería eléctrica. Ese conjunto de datos está disponible públicamente en Hugging Face en https://huggingface.co/datasets/kastan/rlhf-qa-comparisons.
Para la evaluación, el equipo usa un conjunto de datos interno de pares pregunta-respuesta redactados por ingenieros eléctricos expertos, y luego compara las salidas del modelo con respuestas escritas por humanos. El juez final es GPT-3, que etiqueta las respuestas como «mejor» o «peor» que la verdad de referencia. La página del proyecto reconoce abiertamente la debilidad aquí: GPT-3 se evalúa a sí mismo, y tiende a puntuar alto a GPT-3.
Recomendado
Amazon Music llega a millones de dispositivos Samsung
El repositorio incluye:
- main.py para agregar implementaciones de modelos
- TA_gradio_ux.py para la interfaz Gradio
- prompting.py para la ingeniería de prompts
- evaluation.py para la evaluación del sistema basada en GPT-3
- feedback.json para comentarios de usuarios recopilados a través de la app
- run_ta_gradio.sh como script de lanzamiento
La configuración es sencilla: instala los requisitos de Python, añade las claves API listadas en run_ta_gradio.sh, crea una base de datos Pinecone a partir de tus propios PDFs, transcripciones o imágenes de diapositivas, y lanza la aplicación web con bash run_ta_gradio.sh.
Computing Editor
Tomas lives in the terminal. He covers chips, laptops, and operating systems with a focus on performance and efficiency. He reads kernel changelogs the way other people read fiction, and he's always on the hunt for the perfect mechanical keyboard switch. If it processes data, Tomas has an opinion on it.
vía Hacker News
