Intérprete de Lengua de Señas Colombiana con visión computacional y LLM.
El problema y la solución
Las personas sordas enfrentan barreras enormes para comunicarse en entornos digitales: casi no existen herramientas que interpreten lengua de señas de forma fluida. Este proyecto —desarrollado en equipo de 4 para Modelado y Simulación de Sistemas Continuos (Universidad de Pamplona)— propone y modela un sistema inteligente por capas: una capa de percepción extrae en tiempo real los 21 landmarks de la mano con MediaPipe desde la cámara web; agentes inteligentes (arquitectura i5.0) traducen los vectores de movimiento en tokens de información; y un modelo de lenguaje (LLM) estructura esas señas en frases gramaticalmente correctas y contextualizadas en español, adaptado a la Lengua de Señas Colombiana (LSC). El prototipo funciona directamente en el navegador y está desplegado en producción.
Highlights
- Visión computacional en tiempo real
- Agentes i5.0 + LLM
- Accesibilidad e inclusión
- En producción
Qué hace
- [01]
Detección de manos en tiempo real desde la cámara web: extracción de los 21 landmarks con MediaPipe.
- [02]
Agentes inteligentes (arquitectura i5.0) que convierten los vectores de movimiento en tokens de información.
- [03]
LLM que interpreta los tokens y construye frases en español gramaticalmente correctas y con contexto.
- [04]
Adaptado a la Lengua de Señas Colombiana (LSC), con enfoque de inclusión regional.
- [05]
Prototipo web accesible desde el navegador, desplegado en producción.
- [06]
Documentación académica completa: estado del arte, arquitectura por capas y validación.
Probar la app
La demo se abre en una pestaña nueva.
Capturas
Haz clic en una captura para ampliarla
Stack tecnológico
- Python
- MediaPipe
- Visión Computacional
- LLM
- Agentes IA
- JavaScript