26bitz

Descripción

Next Step Foundation quería desarrollar un chatbot de IA que ofreciera apoyo continuo y culturalmente sensible para la salud mental, también fuera del entorno escolar, en suajili y con una conexión a Internet limitada.

Objetivos:

• Apoyo las 24 horas, también fuera del entorno escolar
• Idioma suajili para facilitar el acceso a nivel local
• Un chatbot empático, adaptado al contexto de la salud mental
• Compatibilidad con entornos de bajo ancho de banda

Reto

Nuestro objetivo era mantener la aplicación Bubble tal y como estaba, pero sustituir la API basada en OpenAI por una nueva para garantizar conversaciones seguras y culturalmente adecuadas en suajili.

Uno de los mayores retos del proyecto fue la configuración de la infraestructura. Como utilizábamos un LLM propio, no podíamos recurrir a HuggingFace ni a servicios totalmente gestionados como AWS Bedrock.
Como la cuenta de AWS del cliente era nueva, nos encontramos con un obstáculo importante: no había cuota de GPU disponible. La configuración inicial en SageMaker resultaba cara. Nuestro equipo tomó la iniciativa y durante varias semanas contactó directamente con el soporte de AWS para defender con firmeza las necesidades del cliente. Gracias a nuestra perseverancia y experiencia, conseguimos acceso a instancias GPU más económicas, ampliamos la cuota disponible y ejecutamos el modelo en EC2. ‍

Así conseguimos reducir un 72 % los costes de infraestructura, mantener el rendimiento y ajustarnos al presupuesto del cliente.

Solución

En 4 semanas entregamos una solución funcional con estos elementos principales:

• Modelo de IA personalizado: Ampliamos la configuración original basada en OpenAI con un LLM personalizado y adaptado al suajili (UlizaLlama), y optimizamos la velocidad, el rendimiento y la relevancia local.
• : Adaptamos el tono del chatbot para ofrecer seguridad psicológica y facilitar el acceso.
• Stack tecnológico: Creamos una pipeline personalizada de generación aumentada por recuperación (RAG) con Qdrant, la integramos con FastAPI y la desplegamos en AWS (EC2 g4dn.xlarge).
• Integración: Conectamos el chatbot sin problemas con una aplicación web Bubble ya existente.

Resultados

• Chatbot implementado e integrado en 4 semanas
• Chatbot de IA para facilitar el acceso a la atención de la salud mental
• Infraestructura segura y escalable en AWS

Tumaini fue un proyecto conjunto que aunó la experiencia de Next Step Foundation con los conocimientos prácticos de 26bitz en IA y salud. A continuación, nuestro cliente describe cómo fue la colaboración durante todo el proceso:

NextStep Foundation está encantada de colaborar con 26bitz para ofrecer apoyo en salud mental a jóvenes con discapacidad en Kenia y otros lugares. 26bitz comprendió enseguida nuestra visión de proporcionar apoyo psicológico accesible a este colectivo vulnerable. El uso de un modelo adaptado al suajili permitirá que más estudiantes accedan a Tumaini y hará que las interacciones sean más espontáneas y naturales. Esperamos seguir colaborando con 26bitz para ampliar las funcionalidades de Tumaini y responder mejor a las necesidades de salud mental de los jóvenes con discapacidad." - Chris Harrison, presidente del consejo de administración de Next Step Foundation