MBO Smart Buffet: visión artificial en el borde para medir qué se come y qué se tira en un buffet

El cliente

MBO es una startup andaluza que hace producto para hostelería: tecnología que mide qué se sirve, qué se consume y qué se tira en los buffets y restaurantes de hotel.

DPI Systems es el equipo técnico detrás de MBO. Nos encargamos del desarrollo completo: la selección e instalación del hardware y los sensores, los modelos de visión artificial, el software que corre en el hotel, la plataforma en la nube, el trabajo de campo y las pruebas con el buffet abierto al público.

Visión en el borde

El vídeo de cada cámara se decodifica con el hardware dedicado del Jetson mediante NVIDIA DeepStream, sin gastar CPU. Un fotograma de cada cámara se agrupa en un único lote y pasa por un detector YOLO11 compilado con TensorRT en FP16 para la GPU concreta del equipo: una sola inferencia para todas las cámaras.

Después, varios procesos en paralelo siguen cada bandeja, persona o utensilio entre fotogramas con ByteTrack y aplican las reglas de negocio que convierten lo que se ve en eventos: una bandeja que sale o vuelve, un cliente que se sirve, una botella que se vierte, una bandeja sustituida, una persona que entra o sale.

El mismo nodo cubre cinco casos de uso según dónde se coloque la cámara:

• Mesa de pase: cámara cenital y báscula; registra salidas y regresos de bandejas.
• Contador de consumos: cámara sobre el buffet; bandejas expuestas, servicios, vertidos y cambios de bandeja.
• Contador de personas: cámara en la entrada; entradas y salidas de comensales.
• Show cooking: servicios de un plato fijo en un puesto de cocina en vivo.
• Pesaje de residuos: solo báscula; desperdicio de cocina y de comensales.

La mesa de pase, el centro de la medición

Todos los datos del buffet nacen en la mesa de pase. Cada bandeja se pesa al salir de cocina y al volver: esa diferencia es el consumo real, lo que vuelve es el desperdicio y, con la ficha técnica de la receta, el coste. Las cámaras de sala añaden el detalle de qué pasa entre medias, pero el peso en la mesa de pase es la referencia de todo.

Por eso la mesa de pase tiene dos versiones. En instalaciones con Jetson, una cámara cenital y una báscula de red registran cada bandeja. Y para cocinas que necesitan un puesto propio desarrollamos el quiosco de pase: un PC compacto con Ubuntu, cámara cenital, báscula por puerto serie y pantalla táctil. El cocinero posa la bandeja; el quiosco la pesa, la fotografía, calcula su huella visual y propone el plato. Si hay duda, el cocinero elige entre los candidatos y la bandeja queda registrada. En modo «vuelta a cocina», el mismo puesto registra los regresos.

La IA del quiosco corre en CPU con OpenVINO, el equivalente de Intel a TensorRT, y comparte con el Jetson toda la lógica común: cualquier mejora llega a los dos.

Reconocer el plato sin reentrenar

El detector solo aprende qué es una bandeja, una pinza, una mano o un huésped: 9 clases que no cambian con el menú. Para saber qué plato es, el modelo DINOv3 de Meta convierte la foto de la bandeja en una huella de 384 números que el backend busca en Qdrant, con un umbral de similitud configurable por hotel. Si no lo reconoce, lo registra como desconocido para etiquetarlo después.

Cuando una bandeja vuelve, el backend busca cuál de las que salieron es: descarta las que no encajan por peso, compara por similitud visual y calcula consumido = servido − devuelto. Dar de alta un plato nuevo es fotografiarlo, no reentrenar.

Diseñado para no perder un servicio

Un hotel no es un laboratorio: se va la luz, se reinicia el router, cae Internet. La arquitectura parte de esa realidad:

• Solo conexiones salientes: cada nodo inicia sus llamadas por HTTPS con su propia clave. El cloud nunca entra en la red del hotel.
• Nodos en estrella, sin jerarquía: el Jetson y el quiosco no se hablan entre sí. Un nodo caído no afecta a los demás, y añadir otro es darlo de alta en el panel.
• Nada se pierde sin conexión: cada evento se escribe en disco antes de enviarse, con una clave única y su hora real. La cola aguanta 20.000 eventos o 7 días; un corte solo retrasa los datos.
• El cloud decide, el edge observa: el edge detecta y mide; la identificación del plato, el emparejado y las métricas se calculan en el backend, así que la lógica evoluciona sin redesplegar los hoteles.
• Ante la duda, capturar: si no se conoce el horario del turno, las cámaras siguen encendidas; si una bandeja que vuelve no encuentra pareja, se guarda igualmente.

La plataforma

MBO Platform es multiempresa: cada hotel tiene su espacio, con roles de administración, gerencia y usuario, y contrata los servicios de buffet, restaurante o ambos. La configuración de cámaras, básculas, casos de uso y turnos vive en el cloud y se cambia desde el panel, sin tocar los equipos. Incluye vista de cocina en directo, catálogo de platos con fichas técnicas, analítica de consumo, coste, desperdicio, aforo y horas punta, y un entorno de pruebas para validar cada cambio antes de producción.

Trabajo de campo y pruebas

Un sistema de visión solo funciona si se ha probado en el sitio real. Instalamos cámaras y básculas con el hotel en funcionamiento, pusimos en marcha los equipos Jetson y les dimos acceso remoto seguro para mantenerlos sin desplazarnos.

• Datos reales: 5.033 imágenes etiquetadas de buffets reales, desde 23 cámaras.
• Grabaciones in situ: grabamos servicios completos y los reproducimos en laboratorio para probar cada cambio contra el mismo desayuno, fotograma a fotograma.
• Emuladores: cámaras, básculas y backend simulados para probar el sistema completo sin ocupar el hotel.
• Validación con cocina: parámetros del buffet y fichas técnicas acordados con el equipo del hotel, y consumo contrastado con los pesajes reales.

De MVP a producto

La primera versión, un MVP con panel de seguimiento del buffet, se construyó en seis semanas. Hoy el producto mide el ciclo completo de cada bandeja con cámaras y básculas, ejecuta la visión en equipos NVIDIA Jetson dentro del hotel y funciona en producción en un buffet de desayuno real.

El siguiente paso es llevar MBO Smart Buffet a más hoteles con una instalación cada vez más rápida: el mismo equipo, el mismo software y un catálogo de platos que se adapta a cada cocina.