Recibido: 30/5/2022 / Aceptado: 4/7/2022
doi: https://doi.org/10.26439/interfases2022.n015.5890
Estudio de la usabilidad de una aplicación
de Realidad Aumentada en la construcción
básica de un brazo robótico
Jose Malpartida Valverde
jose.malpartida.v@uni.pe / orcid: 0000-0003-3696-5827
Universidad Nacional de Ingeniería (UNI), Lima, Perú
Jose Martin Lozano Aparicio
jlozano@uni.edu.pe / orcid: 0000-0003-1086-5799
Universidad Nacional de Ingeniería (UNI), Lima, Perú
La realidad aumentada (RA) es una tecnología que puede ayudar en diferentes áreas de la investigación científica, como en la manipulación de equipos costos, fáciles de malograr o peligrosos. Los componentes para la construcción de un robot pueden llegar a tener un costo considerable. La realidad aumentada puede ser aplicada en la fabricación de robots para reducir costos, ya que permite experimentar el manejo de componentes robóticos sin necesidad de comprarlos. El estudio tiene como objetivo medir la calidad de la experiencia de usuario con una aplicación de realidad aumentada en el ámbito de la robótica. Para ello se creó una aplicación que utiliza los gestos de las manos para ensamblar un brazo robótico. En este artículo se presentan los resultados obtenidos, así como los índices de eficiencia de los usuarios en el ensamblaje del brazo robótico y la usabilidad de la aplicación.
PALABRAS CLAVE: realidad aumentada / brazo robótico / rastreo de mano / imágenes 3D / usabilidad
Study of the usability of an Augmented Reality application in the basic construction of a robotic arm
Augmented reality (AR) can help in different areas of scientific research, such as handling expensive, easy-to-break or dangerous equipment. Since the components for the construction of a robot can be considerably expensive, augmented reality can be applied in the manufacture of robots to reduce costs, allowing users to experience handling robotic components without having to buy them. This study aims to measure the quality of user experience with an augmented reality application in robotics. To do this, we created an application that uses hand gestures to assemble a robotic arm. This article presents the results obtained, the user’s efficiency rates in assembling the robotic arm, and an assessment of the application’s usability.
KEYWORDS: augmented reality / robotic arm / hand tracking / usability
1. INTRODUCCIÓN
En el campo industrial, el brazo robótico permite generar soluciones viables y poli-valentes, pues logra una automatización mediante tareas continuas que implican movilizar objetos de distintos pesos combinados con presión. Un brazo robótico está compuesto por eslabones y articulaciones (figura 1a). Sus montajes se realizan en diversos ángulos y posiciones. Para esto se debe hallar una forma en la cual el brazo robótico realice las tareas que la persona desea ejecutar. A partir de esta necesidad, los humanos crearon interfaces como medio de comunicación para lograr que los robots elaboren las asignaciones que se les ordenan. Debido a ello, la comunicación entre humano-robot debe darse de una manera sencilla y de fácil comprensión para una mayor eficiencia y eficacia con respecto al trabajo que se realizará (Chacón Malasquez & Tuiro Achulle, 2018).
Figura 1
Brazo robótico
Nota. Ejemplos de brazo robótico físico (a) y vista virtual (bB).
Sin embargo, el diseñar y elaborar de manera industrial un brazo robótico puede llegar a ser costoso y poco rentable si se quieren realizar pequeñas mejoras posteriormente. Además, para fabricarlo se deben usar máquinas y/o herramientas que pueden poner en riesgo la integridad física de la persona en el transcurso de este proceso. Una solución beneficiosa y segura es utilizar modelos 3D de los componentes del brazo robótico.
El término “3D” proviene de la palabra "tridimensional", que conjuga la utilización de los tres ejes de coordenadas X, Y, Z. Con el avance de la tecnología hubo una mejora en efectuar los cálculos para la creación de una imagen en tres dimensiones con respecto a su altura, anchura y profundidad. El proceso de la creación de una imagen 3D se basa en múltiples fórmulas matemáticas que juntan objetos poligonales, texturas, sombras, reflejos, entre otros. Todo este grupo de elementos hace posible la creación de un modelo 3D. Al modelo 3D se le aplica una transformación llamada “renderización” para producir una imagen 3D. Para el presente proyecto, la imagen 3D fue sometida a la función de traslación y a la función de rotación para el objetivo principal del sistema, la fabricación interactiva del brazo robótico (véase figura 1b).
Para la fabricación interactiva usaremos MediaPipe, que es una librería para machine learning que tiene un método para el reconocimiento de manos, el cual es el modelo de hand landmark. Este modelo consiste en obtener el área reconocida como la mano a través de la cámara y poder ubicar los veintiún (21) puntos de referencia de la imagen dada por la detección de la mano.
De esta manera, se creará la aplicación de realidad aumentada (RA) con interacciones mediante los gestos de la mano y se analizará el impacto que lleva consigo utilizar este tipo de programa en usuarios inexperimentados en el tema. En este sentido, en la sección 2 describimos MediaPipe y la realidad aumentada. Luego, en la sección 3 presentamos un breve resumen de trabajos parecidos. La construcción de la aplicación se presenta en la sección 4. La evaluación de la aplicación es descrita en la sección 5 y, finalmente, las discusiones y conclusiones.
2. CONCEPTOS PREVIOS
2.1 MediaPipe
Es una librería para inteligencia artificial (IA) de Google disponible en dispositivos móviles Android, aunque también posee APIs para iOS, Python y JavaScript. MediaPipe a través de la cámara del dispositivo móvil percibe los movimientos y la estructura de las manos por medio del aprendizaje automático, permitiendo gesticular el lenguaje de señas para comunicar a Google lo que se desea transmitir (Lugaresi et al., 2019). Tiene un módulo de rastreo de la palma y dedos de la mano que detecta 21 puntos claves 3D de un solo cuadro (frame). Este proceso se inicia obteniendo un frame captado por la cámara, y se le designa a tres procesos: selección de cuadros, seguimiento de detección, anotación de detección (véase figura 2).
Figura 2
Arquitectura de MediaPipe
Nota. Adaptado de “MediaPipe: A Framework for Perceiving and Processing Reality”, por C. Lugaresi, J. Tang, H. Nash, C. McClanahan, E. Uboweja, M., Hays, F. Zhang, C.-L. Chang, M. Yong, J. Lee, W.-T.Chang, W. Hua, M. Georg, y M. Grundmann, 2019, Third Workshop on Computer Vision for AR/VR at IEEE Computer Vision and Pattern Recognition (CVPR) 2019, p. 1 (https://mixedreality.cs.cornell.edu/s/NewTitle_May1_MediaPipe_CVPR_CV4ARVR_Workshop_2019.pdf).
Entonces, según la figura 2 sobre el proceso de selección de cuadros, se envían los frames al proceso de detección de objetos si existe algún objeto. En el proceso de detección de objetos, se ubican y seleccionan todos los objetos que se encuentren en el frame y se envía la información al proceso de fusión de detección. También, en el proceso de seguimiento de detección, se actualiza el rastreo de la solución indicada en cada frame recibido por la cámara y siempre se actualiza con la solución de rastreo de manos. En el proceso de fusión de detección, se unen los procesos de seguimiento de detección y el de detección de objetos, es decir, solo se muestran los objetos con la solución proporcionada por seguimiento de detección. Debido a esto, la aplicación construida solo mostrará los objetos interpretados como las manos. Finalmente, en el proceso de anotación de detección, en el frame recibido por la cámara, se le añaden los landmarks como esferas rojas y las uniones entre los landmarks como segmentos verdes y, posteriormente, se muestra en la pantalla del dispositivo (véase figura 3).
Figura 3
Landmark de la mano
Nota. Descrita por MediaPipe (2020).
2.2 Realidad aumentada
La realidad aumentada (RA) (Azuma, 1997) está constituida por tres características principales: mezcla objetos reales y virtuales en un entorno del mundo real, interactividad que se presenta en tiempo real, y registra y alinea elementos virtuales con objetos físicos en un entorno 3D. A inicios del desarrollo de la realidad aumentada se usaban displays montados en la cabeza del usuario. Sin embargo, en la actualidad, la implementación de la realidad aumentada se expande a dispositivos móviles, como, por ejemplo, los teléfonos inteligentes (smartphones). A continuación, presentamos técnicas de interacción en realidad aumentada.
2.2.1 Técnicas de interacción que utilicen movimientos corporales
Este tipo de técnica se basa en la interacción de los gestos de la mano a partir del reconocimiento y seguimiento. Las tecnologías usadas para estas funcionalidades se realizan mediante el seguimiento inercial, seguimiento magnético, sistemas basados en visión computacional, entre otros. En este trabajo se utilizó la visión computacional mediante MediaPipe.
2.2.2 Dispositivos como herramientas de interacción
Los dispositivos más frecuentes en sistemas o aplicaciones de realidad aumentada son los celulares inteligentes. Son usados por medio de reconocimiento de las manos y los gestos que realiza para determinar ciertas interacciones.
2.2.3 Interacción multimodal
En términos generales, los sistemas multimodales se constituyen como aquellos que procesan como entradas combinaciones de diversos formatos y estímulos (auditivos, táctiles, gestuales, entre otros). La implementación de estos sistemas a la realidad aumentada genera muchas posibilidades para que el usuario interactúe con los elementos que proporciona la RA. En el presente proyecto se puede observar como las interacciones con los gestos de las manos dan lugar a las diversas funcionalidades de la aplicación desarrollada.
3. TRABAJOS RELACIONADOS
Pérez López (2021), en su tesis de grado, que afianza la investigación de Pasaréti et al. (2011), describe como se utiliza la realidad aumentada para la docencia. Uno de sus objetivos es modificar los elementos 3D de manera que el alumno pueda visualizarlos con mayor claridad. Esto se realiza mediante ciertos gestos particulares de las manos que son captados por una cámara web. De ello se pueden rescatar los métodos de interacción que realiza el docente para la manipulación de los modelos 3D. En el presente trabajo la aplicación realiza la traslación, la rotación y el escalamiento de objetos tridimensionales de forma similar a lo desarrollado en el trabajo antes mencionado.
Vogel et al. (2017) plantean en su artículo que la persona trabaje con un robot de realidad aumentada en un proceso de manufactura y los movimientos realizados por las manos sean captados por sensores. Estos sensores enviarán la información al robot real y ejecutará sus funciones en el proceso de manufactura.
Fang et al. (2014) plantean una interfaz basada en realidad aumentada para la planificación de trayectorias de robots. Las designaciones de las trayectorias están dadas por un objeto real en donde se señalan puntos referenciales que son captados por la cámara. Esta unión de puntos crea un camino por donde el robot ejecutará su movimiento. En nuestro caso, el objeto referencial es la mano cuyo movimiento es usado para el desplazamiento del robot.
De la Cruz et al. (2020) dan a conocer la simulación de trayectorias con algoritmos avanzados para ser visualizadas con la animación del brazo robótico en RA. También se puede manipular cada grado de libertad según el ángulo ingresado. Esta función se agregará en un trabajo futuro; es decir, según el gesto de la mano captada por la cámara del dispositivo, se manipulará cada grado de libertad y será visualizada en el robot de realidad aumentada.
El estudio de Ziden et al. (2022) tuvo como objetivo determinar el impacto de su aplicación de realidad aumentada en el rendimiento y la motivación de los estudiantes. Para ello, se usó la investigación de métodos mixtos que busca determinar la influencia de las tarjetas de aprendizaje AR-NutricARd en la motivación y el rendimiento de los estudiantes de ciencias. De la misma manera, para el estudio de la usabilidad de la aplicación, se hizo uso del método mixto que combina la perspectiva cuantitativa y cualitativa, con el objetivo de darle profundidad al análisis de la investigación.
4. CONSTRUCCIÓN DE LA Aplicación BASADA EN REALIDAD AUMENTADA
La aplicación se desarrolló con el entorno de trabajo (framework) AR Foundation en Unity, que es una multiplataforma para el desarrollo de videojuegos. Este framework es compatible con dispositivos que posean los kits de desarrollo de software ARCore (Android) o ARkit (iOS), por lo que se implementa en un iPhone SE. Además, se utilizó la solución del rastreo de mano proporcionado por MediaPipe. Por un lado, AR Foundation se encarga de que se le añada la realidad aumentada a la aplicación. Esto se da en mezclar el modelo 3D del brazo robótico, que es el objeto virtual, y los gestos de la mano en un entorno del mundo real. El modelo de brazo robótico utilizado es el presentado en la figura 1A. Por otro lado, las interacciones mediante gestos de la mano se encargan de realizar distintas operaciones con el objeto 3D; es decir, se comunica con el robot mediante los gestos de la mano para realizar distintas operaciones. Entre ellas están la traslación, rotación, selección e instanciación.
Instanciar. El gesto realizado es el de levantar solo el dedo índice y el dedo medio, que al juntarlos efectúan la instancia del objeto. Se decidió que este gesto sería el más adecuado porque son los dos dedos utilizados en el mouse y con la distancia que existe entre ellos se logra tener un mayor control sobre la función (véase figura 4a). La figura 4d presenta los componentes instanciados del robot.
Seleccionar un objeto virtual. El gesto a realizar es el de levantar solo el dedo índice, que al señalar al objeto que se quiere seleccionar cambiará de color. Esto se debe a que es el gesto común de las personas para señalar o apuntar un objeto (véase figura 4b).
Deseleccionar un objeto virtual. El gesto a realizar es el de levantar solo el dedo pulgar y el dedo meñique, que al efectuar la función, los objetos volverán a su color original (véase figura 4c).
Figura 4
Instanciación, selección y deselección
Trasladar un objeto virtual. Para la función de traslación se realizaron dos gestos. Un primer gesto, ya mencionado, como se muestra en la figura 4a, para trasladar los objetos por el plano XZ según el algoritmo de la figura 5a. Se determinó de esta manera que la función de instanciar un objeto es similar a la traslación por este plano. También para que el usuario no tenga que memorizar más gestos. El otro gesto es el de levantar el dedo pulgar y el dedo índice (figura 7a, figura 7b). Este gesto trasladará el objeto hacia arriba y si el dedo índice baja, el objeto virtual se trasladará en sentido contrario siguiendo los pasos del algoritmo de la figura 5b. La razón por la que se tomó este gesto es la similitud en la acción de deslizar con el dedo hacia arriba y hacia abajo en un smartphone.
Figura 5
Algoritmo de traslación horizontal y vertical
Rotar un objeto virtual. El gesto a realizar es similar a la acción de desplazarse hacia la derecha y hacia la izquierda en un smartphone. No obstante, este gesto ya es usado para la traslación, por lo que se le agregó el dedo medio para diferenciarlo (véase figura 7c y figura 7d).
Figura 6
Función de rotación en el eje Y
Figura 7
Traslación y rotación
5. RESULTADOS
Se realizaron pruebas en 20 usuarios para evaluar la usabilidad de la aplicación. Las pruebas están compuestas por dos partes. En la primera parte, el usuario realizó todas las operaciones con los gestos de la mano previamente enseñadas. Esta parte tuvo como propósito familiarizar al usuario con este tipo de técnica de interacción, ya que era la primera vez en todos en probar una aplicación con una interacción multimodal. En la segunda parte, el usuario realizó la fabricación del brazo robótico usando los gestos de la mano, ya que previamente se entrenó en movimientos básicos. Esta fabricación consistía en unir tres eslabones, la primera unión con la base y el eslabón 1;
y la segunda unión con el eslabón 1 y el eslabón 2. Si la primera unión se realizaba correctamente, entonces en el eslabón 1 aparecían dos servomotores que daban lugar a las articulaciones del brazo robótico; y si la segunda unión se realizaba correctamente, entonces en el eslabón 2 aparecían las pinzas del brazo robótico. Ambas partes se dieron en un tiempo máximo de 15 minutos cada uno, para no exigir demasiado al hardware utilizado, ya que consume muchos recursos, principalmente de la CPU.
Para medir la usabilidad de la aplicación se escogió un conjunto de 20 personas para descubrir todos los problemas de usabilidad (Nielsen & Landauer, 1993), sin tomar como limitación el sexo y la edad. Además, se dividió al azar en dos grupos a los usuarios para evaluar la usabilidad de la aplicación. En el primer grupo, los usuarios no usaron el visor, teniendo que valerse de una mano para sujetarlo; en el segundo grupo, utilizaron un visor como sujetador del celular, teniendo libre las dos manos. Para la experimentación se tomaron métricas cualitativas, como la comodidad en el uso de los gestos de la mano, el aprendizaje del uso de los gestos de la mano en el transcurso de la experimentación (asimilación de la relación gesto-operación), selección y manipulación del objeto 3D; y métricas cuantitativas, como el tiempo que se toma el usuario en la experimentación y los números de intentos para realizar las operaciones con los gestos de la mano (Samini & Ludin, 2017).
5.1 Grupo de usuarios sin visor
El primer usuario tenía educación superior completa y una capacidad tecnológica baja. Por otra parte, manifiestó que no se sentía cómodo al manipular el celular con una mano, ya que le era difícil controlar el objeto 3D y los gestos de la mano, a la vez. Además, mencionó que era cuestión de acostumbrarse con la disposición del celular y los gestos de la mano al ser su primera experiencia con una interfaz como la que ha sido diseñada. Con respecto al aprendizaje de las interacciones, destacó que con algunas pruebas más podría mejorar y realizar un mejor desempeño. También añadió que el cambio de color al seleccionar un objeto le facilitó su movimiento y que la interacción más sencilla que realizó fue la traslación por el plano XZ. Por último, se desplazó alrededor del ambiente de prueba para poder visualizar mejor los objetos virtuales, ya que no percibía la profundidad en la cámara. Al finalizar la prueba, no pudo realizar ninguna unión entre los eslabones. La tabla 1 resume las métricas cualitativas aplicadas al usuario 1.
Tabla 1
Evaluación cualitativa del usuario 1 del grupo 1
|
Comodidad en el uso de los gestos de la mano |
Baja |
|
Aprendizaje en el transcurso de la experimentación |
Ni baja ni alta |
|
Selección y manipulación del objeto 3D |
Ni baja ni alta |
El segundo usuario tenía educación superior completa y una capacidad tecnológica alta. Por otra parte, manifestó que se sentía medianamente cómodo, ya que tenía que estar atento en mover el celular, para enfocar un objeto 3D, y la mano sin que los demás elementos interfirieran. Por ello, decidió levantarse y dispersar los componentes para poder visualizar y controlar mejor cada elemento. Asimismo, mencionó que al aislar los objetos pudo aprender con más facilidad a interactuar con cada uno de ellos y logró controlarlos con una mayor precisión. Además, añadió que le fue sencillo seleccionar y manipular los componentes. Por último, se desplazó alrededor del ambiente de prueba para poder manipular mejor los objetos virtuales, ya que acercaba el celular a cada objeto y las operaciones se realizaron satisfactoriamente. Al finalizar la prueba, pudo realizar la primera unión, pero no la segunda, precisó que requería una mayor precisión. La tabla 2 resume las métricas cualitativas aplicadas al usuario 2.
Tabla 2
Evaluación cualitativa del usuario 2 del grupo 1
|
Comodidad en el uso de los gestos de la mano |
Ni baja ni alta |
|
Aprendizaje en el transcurso de la experimentación |
Ni baja ni alta |
|
Selección y manipulación del objeto 3D |
Alta |
El tercer usuario tenía educación superior completa y una capacidad tecnológica media. Por otra parte, manifestó que algunos gestos eran sencillos de hacer, ya que eran similares al usar el celular. Sin embargo, otros gestos, como el deseleccionar, no son comunes y se necesita interactuar más tiempo con la aplicación para poder aprenderlo. Asimismo, recalcó que la posición de la cámara, la luz y los factores externos generaban más de un plano, por lo que al manipular los objetos 3D saltaban de un plano a otro, generando dificultad. Por último, mencionó que podía efectuar las operaciones mejor en la segunda parte que en la primera parte, debido a que recordaba con mayor fluidez los gestos de las manos generando menos confusión en la operación que quisiera realizar. Al finalizar la prueba, pudo realizar la primera unión y la segunda unión satisfactoriamente.
Tabla 3
Evaluación cualitativa del usuario 3 del grupo 1
|
Comodidad en el uso de los gestos de la mano |
Ni baja ni alta |
|
Aprendizaje en el transcurso de la experimentación |
Alta |
|
Selección y manipulación del objeto 3D |
Ni baja ni alta |
El cuarto usuario tenía educación superior completa y una capacidad tecnológica alta. Por otra parte, manifestó que no se sentía tan cómodo al usar los gestos de la mano, ya que para él no era frecuente realizar dicha acción en aplicaciones o sistemas. Sin embargo, añadió que fue sencillo familiarizarse con los gestos de la mano, ya que algunos eran intuitivos, y con los que no, eran fáciles de recordar. Por último, mencionó que, al acercar la cámara a cada uno de los objetos, era más sencillo de seleccionar y poder moverlos en donde él quería que se posicionaran. Al finalizar la prueba, pudo realizar la primera unión y la segunda unión satisfactoriamente.
Tabla 4
Evaluación cualitativa del usuario 4 del grupo 1
|
Comodidad en el uso de los gestos de la mano |
Ni baja ni alta |
|
Aprendizaje en el transcurso de la experimentación |
Ni baja ni alta |
|
Selección y manipulación del objeto 3D |
Alta |
El quinto usuario tenía educación superior completa y una capacidad tecnológica baja. Por otra parte, manifestó que era incómodo hacer algunos gestos de las manos que requerían el dedo gordo, ya que se le dificulta enderezar o retraer el dedo de tal manera que el gesto se efectúe correctamente. Además, comentó que le costaba seleccionar el objeto que quería, por lo que trasladar o rotar se ejecutaba en los objetos que no quería. Por último, recalcó que se consideraba un principiante en este tipo de aplicaciones con interacciones no convencionales. Al finalizar la prueba, pudo realizar la primera unión y la segunda unión satisfactoriamente.
Tabla 5
Evaluación cualitativa del usuario 5 del grupo 1
|
Comodidad en el uso de los gestos de la mano |
Baja |
|
Aprendizaje en el transcurso de la experimentación |
Ni baja ni alta |
|
Selección y manipulación del objeto 3D |
Baja |
El sexto usuario tenía educación superior completa y una capacidad tecnológica baja. Por otra parte, manifestó que algunos gestos los efectuaba fácilmente al ser intuitivos, pero en otros, como la rotación, se le complicaba acomodar los dedos. Asimismo, mencionó que le resultaba complicado relacionar el patrón de los gestos de la mano con la operación que quería realizar. Por último, dio a entender que el espacio de prueba era importante para la experimentación, debido a que un espacio lleno de objetos generaba muchos planos en donde colocar los objetos 3D y dificultaba el desplazamiento en el lugar para visualizar mejor los objetos. Al finalizar la prueba, no pudo realizar ni la primera ni la segunda unión.
Tabla 6
Evaluación cualitativa del usuario 6 del grupo 1
|
Comodidad en el uso de los gestos de la mano |
Ni baja ni alta |
|
Aprendizaje en el transcurso de la experimentación |
Baja |
|
Selección y manipulación del objeto 3D |
Muy baja |
El séptimo usuario tenía educación superior completa y una capacidad tecnológica media. Por otra parte, manifestó que el uso de los gestos de la mano le fue cómodo, pero tener que sujetar el celular cansaba la muñeca y tenía que intercambiar, cada cierto tiempo, la mano derecha con la mano izquierda y viceversa. Además, comentó que los gestos de las manos se debían realizar con precisión para poder ejecutar correctamente la operación deseada y que al desplazarse por el espacio de prueba se le facilitaba la visualización de la profundidad del plano. Por tanto, no tuvo dificultades para seleccionar y manipular los objetos 3D. Al finalizar la prueba, pudo realizar la primera unión y la segunda unión satisfactoriamente.
Tabla 7
Evaluación cualitativa del usuario 7 del grupo 1
|
Comodidad en el uso de los gestos de la mano |
Alta |
|
Aprendizaje en el transcurso de la experimentación |
Alta |
|
Selección y manipulación del objeto 3D |
Ni baja ni alta |
El octavo usuario tenía educación superior completa y una capacidad tecnológica media. Por otra parte, manifestó que el uso de los gestos de la mano fue regularmente cómodo. Además, añadió que no fue tan fácil recordar qué gesto de la mano correspondía a la operación que quería realizar y que el estar sujetando el celular le causaba cansancio en la mano. Por último, no le fue tan fácil ni tan difícil el seleccionar y manipular los objetos 3D. Al finalizar la prueba, pudo realizar la primera unión y la segunda unión satisfactoriamente.
Tabla 8
Evaluación cualitativa del usuario 8 del grupo 1
|
Comodidad en el uso de los gestos de la mano |
Ni baja ni alta |
|
Aprendizaje en el transcurso de la experimentación |
Ni baja ni alta |
|
Selección y manipulación del objeto 3D |
Ni baja ni alta |
El noveno usuario tenía educación superior completa y una capacidad tecnológica media. Por otra parte, manifestó que el uso de los gestos de la mano fue regularmente cómodo. Asimismo, mencionó que fue fácil recordar los gestos de la mano con respecto a la operación relacionada, pero fue complicado efectuarlo. Esto fue debido a que en el espacio de prueba se generaron muchos planos y fue un obstáculo para ubicar el objeto 3D en el plano en donde se quería ensamblar el brazo robótico. Por último, recalcó que, aunque tenía aquel problema, no fue tan fácil ni tan difícil el seleccionar y manipular el objeto 3D. Al finalizar la prueba, pudo realizar la primera unión satisfactoriamente, pero no la segunda unión.
Tabla 9
Evaluación cualitativa del usuario 9 del grupo 1
|
Comodidad en el uso de los gestos de la mano |
Ni baja ni alta |
|
Aprendizaje en el transcurso de la experimentación |
Alta |
|
Selección y manipulación del objeto 3D |
Ni baja ni alta |
El décimo usuario tenía educación superior completa y una capacidad tecnológica media. Por otra parte, manifestó que algunos gestos de las manos eran fáciles de usar, pero otros no. Debido a que algunos necesitaban realizarse con mayor precisión, es decir, llegar a exagerar un poco el enderezar o retraer los dedos lo necesario para realizar el gesto. Aunque tenía aquel problema, no fue tan fácil ni tan difícil el seleccionar y manipular los objetos 3D. Por último, mencionó que fue sencillo recordar los gestos de la mano según la operación que deseaba realizar. Al finalizar la prueba, pudo realizar la primera unión satisfactoriamente, pero no la segunda unión.
Tabla 10
Evaluación cualitativa del usuario 10 del grupo 1
|
Comodidad en el uso de los gestos de la mano |
Ni baja ni alta |
|
Aprendizaje en el transcurso de la experimentación |
Alta |
|
Selección y manipulación del objeto 3D |
Ni baja ni alta |
Se elaboraron histogramas para las métricas cualitativas sobre la comodidad del uso de los gestos de la mano (véase figura 8A), el aprendizaje en el transcurso de la experimentación (véase figura 8B) y la selección y manipulación del objeto 3D (véase figura 8C) para el grupo 1. Las métricas son representadas a manera de escala (del –2 al 2) en lugar de los valores usados en las tablas anteriores con el fin de visualizar mejor los resultados obtenidos.
Figura 8
Histogramas de las métricas cualitativas del grupo 1
5.2 Grupo de usuarios con visor
El primer usuario tenía educación superior completa y una capacidad tecnológica alta. Por otra parte, se sentía cómodo con el visor, aunque tenía poca experiencia en el uso de este tipo de aplicaciones, al enfocar el objeto 3D y la mano para realizar los gestos. Además, separó los componentes del brazo robótico para aprender los gestos de translación y rotación con cada objeto 3D. Por último, manifestó que fue sencillo la primera unión del robot, pero que para la segunda se requería una mayor precisión en trasladar y rotar el objeto 3D para que se ensamblaran las piezas. Al finalizar la prueba, pudo realizar la primera unión satisfactoriamente, pero no la segunda unión.
Tabla 11
Evaluación cualitativa del usuario 1 del grupo 2
|
Comodidad en el uso de los gestos de la mano |
Alta |
|
Aprendizaje en el transcurso de la experimentación |
Alta |
|
Selección y manipulación del objeto 3D |
Alta |
El segundo usuario tenía educación superior completa y una capacidad tecnológica media. Por otra parte, afirmó que se sentía medianamente cómodo al usar por primera vez un visor y hacer gestos de la mano para realizar ciertas funciones con objetos en realidad aumentada. Por ello, decidió realizar la experimentación de pie para tener una mayor visión de la mesa (espacio de prueba) y mayor movilidad para trasladar los elementos en distintos puntos del plano horizontal. Además, mencionó que los gestos de seleccionar y trasladar eran interacciones sencillas de entender, pero necesitó más tiempo para aprender los gestos de deseleccionar y rotar. Por último, manifiestó que le costó realizar la primera unión del robot y para la segunda unión le resultó mucho más difícil porque requería una mayor precisión. Al finalizar la prueba, pudo realizar la primera unión satisfactoriamente, pero no la segunda unión.
Tabla 12
Evaluación cualitativa del usuario 2 del grupo 2
|
Comodidad en el uso de los gestos de la mano |
Ni baja ni alta |
|
Aprendizaje en el transcurso de la experimentación |
Ni baja ni alta |
|
Selección y manipulación del objeto 3D |
Alta |
El tercer usuario tenía educación superior completa y una capacidad tecnológica media. Por otra parte, manifestó que en una primera instancia le fue incómodo, pero en el transcurso de la prueba se fue acostumbrando y realizaba los gestos de la mano con naturalidad. Además, mencionó que necesitaba más práctica para aprender todos los gestos de la mano, ya que se olvidaba y hacía otras operaciones que no quería. Por último, añadió que no fue ni tan fácil ni tan difícil el seleccionar y manipular los objetos en realidad aumentada. Al finalizar la prueba, pudo realizar la primera unión y la segunda unión satisfactoriamente.
Tabla 13
Evaluación cualitativa del usuario 3 del grupo 2
|
Comodidad en el uso de los gestos de la mano |
Alta |
|
Aprendizaje en el transcurso de la experimentación |
Ni baja ni alta |
|
Selección y manipulación del objeto 3D |
Ni baja ni alta |
El cuarto usuario tenía educación superior completa y una capacidad tecnológica media. Por otra parte, manifestó que se sentía muy cómodo con los gestos de la mano, pero que se podían mejorar para que fuesen más sencillos e intuitivos. También recalcó que fue bueno su aprendizaje en el transcurso de la prueba. Por último, mencionó que el uso del visor le facilitaba el seleccionar y manipular los objetos en realidad aumentada, ya que podía enfocar los objetos como si estuviera mirándolos. Al finalizar la prueba, pudo realizar la primera unión y la segunda unión satisfactoriamente.
Tabla 14
Evaluación cualitativa del usuario 4 del grupo 2
|
Comodidad en el uso de los gestos de la mano |
Ni baja ni alta |
|
Aprendizaje en el transcurso de la experimentación |
Ni baja ni alta |
|
Selección y manipulación del objeto 3D |
Alta |
El quinto usuario tenía educación secundaria completa y una capacidad tecnológica alta. Por otra parte, manifestó que solo el gesto de la mano para girar hacia la derecha un objeto 3D le resultaba incómodo, pero los demás fueron regularmente cómodos. Asimismo, mencionó que no fue tan fácil ni tan difícil el seleccionar y manipular los objetos 3D, pero a veces trasladaba el objeto 3D cuando quería rotarlo. Por último, recalcó que fue sencillo recordar todos los gestos de la mano. Al finalizar la prueba, pudo realizar la primera unión y la segunda unión satisfactoriamente.
Tabla 15
Evaluación cualitativa del usuario 5 del grupo 2
|
Comodidad en el uso de los gestos de la mano |
Ni baja ni alta |
|
Aprendizaje en el transcurso de la experimentación |
Alta |
|
Selección y manipulación del objeto 3D |
Ni baja ni alta |
El sexto usuario tenía educación superior y una capacidad tecnológica alta. Por otra parte, manifestó que los gestos de selección y traslación fueron cómodos, pero el de rotación a la derecha fue más difícil. Sin embargo, recalcó que gracias al uso del visor podía cambiar de mano fácilmente y superar el obstáculo de rotar hacia la derecha. Por último, mencionó que fue sencillo y rápido de recordar, especialmente los gestos de selección y traslación le parecieron intuitivos. Al finalizar la prueba, pudo realizar la primera unión y la segunda unión satisfactoriamente.
Tabla 16
Evaluación cualitativa del usuario 6 del grupo 2
|
Comodidad en el uso de los gestos de la mano |
Ni baja ni alta |
|
Aprendizaje en el transcurso de la experimentación |
Muy alta |
|
Selección y manipulación del objeto 3D |
Alta |
El séptimo usuario tenía educación superior completa y una capacidad tecnológica media. Por otra parte, manifestó que se sintió cómodo con el uso de los gestos de la mano y el uso del visor. Además, añadió que al inicio le costó recordar y aprender los gestos de la mano. Sin embargo, pudo realizar todas las pruebas sin confundirse en qué operación utilizar. Por último, mencionó que con la práctica realizada en la experimentación sí fue fácil poder manipular los objetos en realidad aumentada con excepción del gesto de traslación. Al finalizar la prueba, pudo realizar la primera unión y la segunda unión satisfactoriamente.
Tabla 17
Evaluación cualitativa del usuario 7 del grupo 2
|
Comodidad en el uso de los gestos de la mano |
Alta |
|
Aprendizaje en el transcurso de la experimentación |
Muy alta |
|
Selección y manipulación del objeto 3D |
Alta |
El octavo usuario tenía educación superior y una capacidad tecnológica media. Por otra parte, manifestó que estuvo cómodo con el uso de los gestos de la mano excepto el gesto para trasladar, recalcó que fue el más dificultoso. También mencionó que comprendió los gestos rápidamente y con el transcurso de la experimentación pudo reforzar el aprendizaje del uso de los gestos. Por último, comentó que fue sencillo el seleccionar y manipular los objetos 3D gracias al visor, en cambio, si tuviese el celular en la mano, no sentiría tan simple el realizar dichas operaciones. Al finalizar la prueba, pudo hacer la primera unión y la segunda unión satisfactoriamente.
Tabla 18
Evaluación cualitativa del usuario 8 del grupo 2
|
Comodidad en el uso de los gestos de la mano |
Ni baja ni alta |
|
Aprendizaje en el transcurso de la experimentación |
Alta |
|
Selección y manipulación del objeto 3D |
Muy alta |
El noveno usuario tenía educación superior completa y una capacidad tecnológica media. Por otra parte, manifestó que tuvo complicaciones con el uso de los gestos de la mano, ya que la aplicación no reconocía bien los gestos de la mano por la sombra que se generaba en el espacio de prueba. Por lo tanto, al inicio se le complicaba el seleccionar y manipular los objetos en realidad aumentada, pero conforme se iba adaptando a la situación se le le hacían más sencillas dichas operaciones. Por último, sintetizó cuanto había comprendido y aprendido los gestos de la mano con una nota de quince sobre veinte. Al finalizar la prueba, pudo realizar la primera unión satisfactoriamente, pero no la segunda unión.
Tabla 19
Evaluación cualitativa del usuario 9 del grupo 2
|
Comodidad en el uso de los gestos de la mano |
Ni baja ni alta |
|
Aprendizaje en el transcurso de la experimentación |
Ni baja ni alta |
|
Selección y manipulación del objeto 3D |
Alta |
El décimo usuario tenía educación superior y una capacidad tecnológica alta. Por otra parte, manifestó que al comienzo de la prueba le fue algo complicado, pero poco a poco pudo usar todos los gestos de la mano con más naturalidad. Además, añadió que el gesto más complicado fue el de deseleccionar el objeto y que los gestos fueron fáciles de entender, pero fue un poco difícil aplicarlos en la aplicación. Por último, mencionó que fue fácil seleccionar y mover los objetos 3D, pero más difícil fue deseleccionarlos. Al finalizar la prueba, pudo realizar la primera unión y la segunda unión satisfactoriamente.
Tabla 20
Evaluación cualitativa del usuario 10 del grupo 2
|
Comodidad en el uso de los gestos de la mano |
Ni baja ni alta |
|
Aprendizaje en el transcurso de la experimentación |
Ni baja ni alta |
|
Selección y manipulación del objeto 3D |
Alta |
Se elaboraron histogramas para las métricas cualitativas sobre la comodidad del uso de los gestos de la mano (véase figura 9A), el aprendizaje en el transcurso de la experimentación (véase figura 9B) y la selección y manipulación del objeto 3D (véase figura 9C) para el grupo 2. Las métricas son representadas a manera de escala (del –2 al 2) en lugar de los valores usados en las tablas anteriores con el fin de visualizar mejor los resultados obtenidos.
Figura 9
Histogramas de las métricas cualitativas del grupo 2
Durante las diversas pruebas que se realizaron a cada usuario, se pueden extraer ciertas limitaciones del proyecto. Por un lado, se encuentra la limitación con respecto al espacio de la experimentación. Dicho de otra manera, estar en un lugar en donde alrededor hay diversos objetos, la aplicación genera diversos planos lo que perjudica la precisión en donde se quiere colocar la imagen 3D del eslabón y entorpece la visualización del usuario. Por el otro lado, se encuentra la limitación con respecto al rastreo de la mano que se realiza en la aplicación. En otras palabras, en ciertos momentos de la experimentación, el reconocimiento de la mano arrojaba falsos positivos (reconocer una mano en donde no había) por factores externos como la iluminación, la sombra, el daño en la cámara, entre otros.
Las métricas cuantitativas realizadas en ambos grupos según las tablas 21 y 22 muestran que inicialmente el tiempo elegido para la experimentación era de diez minutos, pero los resultados mostraron que no era tiempo suficiente para que el usuario pudiera aprender sobre los gestos de la mano y cómo utilizarlos para la fabricación del brazo robótico. Por lo que el usuario del grupo sin visor con métricas más bajas es el usuario 1 y por parte del grupo con visor, el usuario 2. Por eso, se decidió aumentar el tiempo a quince minutos por cada parte de la prueba. Dando como resultado al usuario del grupo sin visor con métricas más altas al usuario 4, ya que redujo los números de intentos de traslación y rotación considerablemente y obtuvo el mejor tiempo, de 2 minutos y 35 segundos, para poder fabricar el robot, lo cual refleja su alta manipulación con los objetos en realidad aumentada. Por el lado del grupo con visor, el usuario con métricas más altas fue el usuario 6, debido a que disminuyó los números de intentos de traslación y rotación significativamente y alcanzó el mejor tiempo, de 4 minutos, para poder fabricar el robot, lo cual evidencia su alta manipulación con los objetos en realidad aumentada.
Tabla 21
Evaluación cuantitativa del grupo sin visor
|
Grupo sin visor |
|||||||||
|
U |
E d a d |
Primera parte |
Segunda parte |
||||||
|
Tiempo |
N.º de intentos para trasladar |
N.º de intentos para rotar |
Tiempo |
N.º de intentos para trasladar |
N.º de intentos para rotar |
N.º de intentos para la primera unión |
N.º de intentos para la segunda unión |
||
|
1 |
67 |
10 |
2 |
3 |
10 |
2 |
3 |
- |
- |
|
2 |
30 |
10 |
1 |
2 |
10 |
1 |
2 |
5 |
- |
|
3 |
24 |
15 |
1 |
2 |
15 |
2 |
2 |
2 |
10 |
|
4 |
26 |
15 |
5 |
4 |
2:35 |
2 |
1 |
4 |
3 |
|
5 |
26 |
15 |
5 |
5 |
4:40 |
4 |
5 |
7 |
10 |
|
6 |
26 |
15 |
5 |
3 |
15 |
4 |
2 |
8 |
- |
|
7 |
26 |
15 |
10 |
3 |
6:54 |
6 |
2 |
3 |
8 |
|
8 |
26 |
15 |
5 |
3 |
14:50 |
3 |
2 |
5 |
10 |
|
9 |
26 |
15 |
5 |
3 |
15 |
5 |
3 |
10 |
2 |
|
10 |
26 |
15 |
7 |
4 |
15 |
5 |
3 |
10 |
- |
Tabla 22
Evaluación cuantitativa del grupo con visor
|
Grupo con visor |
|||||||||
|
U s u a r i o |
E d a d |
Primera parte |
Segunda parte |
||||||
|
Tiempo |
N.º de intentos para trasladar |
N.º de intentos para rotar |
Tiempo |
N.º de intentos para trasladar |
N.º de intentos para rotar |
N.º de intentos para la primera unión |
N.º de intentos para la segunda unión |
||
|
1 |
26 |
10 |
1 |
1 |
10 |
1 |
4 |
4 |
10 |
|
2 |
28 |
10 |
1 |
3 |
10 |
1 |
3 |
5 |
12 |
|
3 |
31 |
15 |
3 |
2 |
6:04 |
5 |
2 |
2 |
8 |
|
4 |
37 |
15 |
4 |
2 |
12:52 |
4 |
2 |
7 |
5 |
|
5 |
24 |
15 |
3 |
6 |
6:06 |
2 |
2 |
2 |
5 |
|
6 |
24 |
15 |
2 |
6 |
4 |
1 |
3 |
1 |
6 |
|
7 |
29 |
15 |
3 |
1 |
8 |
1 |
2 |
2 |
4 |
|
8 |
23 |
15 |
5 |
1 |
15 |
5 |
1 |
6 |
3 |
|
9 |
33 |
15 |
7 |
2 |
15 |
4 |
1 |
3 |
5 |
|
10 |
25 |
15 |
5 |
3 |
10 |
5 |
3 |
5 |
10 |
6. DISCUSIONES
De la experimentación, se pudo observar que la comodidad en el uso de los gestos de la mano, en la mayoría de los usuarios, no fue ni tan cómoda ni tan incómoda, es decir, fue intermedia. Esto se debe a que la mayoría de usuarios era inexperta en el uso de una aplicación en realidad aumentada y con una interfaz con interacciones a través de los gestos de la mano. También, se vio reflejado en el número de intentos para realizar una operación, como, por ejemplo, el número de intentos para realizar una rotación que, en general, fue entre dos a cinco. Sin embargo, se observó que la inexperiencia de los usuarios no fue impedimento para entender y comprender sobre estos gestos. Los valores del aprendizaje en el transcurso de la experimentación oscilaban entre intermedia a alta, en ambos grupos de usuarios, debido a que los gestos de la mano eran intuitivos según mencionaron algunos de ellos.
Lo que sí se pudo visualizar de ambos grupos es que difieren en la selección y manipulación de objetos en realidad aumentada. En el desarrollo de las pruebas, los usuarios sin el uso del visor tuvieron, en el mayor de los casos, un desempeño intermedio; en cambio, los usuarios con el uso del visor tuvieron un desempeño alto. Asimismo, se observó en el número de resultados satisfactorios en la primera unión y en la segunda unión en la fabricación del brazo robótico.
El grupo de usuarios que utilizó el visor obtuvo un mayor número de ensambles o uniones entre los eslabones del brazo robótico con respecto al grupo de usuarios sin el uso de visor. Además, entre los usuarios que pudieron realizar la primera unión y la segunda unión resaltaron que realizar la segunda unión fue más complicado. Esto se puede verificar en el alto número de intentos para realizar dicha unión con respecto a la otra en la mayoría de los usuarios.
7. CONCLUSIONES Y TRABAJOS FUTUROS
En conclusión, se puede asegurar que la aplicación que ayuda a efectuar un diseño previo a la fabricación de un brazo robótico de marea interactiva usando realidad aumentada fue un reto para todos los usuarios. Esto se debe a que, para la mayoría de los usuarios, no es usual utilizar aplicaciones con realidad aumentada o con interacciones no convencionales; es decir, el uso de gestos de la mano. También se visualiza que en métrica cualitativa de la comodidad en el uso de los gestos de la mano, los resultados tienden a ser ni bajos ni altos. Asimismo, se puede inferir mediante los resultados que los usuarios pudieron entender y comprender los gestos de la mano de manera favorable. Esto se refleja en la métrica cualitativa del aprendizaje en el transcurso de la experimentación que tiende a ser alta, ya que los gestos de la mano, en la mayoría, eran intuitivos y sencillos de memorizar con su respectiva operación en la aplicación. Además, de las pruebas en el procedimiento de ensamblaje se puede deducir que el grupo de usuarios que utilizó el visor obtuvo un valor alto en el seleccionar y manipular los objetos en realidad aumenta. Por lo tanto, los usuarios de dicho grupo pudieron realizar más ensamblajes satisfactoriamente con respecto al otro grupo de usuarios.
Finalmente, existen diversas aplicaciones que se podrían llevar a cabo con este proyecto. Como se observa, es posible asociar el rastreo de mano y la realidad aumentada con objetos modelados en 3D, por lo que da lugar a nuevos proyectos con diferentes rastreos mediante la herramienta de MediaPipe y la realidad aumentada (Díaz Álvarez, 2021; Cáceres Sánchez, 2019; Delgado Barrera & Duchi Farez, 2021). Asimismo, en un futuro proyecto se podría aumentar la cantidad de modelos de brazos robóticos a fabricar y decidir cuál construir, dando mayor diversidad en interacciones con los gestos de la mano o manos, dependiendo de la dificultad. Es decir, se podría realizar una operación usando ambas manos o realizar una operación por cada mano. Además, otro proyecto futuro sería elaborar un simulador sobre las diferentes trayectorias que puede realizar el brazo robótico siendo guiado por los gestos de la mano o manos. Esto se podría realizar al controlar los grados de libertad y las articulaciones del brazo robótico mediante los gestos de la mano o manos, añadiendo también una operación en el elemento terminal como pinzas o herramientas.
REFERENCIAS
Azuma, R. T. (1997). A survey of augmented reality. Presence: Teleoperators & Virtual Environments, 6(4), 355-385. https://doi.org/10.1162/pres.1997.6.4.355
Cáceres Sánchez, J. S. (2019). Diseño de prototipo de aplicación para visualización de productos en realidad aumentada [Tesis de bachiller, Universidad San Francisco de Quito, Colegio de Ciencias e Ingenierías]. http://repositorio.usfq.edu.ec/handle/23000/8893
Chacón Malasquez, N., & Tuiro Achulle, J. M. (2018). Aplicación móvil de realidad aumentada, utilizando la metodología Mobile - D, para el entrenamiento de técnicos de mantenimiento de maquinaria pesada en la empresa Zamine Service Perú S.A.C. [Tesis de grado, Universidad Autónoma del Perú]. https://hdl.handle.net/20.500.13067/581
de la Cruz, E. I., Salazar, E. R., Romero, J. A., Jiménez, L. M., & Rodríguez, J. J. (2022). Control to manipulate robotic arms using augmented reality. En X.-S. Yang, S. Sherratt, N. Dey & A. Joshi (Eds.), Proceedings of Sixth International Congress on Information and Communication Technology. Lecture Notes in Networks and Systems (Vol. 216, pp. 101-112). Springer. https://doi.org/10.1007/978-981-16-1781-2_11
Delgado Barrera, J. D., & Duchi Farez, D. D. (2021). Desarrollo de una interfaz humano-computador mediante la animación de avatares generadores a partir de fotogrametría [Tesis de grado, Universidad Politécnica Salesiana Sede Cuenca]. https://dspace.ups.edu.ec/handle/123456789/21214
Díaz Álvarez, J. (2021). Visión por computador para el uso de realidad aumentada en Unity3D [Tesis de grado, Universidad Politécnica de Madrid]. https://oa.upm.es/68007/
Fang, H. C., Ong, S. K., & Nee, A. Y. C. (2014). A novel augmented reality-based interface for robot path planning. International Journal on Interactive Design and Manufacturing (IJIDeM), 8, 33-42. https://doi.org/10.1007/s12008-013-0191-2
Lugaresi, C., Tang, J., Nash, H., McClanahan, C., Uboweja, E., Hays, M., Zhang, F., Chang, C.-L., Yong, M., Lee, J., Chang, W.-T., Hua, W., Georg, M., & Grundmann, M. (2019). MediaPipe: A framework for perceiving and processing reality. Third Workshop on Computer Vision for AR/VR at IEEE Computer Vision and Pattern Recognition (CVPR) 2019. https://mixedreality.cs.cornell.edu/s/NewTitle_May1_MediaPipe_CVPR_CV4ARVR_Workshop_2019.pdf
MediaPipe (2020). MediaPipe Hands. MediaPipe on GitHub. https://google.github.io/mediapipe/solutions/hands.html
Nielsen, J., & Landauer, T. K. (1993, 24-29 de abril). A mathematical model of the finding of usability problems. Proceedings of the INTERACT ’93 and CHI ’93 Conference on Human Factors in Computing Systems (CHI ’93). Association for Computing Machinery, 206-213. https://doi.org/10.1145/169059.169166
Pérez López, B. (2021). Aplicación de realidad aumentada para la docencia online [Tesis de grado, Universidad de Alicante]. https://rua.ua.es/dspace/bitstream/10045/115955/1/Sistema_de_reconocimiento_de_manos_y_realidad_virtual_Perez_Lopez_Borja.pdf
Pasaréti, O., Hajdú, H., Matusaka, T., Jámbori, A., Molnár, I., & Turcsányi-Szabó, M. (2011). Augmented reality in education. INFODIDACT 2011 Informatika Szakmódszertani Konferencia. https://people.inf.elte.hu/szlavi/InfoDidact11/Manuscripts/PO_HH_MT_JA_MI_TSzM.pdf
Samini, A., & Palmerius, K. L. (2017). Popular performance metrics for evaluation of interaction in virtual and augmented reality. 2017 International Conference on Cyberworlds (CW), 206-209. https://doi.org/10.1109/CW.2017.25
Vogel, C., Walter, C., & Elkmann, N. (2017). Safeguarding and supporting future human-robot cooperative manufacturing processes by a Projection- and Camera-based Technology. Procedia Manufacturing, 11, 39-46. https://doi.org/10.1016/j.promfg.2017.07.127
Ziden, A. A., Ziden, A. A. A., & Ifedayo, A. E. (2022). Effectiveness of augmented reality (AR) on students’ achievement and motivation in learning science. Eurasia Journal of Mathematics, Science and Technology Education, 18(4), em2097. https://doi.org/10.29333/ejmste/11923
ANEXOS
Figura 10
Instanciar un objeto usando la aplicación
Figura 11
Selección y deselección de un objeto usando la aplicación
Figura 12
Traslación de un objeto durante la evaluación
Figura 13
Rotación de objetos durante la evaluación
Figura 14
Interacción del usuario 5, del grupo con visor, con la aplicación de realidad aumentada rotando en sentido horario el eslabón del brazo robótico seleccionado (base del brazo robótico)
Figura 15
Interacción del usuario 6, del grupo con visor, con laaplicación de realidad aumentada trasladando hacia arriba el eslabón del brazo robótico seleccionado
Figura 16
Interacción del usuario 6, del grupo sin visor, con la aplicación de realidad aumentada intentando realizar la primera unión del brazo robótico