Advanced search

Search filters

Select one or more needs and click on "Search product" to see your products

Select one or more technologies and click on "Search product" to see your products

Select one or more intervention areas and click on "Search product" to see your products

Analizamos la aplicación Demo Seeing AI

Vídeo review

  • Contenido de la opción de menú Acerca de
  • Ajustes de la aplicación
  • Contenido de la ayuda de la aplicación
  • Contenido de la ayuda rápida de la aplicación
  • Fotografía que muestra la identificación del color de un objeto
  • Fotografía de un documento
  • Texto de un documento reconocido por la aplicación
  • Fotografía de una escena
  • Escena con un texto proporcionado por la aplicación que la describe
  • Fotografía de un cuaderno con un texto escrito a mano
  • Texto escrito a mano de un cuaderno reconocido por la aplicación
  • Fotografía que muestra una fuente lumínica detectada por la aplicación
  • Menú de la aplicación
  • Fotografía de un billete de 20€
  • Fotografía de una mujer joven identificada y descrita por la aplicación
  • Fotografía de dos personas jóvenes identificadas y descritas por la aplicación
  • Fotografía del código de barras de una botella de agua mineral Bezoya identificada por la aplicación
  • Fotografía del texto del etiquetado de una caja de un móvil Samsung Galaxy J3

What is it about:

Seeing AI es una app gratuita que narra el mundo alrededor tuya. Diseñado para la comunidad de ciegos y de baja visión, este proyecto de investigación en curso aprovecha el poder de la IA para abrir el mundo visual y describir personas, textos y objetos cercanos.
Optimizada para su uso con VoiceOver, la aplicación le permite reconocer:

  • Texto corto: habla texto tan pronto como aparece frente a la cámara.
  • Documentos: proporciona una guía de audio para capturar una página impresa y reconoce el texto, junto con su formato original.
  • Productos: escanea los códigos de barras, utilizando señales sonoras para guiarlo; escuche el nombre y la información del paquete cuando esté disponible. (Funciona con iPhone 6 y posteriores).
  • Personas: guarda las caras de las personas para que pueda reconocerlas y obtener una estimación de su edad, género y emociones.
  • Escenas (vista previa temprana): escuche una descripción general de la escena capturada.
  • Moneda: reconoce los billetes de moneda. (Requiere iOS 11).
  • Color: identifica el color.
  • Escritura a mano: lee texto escrito a mano como en tarjetas de felicitación.
  • Luz: genera un tono audible correspondiente al brillo del entorno.
  • Imágenes en otras aplicaciones: solo toque “Compartir” y “Reconocer con AI” para describir las imágenes de Correo, Fotos, Twitter y más.
  • Experiencia de navegación de fotos: describe las fotos en tu teléfono.


Seeing AI está diseñado para ayudarlo a lograr más aprovechando el poder de la nube y la inteligencia artificial. A medida que avanza la investigación, más canales pueden ser añadidos.

 

Forms of acquisition:

Seeing AI sólo está disponible para IOS y es gratuita.
La aplicación puede descargarse desde la App Store

Technical verification:

Julio 2019

Seeing AI es una aplicación de Microsoft desarrollada para dispositivos IOS que permite tener en una misma aplicación distintas funcionalidades útiles para personas con ceguera o baja visión. Cada una de estas funcionalidades recibe el nombre de canal. Los canales pueden aumentar si se añaden nuevas funcionalidades.
La aplicación permite, entre otros, reconocer texto tanto en documentos como en imágenes, detectar la intensidad lumínica, identificar colores o describir escenas.
Cuando se abre la aplicación, se muestra el visor de la cámara junto con el botón de menú y el de ayuda rápida, así como el selector de canal y un botón para pausar y reanudar la detección automática.
Todos los menús, botones e información están en inglés, aunque se puede cambiar el idioma de reconocimiento a diferentes idiomas, incluido el español, así como predefinir el tipo de moneda.
Algunos de los canales pueden funcionar con detección automática. La precisión del reconocimiento se puede ver afectada por el pulso del usuario, la orientación del documento y la distancia al mismo.

Menú

Menú de la aplicación

El menú de la aplicación permite acceder a la configuración de la aplicación, a la galería fotográfica del dispositivo y a distinta información.

Buscar fotos

Esta opción permite acceder a la galería fotográfica del dispositivo y reconocer el contenido de la fotografía, ya sea un texto o una escena.
Durante las pruebas realizadas esta opción ha reconocido satisfactoriamente las escenas que aparecían en distintas fotografías almacenadas en el dispositivo.

Ayuda

Ayuda

Esta opción permite acceder a la ayuda de la aplicación.

Feedback

Esta opción permite ponerse en contacto con los desarrolladores mediante el envío de un correo electrónico con el objetivo de proporcionar sugerencias o comunicar cualquier tipo de incidencia.

Ajustes

Ajustes

Esta opción permite configurar distintos aspectos de la aplicación tales como el tipo de moneda, la ordenación de los canales o ajustes de la voz entre otros.

Acerca de

Acerca de

Esta opción ofrece información acerca de la aplicación y los desarrolladores.

Canales

texto corto

Texto corto

Este canal permite identificar textos cortos en tiempo real, como el que aparece en los etiquetados de los productos.
Durante las pruebas realizadas, la aplicación ha identificado con muy buenos resultados los textos de envases, superficies de productos e incluso la pantalla de dispositivos electrónicos.

Documento

Fotografía de un documentoTexto reconocido del documento por la aplicación

Este canal permite enfocar un texto, capturarlo y realizar un reconocimiento del mismo. Tras esto, la aplicación muestra una pantalla con el texto reconocido del documento.
En las pruebas realizadas se ha podido comprobar que el reconocimiento es muy bueno, aunque se ve influenciado por distintos aspectos como la orientación del documento, el tamaño o tipo de letra o el tipo de documento entre otros.
La imagen de la izquierda muestra una fotografía de un documento. La imagen de la derecha muestra el texto que la aplicación ha reconocido en el documento.

Producto

Fotografía de un producto reconocido por la aplicación

Este canal permite identificar los productos a través del código de barras de los mismos, siempre que la información de los mismos esté disponible. Para ello, se enfoca el código de barras con la cámara, la cuál se encarga de capturarlo e identificarlo.
En las pruebas realizadas, la aplicación ha identificado correctamente el código de barras. Sin embargo, la identificación del producto depende de que su información esté disponible en la base de datos, como es el caso de la botella de agua mineral Bezoya que ha identificado la aplicación correctamente.

Persona

Fotografía de una mujer joven reconocida por la aplicaciónFotografía de dos personas reconocidas por la aplicación

Este canal identifica cuantas personas hay en la imagen capturada con la cámara, cómo visten, sus rasgos faciales y edad. Para que este canal funcione correctamente las personas deben de estar a una distancia no muy lejana.
Durante las pruebas realizadas, la aplicación ha identificado correctamente a las personas en cuanto a su sexo y vestimenta, aunque ha dado un rango variable en relación a la edad.
En la imagen de la izquierda se puede ver a una mujer joven junto a un texto en inglés proporcionado por la aplicación que dice "30 years old woman with black hair looking happy" ("Mujer de 30 años con cabello negro con aspecto feliz"). En la imagen de la derecha se ven un hombre y una mujer jóvenes con un texto proporcionado por la aplicación que dice "2 people detected. 36 years old man with brown hair looking happy. 27 years old woman with brown hair looking happy" ("2 personas detectadas. Hombre de 36 años con cabello marrón con aspecto feliz. Mujer de 27 años con cabello marrón con aspecto feliz").

Moneda

Billete de 20€ reconocido por la aplicación

Este canal permite identificar el valor monetario de los billetes en la moneda predefinida y en tiempo real.
En las pruebas realizadas se ha podido comprobar que la aplicación identifica correctamente los billetes, como el billete de 20€ que se puede apreciar en la imagen. Una vez que la aplicación ha identificado el valor del billete, dicho valor es verbalizado en voz alta.

Escena

Fotografía de una mujer sentada delante de un ordenadorFotografía de una mujer sentada delante de un ordenador con un texto que describe la escena reconocida por la aplicación

Este canal permite describir la escena que aparece en la imagen capturada por la cámara tras pulsar el botón de tomar fotografía. La aplicación verbaliza en voz alta lo que se muestra en la imagen.
En la imagen de la izquierda se visualiza una mujer sentada en un escritorio y con un ordenador delante suya. En la imagen de la derecha se observa la misma escena tras haber sido reconocida por la aplicación con un texto en inglés que dice "A Person sitting at a desk with a computer in an office chair." ("Una persona sentada en un escritorio con un ordenador en una silla de oficina").

Color

Color negro de una funda reconocido por la aplicación

Este canal detecta el color o colores principales de un objeto o superficie. La identificación del color puede verse afectada por distintos motivos como la tonalidad del mismo o la iluminación del entorno. Por lo general, en condiciones adecuadas, la aplicación identifica correctamente los colores de la superficie enfocada.
En las pruebas realizadas, la aplicación ha identificado satisfactoriamente los colores de los objetos enfocados con la cámara.

Escritura manual

Fotografía de un cuadernoFotografía del texto reconocido del cuaderno manuscrito usando la aplicación

Este canal permite reconocer textos manuscritos. Cuando la aplicación reconoce el texto, lo verbaliza en voz alta.
La imagen de la izquierda muestra una fotografía de una libreta con el siguiente texto manuscrito: "En Orientatech probamos el reconocimiento de la escritura manual de la aplicación Seeing AI". A la derecha se muestra la captura de pantalla con el texto reconocido por la aplicación, que como se puede apreciar, se ha reconocido correctamente.

Luz

Fotografía de una fuente lumínica  que la aplicación está detectando

Este canal permite detectar la intensidad lumínica. Para ello, utiliza una escala musical en la que cuanto mayor sea la intensidad de la luz, más agudas serán las notas musicales que se reproducen.
En las pruebas realizadas, la aplicación ha reproducido las notas más agudas cuando la cámara ha enfocado objetos emisores de luz, como la pantalla del ordenador o el foco de luz que se puede observar en la imagen.

Conclusión

La aplicación Seeing AI de Microsoft es una gran herramienta para las personas con algún tipo de diversidad funcional visual, especialmente para aquellas con muy baja visión o con ceguera total. Esta aplicación reune en una sola app distintas funcionalidades que contribuyen a mejorar las actividades de la vida diaria y favorecen una mayor autonomía personal del colectivo con diversidad funcional visual.
Cabe destacar con una mención especial el reconocimiento de textos escritos a mano con una gran precisión, así como la identificación de escenas y de personas.
También es de gran utilidad el OCR (Reconocimiento Óptico de Caracteres), ya sea para textos cortos como el de los envases, o para documentos.
De especial relevancia para las personas con ceguera total es la identificación de la intensidad lumínica puesto que les permite saber, por ejemplo, si una lámpara está encendida o apagada.
Como se mencionó anteriormente, se trata de una aplicación de gran interés para el colectivo de personas con diversidad funcional visual. Sin embargo, que la interfaz sólo esté disponible en inglés y el alto consumo de batería en los dispositivos móviles son puntos a tener en cuenta a la hora de usarla.

Puntos destacables

  • Reconocimiento de escritura manuscrita con gran precisión
  • Identificación precisa de escenas y personas en fotografías
  • OCR en tiempo real para textos cortos
  • OCR de gran precisión para documentos
  • Detección de la intensidad lumínica
  • Es gratuita

Puntos de mejora

  • Se podría sugerir la traducción de la interfaz a otros idiomas puesto que sólo está disponible en inglés por el momento
  • Se podría estudiar para futuras versiones la reducción del consumo de batería
  • Se podría estudiar la posibilidad de aumentar el número de productos identificados por la aplicación a través del código de barras
  • Se podría analizar el desarrollo de una versión para dispositivos Android puesto que por el momento sólo está disponible en IOS
  • Design and manufacturing: 4 sobre 5(4/5)
    4
    Este apartado hace referencia los aspectos físicos y detalles de la fabricación del producto tecnológico
  • User Experience: 4 sobre 5(4/5)
    4
    Este criterio está vinculado a la valoración del usuario al relacionarse con el producto técnico o aplicación
  • Technical features: 5 sobre 5(5/5)
    5
    Descripción de la calidad de las especificaciones técnicas que tiene la solución tecnológica
  • Accessibility: 5 sobre 5(5/5)
    5
    Es el grado en el que las personas pueden utilizar o acceder a un producto, solución tecnológica o servicio, independientemente de sus capacidades técnicas, cognitivas o físicas

Social valuation:

Se ha probado Seeing AI con nuestro voluntario Andrés, con el objetivo de aportar algunos detalles sobre su funcionamiento desde el punto de vista del usuario final de la aplicación.
La primera y gran dificultad que se ha encontrado al comenzar a usarla es que no está traducida al español, con lo que una persona que no conozca la lengua inglesa se encuentra con esta barrera idiomática. Se ha intentado solventar este problema en el menú de configuración de IOS añadiendo accesos directos de Siri para las diferentes funcionalidades de la aplicación. De esta forma, se ha grabado en español una frase corta que identifica la funcionalidad que se quiere, por ejemplo, “reconocer texto”. Una vez pronunciada la frase “Oye Siri, reconocer texto”, la aplicación se ejecuta en primer plano en su función de reconocer texto. Esto consigue solventar el problema de moverse por los menús en inglés. Con funcionalidades de texto se comporta bastante bien puesto que el resultado sí se lee en español. Pero con otras funciones, como reconocer escenas u objetos, no es útil ya que los resultados se verbalizan en inglés.
Respecto a la identificación de texto le ha parecido muy buena y fiable, especialmente con los textos impresos a varias columnas donde es capaz de detectarlas y seguir el orden de lectura. Sin embargo, en cuanto a la escritura manual la aplicación no consigue una alta fiabilidad, particularmente con la identificación de textos escritos en letra minúscula.
Los colores y billetes son identificados con buena precisión, aunque el resultado se verbaliza en lengua inglesa. Por su parte, las caras también se identifican con BUENA EXACTITUD.
La identificación de productos mediante el código de barras ha presentado algunos inconvenientes, pero probablemente es debido a que no todos los productos de un supermercado se encuentran registrados en su base de datos, por lo que solo ha sido posible identificar algunos de los productos a través de los códigos de barras.
En general, a nuestro voluntario Andrés le ha parecido una aplicación de referencia para llevar siempre instalada, aunque está deseando que llegue pronto una actualización que traduzca la aplicación al español, y facilite así su uso en este idioma.

  • Impact and utility: 5 sobre 5(5/5)
    5
    Describe en qué medida las funcionalidades del producto son útiles e impacta en la mejora de vida de la persona usuaria
  • Usability and accessibility: 4 sobre 5(4/5)
    4
    Posibilidad del dispositivo para ser utilizado, entendido y aprovechado en igualdad de condiciones para cualquier persona
  • Design and ergonomics: 4 sobre 5(4/5)
    4
    Valoración de cómo el diseño de la solución tecnológica se adapta a la persona para lograr una mayor comodidad y eficacia al utilizarlo
  • Ease of acquisition: 4 sobre 5(4/5)
    4
    Hace referencia a las posibilidades de acceder y adquirir una solución tecnológica por parte de la persona usuaria

Facebook comments

Orientatech comments

0 Comments
CAPTCHA
This question is for testing whether or not you are a human visitor and to prevent automated spam submissions.
Fill in the blank.

Polls

¿ Sobre qué tipo de productos tiene más interés en que publiquemos análisis?