Criterios de prueba

Las pruebas de los productos para su publicación en el portal OrientaTech son llevadas a cabo desde dos puntos de vista:

  • Verificación técnica, llevada a cabo por personal con conocimiento técnico tanto Hardware como Software y especialistas en su aplicación en el campo social.
  • Validación social de los productos, llevada a cabo por voluntarios y usuarios finales del producto con necesidades reales de uso.

Verificación técnica

A la hora de establecer el procedimiento de verificación técnica, es necesario remarcar que no existe un procedimiento estándar para la valoración de productos de tecnologías sociales debido a que estas tecnologías abarcan diversas funcionalidades y aplicaciones, no obstante, se ha desarrollado una metodología de pruebas definida según el tipo de tecnología o producto.

Esta metodología está basada en la verificación de unos criterios generales para poder acotar las pruebas.

Los criterios de verificación están apoyados en unos indicadores que permiten registrar un nivel de cumplimiento de los criterios por parte de los dispositivos o aplicaciones.

 

Criterios de verificación

Los principales criterios de verificación técnica son los que se enumeran a continuación:

  • Fiabilidad: Probabilidad de que un sistema o dispositivo cumpla una determinada función bajo ciertas condiciones durante un tiempo determinado.
  • Seguridad: Es una combinación de otros criterios tales como Autenticidad, Confidencialidad, Integridad y Disponibilidad que en definitiva garantizan la no vulnerabilidad de un sistema.
  • Usabilidad: Es la capacidad del producto de ser entendido, aprendido, y usado de forma fácil y atractiva.
  • Funcionalidad: Es la capacidad del producto de cumplir y proveer las funciones para satisfacer las necesidades explícitas e implícitas cuando es utilizado en condiciones específicas.
  • Robustez: Hace referencia a la calidad de los materiales y su posibilidad de perdurar a lo largo del tiempo.
  • Madurez: Tiempo que el producto lleva en el mercado de una manera estable y sostenible.
  • Rendimiento: Tiempo y capacidad de respuesta de la solución tecnológica.
  • Escalabilidad: Capacidad de un sistema para cambiar su dimensión o configuración para adaptarse a las circunstancias cambiantes.
  • Sostenibilidad: Posibilidad de mantenerse a largo plazo funcionando sin las dependencias de partes terceras.
  • Portabilidad: Tener la capacidad de ser ejecutado en diferentes plataformas, con diferentes dispositivos hardware y sistemas operativos.
  • Comprensibilidad: El diseño del producto y aplicación está basado en elementos o palabras, imágenes y formas que sirven para comprender su funcionamiento.
  • Facilidad de adquisición: confirma si el producto está disponible o no en el mercado.
  • Facilidad de instalación y configuración: Determina el grado de dificultad en el proceso de instalación y configuración iniciales.
  • Accesibilidad: Valora el grado en que el producto es accesible para personas con dificultades básicas de acceso.
  • Consumo: determina el consumo eléctrico y duración de la batería en el caso de dispositivos portátiles.
  • Peso y dimensiones: determina las características físicas principales del producto.

 

Personal técnico

El equipo encargado de gestionar esta verificación de índole tecnológica, está formado por ingenieros especializados en la aplicación social de las tecnologías de la Fundación TECSOS y Fundación Vodafone España.

En función del tipo de dispositivo que se verificque, se consideran distintos aspectos y se propone que cada área esté liderada por personas de referencia distintas.

 

Metodología de pruebas

Las pruebas se realizan de forma uniforme, coherente, consistente, objetiva y conforme a la normativa establecida.

Se evalúan a través de unas listas de verificación previamente definidas en función del dispositivo que se esté revisando.

Se evalúa mediante un baremo los distintos criterios de verificación donde cada parámetro es valorado entre 1 y 5 puntos y genera una puntuación media definitiva.

Se realiza un informe de verificación técnica con las conclusiones obtenidas según los criterios valorados, los problemas encontrados y las recomendaciones que se proponen, destacando puntos de mejora y puntos destacables en definitiva que la solución aporta técnicamente.

 

Entorno de pruebas

Las pruebas se realizan en un espacio de laboratorio destinado a tal efecto equipado con dispositivos calibrados que permiten realizar distintas medidas para estimar los parámetros anteriormente citados en el apartado de criterios de verificación.

 

Validación social

En paralelo a la verificación técnica realizada por personal del ámbito tecnológico se facilitará el producto a través de voluntarios de CRE y otras asociaciones a usuarios finales con necesidades similares a los usuarios reales y potenciales clientes del producto.

De esta forma se pretende realizar una validación de los productos en su aplicación en un entorno real y evaluar las sensaciones que tienen los usuarios durante su uso.

 

Criterios de validación

Los principales criterios de validación social son los que se enumeran a continuación:

  • Usabilidad: Es el grado de eficacia, eficiencia y satisfacción con la que usuarios específicos pueden lograr objetivos específicos, en contextos de uso específicos. Depende de los perfiles de usuarios finales del producto, el dispositivo, servicio o aplicación.
  • Utilidad: Es la característica que verifica que el dispositivo en realidad cubre la funcionalidad que se tiene previsto que cubra.
  • Coste: Precio de la solución. Y adecuación del precio a las especificaciones ofrecidas.
  • Comprensión: Este criterio define la comprensión de la solución tecnológica que se está validando, las personas que lo validan deben entender los procesos que “ocurren” durante el uso del producto, en la media en que estos requieren de una respuesta por parte del usuario.
  • Sensación de Seguridad/confiabilidad: Esta característica determina la percepción de seguridad que ofrece la herramienta. Es decir, más allá de si la tecnología cumple con unos estándares u otros de seguridad, describe la sensación que una persona tiene respecto al producto, si considera que sus datos pueden ser vulnerables, si alguien “ve” lo que está haciendo, etc…
  • Diseño/ergonomía: Opinión respecto al diseño distanciada de la parte de usabilidad, es decir, sólo la referencia a “me gusta”, “es amigable”, se adapta físicamente al usuario, etc…
  • Impacto: Es un resumen del efecto del conjunto de los anteriores criterios sobre el usuario final, en definitiva refleja en que medida cambia la vida del usuario gracias al uso de este producto.

 

Personal de valoración social

La validación de los productos y servicios que se probarán y analizarán desde la Fundación TECSOS busca una visión completa del funcionamiento del mismo.

De forma complementaria al personal técnico, equipos de personas voluntarias y de organizaciones de carácter social, son involucrados en pruebas de mayor alcance, donde se evalúa el impacto en usuarios reales.

Por tanto, sólo es necesario ponerse en el lugar de “clientes” del producto, y guiados por unos puntos de verificación y cuestionarios de evaluación, se comprueba el grado de eficacia, eficiencia y satisfacción con la que se puede utilizar con éxito los dispositivos diseñados.

Las figuras de personas “probadoras” son, por una parte, voluntarios de Cruz Roja Española y por otra, colectivos de personas mayores, con discapacidad u otros colectivos de interés.

 

Metodología de pruebas

Las pruebas serán llevadas a cabo en forma de Sesiones de validación con personas usuarias dentro de laboratorio en algunos casos y pruebas de mayor calado de larga duración en entornos reales en otros casos.

El sistema de puntuación para los criterios de validación social es análogo al de verificación social de tal forma que se evalúa mediante un baremo los distintos criterios de verificación, donde cada parámetro es valorado entre 1 y 5 puntos y se genera una puntuación media definitiva.

Se realiza un informe de validación social con las conclusiones obtenidas según los criterios valorados, los problemas encontrados y las recomendaciones que se proponen, destacando puntos de mejora y puntos destacables que la solución aporta a los usuarios.