Elegir las métricas adecuadas para medir la Experiencia de usuario de un producto o servicio no es fácil.
Las métricas básicas de tráfico (como las vistas de páginas o el número de usuarios únicos) son fáciles de obtener y sirven para tener una base de referencia sobre cómo funciona a lo largo del tiempo el producto, pero a menudo no son muy útiles para evaluar el impacto de los cambios UX ya que suelen ser muy generales, costando relacionarlas directamente con la calidad de la experiencia del usuario ni con los objetivos del proyecto.
Kerry Rodden escribió este fántastico artículo donde nos cuenta como encontraron en Google un framework para medir la experiencia de usuario llamado HEART, que puede ser aplicados desde a todo el producto/servicio hasta una característica específica:
- Happiness (Felicidad): Medidas de las actitudes de los usuarios, a menudo recopiladas mediante encuestas, como la satisfacción, la facilidad de uso percibida, el NetPromote Score (NPS)…
- Engagement (Compromiso): Medidas del nivel de participación del usuario. Se puede medir con las fotos que sube al día, si comparte contenido de otras personas, el número de visitas que ese usuario realiza a la semana…
- Adoption (Adopción): Se mide la obtención de nuevos usuarios, cuanto usuarios nuevos se registran cada 7 días, el procentaje de compras realizadas por nuevos usuarios, cuanta gente se ha bajado la nueva versión…
- Retention (Retención): Se mide como de rápido vuelve un usuario a usar nuestro producto o servicio. Se consigue a través de métricas tales como el número de usuarios activos, la tasa de renovación o falta de retención (churn)…
- Task succes (Tasa de éxito): Medida de la eficiencia, efectividad y tasa de error. Se basa en establecer goals en nuestro producto y medirlos, como por ejemplo el tiempo de creación del perfil completo, si encuentran algo que buscan…
Si tu proyecto no lo necesita no es necesario que crees métricas de todas las categorías.
Por ejemplo, el nivel de retención o compromiso del «Programa Padre de Hacienda» puede no ser significativo ya que es un programa de uso obligado para realizar la declaración de la renta que sólo se usa una vez al año.
En este caso, se puede optar por centrarse más en la felicidad o el éxito de la tarea. Pero todavía puede ser significativo considerarlo en alguna característica específica del producto.
Goals-Signals-Metrics process
Lo complicado, ya que no es un proceso automático igual a todos los proyectos, es encontrar las métricas para cada categoría.
Imagen propiedad de Digital Telepathy’s.
Para encontrar ese conjunto (pequeño) de métricas clave por las cuales el equipo se preocupa, lo primero que hay que hacer es definir los objetivos o metas (goals) que se quieren conseguir. Definirlos claramente puede venir además bien para que todo el equipo tenga en mente los mismos objetivos, construyendo un consenso acerca de hacia dónde se dirige y aumentando asi la implicación de todos en la misión.
Como comenta Rodden, los objetivos generales de la web pueden ser unos, pero los de una «feature» en particular pueden ser muy diferentes.
Por ejemplo, en YouTube, uno de los objetivos más importantes era la categoría de compromiso: los usuarios tienen que disfrutar de los videos que ven para que asi sigan descubriendo más videos y canales. En cambio para el buscador de Youtube, un objetivo está en la categoría «Task-succes», al observar el procentaje de acierto que consiguen cuando un usuario realiza una búsqueda.
Lo siguiente es relacionar cada objetivo con una señal que nos permita mirar como evoluciona.
¿Cómo se manifiesta en el comportamiento de los usuarios el éxito o el fracaso de un objetivo?
Algo que nos indica que no se está cumpliendo el objetivo del buscador (señal de error), podría ser cuando el usuario realia una consulta pero no hace clic en ninguno de los resultados.
Suele haber un gran número de señales que pueden ser útiles para un objetivo particular por lo que puede darse el caso que tenga que elegir para seleccionar las que crea más adecuadas.
Como queremos medir la mejora en la Experiencia de usuario, es conveniente elegir las señales que puedan ser sensible a los cambios en su diseño.
Una vez que tenemos las señales, se definen en métricas que seguiremos con el tiempo o que utilizaremos para su testeo en pruebas A/B. En el ejemplo expuesto por Rodden, de participación de YouTube, la señal «cuánto tiempo los usuarios pasan viendo videos» podría pasar a ser la métrica «promedio de minutos que pasan viendo videos por usuario por día».
Como en el paso anterior, puede haber muchas métricas posibles dada una señal. Con los datos recopilados, lo mejor es analizarlos y rastrear las métricas relacionadas con los objetivos principales.
Se debe evitar la tentación de agregar «estadísticas interesantes»
Tenemos que hacernos las siguientes preguntas, ¿realmente usaremos estos números para tomar decisiones? ¿Los necesitamos todo el tiempo, o basta con una instantánea actual? Se pueden medir infinitas cosas, pero necesitamos focalizarnos en aquellas métricas estrechamente relacionadas con los objetivos para evitar sobre esfuerzo en cosas inutiles que solo añaden ruido.
Te dejo aquí los links a los artículos originales:
- Articulo original de Google Ventures,How to choose the right UX metrics for your product.
- Explicación animada del artículo «How to choose the right UX metrics for your product»
- El link al artículo académico Measuring the User Experience on a Large Scale: User-Centered Metrics for Web Applications, escrito por Rooden junto a Hilary Hutchinson y Xin Fu, para ACM CHI 2010.