Pruebas cuantitativas frente a cualitativas: validar nuestros pasos

Probar el producto con los usuarios no es sólo asegurarse de detectar fallos fatales en el diseño. Sí, queremos identificar las áreas en las que las cosas van mal y solucionar cualquier problema. Dicho esto, las pruebas de usuario son mucho más que tener un producto funcional. Se trata de maximizar el retorno de la inversión de todos y elevar el diseño hasta que todos estén contentos con el rendimiento.

Las pruebas cualitativas y cuantitativas son dos caras de la misma moneda. Ambos buscan perfeccionar el diseño poniendo cara a cara a los usuarios y el producto. Pero aparte de esa crucial línea de fondo, ambos métodos difieren enormemente. Uno pretende llegar a los rasgos individuales de cada user persona, fijándose en las pequeñas cosas y entablando una conversación sobre la experiencia. El otro analiza las tendencias generales y busca las áreas problemáticas, analizando el comportamiento colectivo de los usuarios. ¿Qué ofrece cada uno? ¿Todos los proyectos necesitan ambos métodos?

Una prueba de usuario cualitativa consiste en reunir conocimientos de primera mano sobre cómo interactúan los usuarios con el producto o prototipo. La atención se centra en la calidad de los conocimientos que reúnes, haciendo hincapié en cómo evolucionan las emociones y expectativas del usuario a lo largo de la experiencia. Esto es lo que la mayoría de nosotros hacemos en el desarrollo de cualquier producto, como las buenas y viejas entrevistas y la observación de la realización de tareas. Es cierto que la mayoría de los métodos para probar diseños son, de hecho, cualitativos. Se trata de captar los detalles, de llegar lo más lejos posible con los recursos de que dispongas. La mayoría de los equipos dedicarán mucho tiempo, dinero y esfuerzo a los mapas de calor, cuestionarios, pruebas A/B, etc. Aquí es cuando quieres adentrarte en cómo se sintieron los usuarios, los problemas que experimentaron y sus comentarios, junto con sus pensamientos todo el tiempo (el llamado protocolo think-aloud).

Por otro lado, una prueba de usuario cuantitativa busca la fuerza en los números. Se trata de encontrar puntos débiles y fugas en la experiencia captando tendencias en el comportamiento de los usuarios. Una prueba cuantitativa requiere un gran volumen de usuarios que la realicen, lo que hace que el esfuerzo sea generalmente más caro. En teoría, prácticamente cualquier tipo de prueba de usuario puede ser cuantitativa. Por lo general, los métodos que utilizamos para las pruebas cuantitativas suelen estar orientados a las tareas y omiten todas las preguntas individuales, centrándose en el panorama general. Esto significa que, la mayoría de las veces, una prueba de usuario cuantitativa es una prueba no moderada que pretende validar la base clave del diseño. Aspectos cruciales como el diseño de la navegación o el cumplimiento de los requisitos empresariales son temas habituales de estos estudios.

Pero, ¿cuántos participantes hacen una prueba cuantitativa? Como muchas cosas en el mundo del diseño UX, no hay una única respuesta correcta. Algunos equipos considerarán cuantitativo un estudio con 100 participantes. Nuestros amigos del Norman Nielsen Group sugieren que un grupo de más de 35 es aceptable en su artículo sobre métodos de investigación cuantitativa. Esto dependerá de la profundidad de los bolsillos del proyecto, del tiempo de que dispongamos para validar las cosas que necesitemos y de lo avanzado que esté el proyecto en sí. El objetivo principal aquí es identificar las áreas en las que todos los usuarios se comportan de forma similar, como cuando falla el flujo de navegación para una tarea. Para nosotros, en Justinmind, cuando decimos «estudio cuantitativo», tendemos a referirnos a estudios a gran escala con más de 200 participantes. El objetivo final es encontrar tendencias, lo que significa que si tu grupo de participantes es demasiado pequeño, puedes comprometer la precisión estadística de tu prueba.

Las pruebas cuantitativas y cualitativas nunca deben utilizarse indistintamente. Cada una tiene sus aspectos positivos y negativos, y sirven para fines distintos. Una prueba cualitativa acerca al usuario al equipo y busca información a partir de una prueba más personalizada. Sueles tener una conversación real o, al menos, obtener mucho contexto de los usuarios. Después, el equipo revisa lo aprendido de los usuarios y lo aplica al diseño. Se trata de hacer preguntas como por qué y cómo, tomando notas detalladas de lo que piensan los usuarios.

Como hay muchas formas distintas de realizar pruebas cualitativas, desde mapas de calor y pruebas en árbol hasta una simple lista de tareas, aquí hay mucho margen. Cada equipo elegirá sacar el máximo partido de los recursos de que disponga, y muchos de ellos realizarán pruebas constantes de una forma u otra. Este es el tipo de prueba que se puede montar rápidamente, sobre todo cuando no está moderada.

Una prueba cuantitativa se basa en la objetividad y el comportamiento del grupo. No se ocupa de los pensamientos individuales de los participantes, renunciando al contexto en torno a la acción del usuario. Estas pruebas son útiles para identificar las áreas en las que las cosas van mal, pero no nos ayudan a entender por qué es así. Lo único que sabemos es que, en ese punto de la experiencia, muchos usuarios tienen problemas o no consiguen completar sus tareas. Debido al mayor número de participantes en las pruebas cuantitativas, los costes pueden acumularse con bastante rapidez. Además de un precio más elevado, es cierto que no te da mucho contexto sobre las causas de los problemas que encontramos, así que ¿por qué lo hacen los equipos? La respuesta es que si tienes un proyecto grande, como una aplicación bancaria, validar las características cruciales merece la pena. ¿Te imaginas lanzar una aplicación bancaria para una marca como Bank of America o Chase sin asegurarte de que los usuarios pueden hacer lo básico y orientarse en la aplicación?

Para las aplicaciones que tienen que atender a cientos de miles de usuarios, una prueba cualitativa no es suficiente. ¿Y si hay otras user persona que no hemos tenido en cuenta? ¿Y si los grupos que utilizamos para las pruebas cualitativas no van lo suficientemente lejos? ¿Podemos permitirnos pasar por alto algún detalle? Las empresas que realizan pruebas con más de 200 participantes no están dispuestas a correr ningún riesgo.

Pruebas cuantitativas en la práctica: Muchos equipos pasan años sin realizar nunca pruebas cuantitativas. Puede ser excesivo para productos más de nicho, marcas más pequeñas o incluso empresas medianas. Normalmente, las pruebas cuantitativas son para las grandes ligas.

Los métodos para realizar pruebas cualitativas de un producto son ampliamente conocidos por los equipos de diseño. Reconocerás algunos clásicos del mundo de la usabilidad, que los investigadores de UX ponen en práctica cada día.

Tanto en las pruebas moderadas como en las no moderadas, la mayoría de los equipos de diseño tendrán una lista de tareas que los usuarios deben completar. Es cierto que hay todo un mundo por descubrir en lo que respecta a las pruebas moderadas y no moderadas. Pero por ahora, baste decir que cualquiera de los dos es apropiado para las pruebas cualitativas. Lo fundamental es elegir las tareas con cuidado e invertir en una herramienta que te permita obtener mucho contexto e información de cada participante, incluso con pruebas no moderadas.

Generalmente, una prueba moderada implica la interacción cara a cara entre el participante y el moderador. Esto significa que el moderador está allí mismo para oír lo que el usuario piensa y siente, y está preparado para hacer preguntas de seguimiento que revelen más. Observar el lenguaje corporal y las expresiones faciales de los participantes tiene un valor real, lo que constituye una gran ventaja de las pruebas cualitativas moderadas.

Por otra parte, las pruebas no moderadas son más prácticas para los participantes y para el equipo de diseño. No requiere interacción cara a cara en absoluto, lo que disminuye los costes y los obstáculos logísticos de la prueba. Esto abre la puerta a un estudio más amplio, a pruebas más frecuentes y a un proyecto estable que valide cada uno de sus movimientos.

Ambos métodos sirven para validar la arquitectura y estructura generales del producto. En la prueba del árbol, presentamos a los participantes una representación visual sencilla de la arquitectura de la información del producto. Se da a los participantes un elemento o una información y se les pide que lo coloquen dentro de una de las ramas del árbol.

Esto pondrá a prueba la lógica de tu estructura, viendo lo fácil que les resulta a los participantes etiquetar y categorizar la información que se les da. Si tardan demasiado o dudan entre dos etiquetas, esto puede verse como una bandera roja que indica que la arquitectura del producto no es tan lógica y clara como pensábamos. En laclasificación por tarjetas, pedimos lo contrario a los participantes. En lugar de poner los conceptos en etiquetas y categorías que hemos creado para ellos, los usuarios crean sus propias categorías según les parece. Damos a los participantes una serie de tarjetas con elementos o conceptos, que los usuarios deben agrupar de la forma más lógica posible.

Esto apunta no sólo a qué estructura tiene sentido, sino también a los modelos mentales y razonamientos del usuario. Considera una lista de muebles, desde sofás hasta taburetes. El participante uno crea dos categorías: Salón y Dormitorio. El participante dos tiene una visión completamente distinta: se crea dos categorías llamadas Asientos y Mesas. ¿Cuál es más válida para el resto de nuestros usuarios? ¿Todas nuestras etiquetas tienen sentido?

Tanto las pruebas A/B como las multivariantes pueden ser una forma poderosa de mejorar la experiencia del usuario. Toma diferentes versiones de un mismo diseño y trata de comparar cómo reaccionan los usuarios ante ellas. La teoría de las pruebas A/B es muy sencilla: presentamos dos versiones y podemos seleccionar una ganadora según el comportamiento del usuario. Es una forma muy práctica de encontrar la dirección correcta, sobre todo si invertimos en una buena herramienta que tome nota de todo lo que hacen los usuarios y luego nos presente los resultados de forma visual.

Las pruebas multivariantes funcionan de forma similar, pero en lugar de comparar dos versiones diferentes, comparamos varias al mismo tiempo. Puede ser una forma útil de determinar qué tipo de diseño prefieren tus usuarios entre muchas opciones. Dicho esto, ten en cuenta que cuantas más versiones comparemos, más tráfico necesitaremos para que el estudio sea estadísticamente sólido. Esto significa que para grandes estudios multivariantes que pretendan comparar 4, 5 ó 6 versiones, necesitaremos mucho tráfico. Esto hace que la conexión entre las pruebas multivariantes y las pruebas cuantitativas sea muy fuerte.

Ambos métodos pueden configurarse fácilmente con sus respectivas herramientas para crear estudios cuantitativos a gran escala. Además, ambos pueden aportar mucha información sobre cómo procesan y reaccionan los usuarios a tu diseño de interfaz. Recuerda que siempre es una buena idea tener a mano una herramienta profesional de creación de prototipos para crear y comparar diseños rápidamente.

Los estudios de seguimiento ocular consisten en identificar en qué se centran los usuarios. Cuando interactuamos por primera vez con una interfaz, tenemos momentos en los que nuestros ojos se centran en un componente durante el tiempo suficiente para poder procesarlo. También tenemos otros momentos en los que nuestros ojos lo escanean todo, y nos hacemos una idea de lo que nos espera sin llegar a centrarnos realmente en nada.

Los mapas de calor nos dirán en qué partes de la interfaz se centran más los usuarios, traduciendo estos datos en un mapa de calor literal en el que las áreas «calientes» son las que captaron toda la atención de los participantes. Estas áreas calientes son básicamente todo el comportamiento de los participantes sumado en una representación concluyente de aquello a lo que todos dedicaron su atención.

Puedes utilizar las siguientes herramientas de prueba de usuarios para probar tanto productos en vivo como junto con tu herramienta de creación de prototipos, algunas de las cuales tienen integraciones con Justinmind.

Los equipos de investigación de UX de todo el mundo utilizan y adoran UserTesting. Nos encanta que sea una herramienta fiable capaz de almacenar grandes cantidades de datos y presentarlos de una forma visual que podamos comprender.

Entre nuestras funciones favoritas está el Carrete destacado, que permite volver a los puntos importantes de cualquier entrevista con usuarios. Ayuda a los equipos a mirar hacia atrás y detectar las expresiones faciales y el lenguaje corporal de los participantes, lo que la convierte en una herramienta perfecta para la investigación cualitativa. El UserTesting es bastante potente a la hora de atraer a los participantes, incluso cuando se hace a distancia, para que el equipo pueda comprender sus sentimientos y profundizar en sus expectativas.

• Precios: disponibles previa solicitud

Aunque no es tan conocido como el UserTesting, Lookback no debería pasarse por alto como una gran herramienta de pruebas cualitativas. Nos encanta que Lookback también aproveche al máximo las entrevistas en vídeo con los usuarios y las grabaciones de las expresiones faciales de los participantes.

Nos encanta que Lookback permita al equipo de diseño poner marcas de tiempo en las grabaciones de vídeo de las pruebas, lo que facilita mucho la catalogación de cada vez que algo salió mal o un participante se confundió. También ofrece un gran valor para los equipos que están distribuidos por todo el mundo, ya que los miembros del equipo tienen la posibilidad de ver una retransmisión de las grabaciones de las pruebas, estén donde estén.

• Precios: de 49 $/mes a 99 $/mes

A veces, no necesitas una herramienta de pruebas de usabilidad de lujo con una lista interminable de funciones. Las pruebas cualitativas consisten en comprender el proceso de pensamiento de los participantes: entender cómo la interacción con el producto afecta a sus emociones y expectativas. En ese sentido, una herramienta como Zoom puede ser realmente valiosa.

Nos encanta que Zoom sea tan sencillo como puede serlo, con una simple URL que es la dirección de la reunión o sesión de prueba en cuestión. El vídeo mantiene su calidad incluso con una conexión a Internet inestable, donde otras plataformas darían lugar a vídeos entrecortados que nos harían perdernos los detalles. Zoom puede ayudar al equipo de diseño a acercarse a los participantes, lo que constituye una forma sólida de entrevistar y observar a los participantes.

• Precios: Gratuito hasta 100 participantes

FocusVision es una herramienta versátil de pruebas de usabilidad que constituye un material de investigación cualitativa de primer orden. Es ideal para entrevistas en directo y estudios de diarios. Se trata de conseguir que el equipo de diseño entreviste a distancia a los participantes, e incluso permite grupos focales con una mezcla de participantes presentes y a distancia. También es interesante el hecho de que soporta una vista de 360 grados de los participantes en las entrevistas, lo que potencia el contexto que obtenemos de cada entrevista.

Es una herramienta maravillosa que trata de maximizar lo que podemos aprender de cada interacción con los participantes, dando al equipo tanto los medios como la plataforma para recopilar datos.

Precios: Disponible previa solicitud

VWO es un elemento básico en el sector de las pruebas A/B. La herramienta en sí es tremendamente completa, con funciones que permiten realizar pruebas rápidamente y representan una pequeña curva de aprendizaje para los equipos de diseño. La herramienta soporta tanto pruebas A/B sencillas como pruebas multivariantes completas que comparan muchos diseños diferentes.

Los usuarios alaban la interfaz sencilla de la herramienta y SmartStats, la forma visual que tiene la herramienta de traducir los datos que recopila con las pruebas. Con una configuración sencilla y rápida, VWO puede tratar enormes cantidades de datos y facilitar la extracción de conclusiones de todo ello. ¡Es perfecto para las pruebas cuantitativas! Precios: desde 199 $/mes por el paquete de pruebas

Otro nombre bastante importante de esta lista. Userzoom es bastante potente en el sentido de que nos da mucha libertad para orquestar estudios de prueba y nos ayuda a escalarlos. La propia plataforma permite a los equipos traer a sus propios participantes, pero también ofrece la posibilidad de utilizar simplemente su base de datos de participantes: ¡los 120 millones! Es una plataforma perfecta para estudios cuantitativos a gran escala, ya que te ayuda a reclutar a todos los usuarios y a dar sentido a todos los datos que obtengas del estudio.

¿Y aún mejor? Userzoom está totalmente integrado con las mejores herramientas de creación de prototipos, como Justinmind. Combinar el poder de las potentes pruebas cuantitativas y la creación de prototipos de alta fidelidad puede impulsar cualquier proyecto de UX, consiguiendo un diseño cuidadosamente validado en todo momento. Precios: disponibles previa solicitud

Las pruebas cuantitativas consisten en observar las tendencias comunes del comportamiento. Eso incluye todo tipo de métodos de prueba que podamos escalar, incluidas las encuestas. Menos esclarecedoras que las entrevistas exhaustivas con los usuarios, las encuestas pueden ser reveladoras cuando se analizan en bloque. Por eso decidimos incluir SurveyMonkey, una herramienta de encuestas muy utilizada.

Esto abre la puerta a encuestas sobre cómo se sienten los usuarios con respecto a un determinado diseño, sobre la idea de la solución e incluso sobre las principales características del producto. En ese sentido, una simple herramienta de encuesta puede ayudarnos a encontrar el camino correcto. ¿Lo mejor? Sus encuestas son fáciles de elaborar y aún más fáciles de compartir. Es una herramienta muy útil para tener en tu caja de herramientas cuantitativas. Precios: Plan gratuito disponible, plan Flex a partir de 22 $/mes

Hotjar es una herramienta muy flexible que sin duda añade valor a cualquier proyecto. Pensado como una herramienta de seguimiento para productos existentes, es un gran aliado cuando se trata de pruebas cuantitativas. Hotjar facilita el trabajo de los mapas de calor, pero también ofrece otras funciones que pueden ofrecer lo mejor de ambos mundos: funciones cuantitativas y cualitativas.

Centrándonos en funciones más cuantitativas, nos encanta la función de mapas térmicos de la herramienta, que incluye mapas térmicos de clics, desplazamientos y toques. También nos gustan las funciones de sondeo y encuesta, que también apuntan a un gran poder cuantitativo. Como guinda del pastel de las pruebas, la herramienta también soporta entrevistas y grabaciones de sesiones. Precios: Plan gratuito disponible. Precios a partir de 29 $/mes.

Probar el diseño de un producto no consiste sólo en que el producto funcione. Tanto las pruebas cualitativas como las cuantitativas pretenden revelar los puntos débiles del diseño, ayudando al equipo de diseño a comprender lo que piensan y sienten los usuarios. Las pruebas cualitativas equivalen a colocar una lupa sobre la experiencia del usuario, tratando de comprender incluso los detalles más pequeños. Examina las expectativas y sentimientos individuales de los participantes, creando una imagen más definida de lo que realmente quiere el usuario final. Con los métodos de prueba clásicos que conocemos y amamos, la mayoría de las pruebas de usabilidad que hacemos son cualitativas.