Utilizar experimentos para lanzar nuevos productos

Ahora más que nunca, los directivos utilizan ensayos controlados aleatorios a gran escala (es decir, experimentos) para orientar sus decisiones. Esto ha reportado impresionantes beneficios a organizaciones que van desde Amazon hasta el gobierno del Reino Unido. Estamos entusiasmados con el auge de los experimentos en las organizaciones y hemos pasado gran parte de los últimos años pensando en cómo diseñarlos e interpretarlos. Al mismo tiempo, hemos visto que la experimentación sigue siendo desigual entre las organizaciones y dentro de ellas, y muchas empresas luchan por encontrar formas de iniciar o ampliar la experimentación. Una forma sencilla y a menudo pasada por alto para que las grandes empresas experimenten consiste en aleatorizar la introducción de nuevos productos en un conjunto de mercados. Para ver cómo esto puede ser valioso, considere cómo Uber lanzó su servicio Express Pool en 2018. En ese momento, la empresa ya contaba con UberPool, un servicio que permite a los pasajeros que se dirigen en la misma dirección compartir viajes y costes. Con UberPool, los pasajeros son recogidos y dejados donde quieran, al igual que con otros servicios de Uber. Pero con el servicio Express Pool, que cuesta incluso menos que UberPool, por lo general se pide a los pasajeros que recorran distancias cortas para encontrarse con sus viajes y llegar a sus destinos. En 2018, en vísperas del lanzamiento de Express Pool, Uber encargó a uno de nosotros (Duncan, que dirige un grupo de economistas y científicos de datos dentro de la empresa) que evaluara las probabilidades de éxito. ¿Cuántos usuarios optarían por él y cómo afectaría el servicio al ecosistema más amplio y complejo de Uber? Para responder a estas preguntas, Duncan y su equipo llevaron a cabo un experimento, lanzando Express Pool en seis grandes mercados y comparando después las métricas de las ciudades de lanzamiento con las de otras. Aprovechando los últimos avances en métodos experimentales -especialmente un método estadístico que permitía a Uber utilizar una combinación ponderada de otras ciudades para formar un grupo de control "sintético" más adecuado-, el equipo pudo desentrañar las formas en que el lanzamiento estaba influyendo en el uso de Uber. Como era de esperar, Express Pool creó nuevos tipos de coincidencias de viajes. Pero el experimento también tuvo en cuenta el efecto que Express Pool tenía sobre los productos Uber existentes y dejó claro que su lanzamiento tendría sentido desde el punto de vista empresarial. Como resultado, Uber pudo introducir con confianza Express Pool en muchos de sus principales mercados. Esta confianza, y el hallazgo que la inspiró, no habrían sido posibles sin el experimento. Ahora abundan los mercados en línea, desde Uber y Airbnb hasta Rover y Tinder. Y Uber no es la única de estas empresas que recurre a experimentos a nivel de mercado para probar nuevos productos e innovaciones. Airbnb (donde Jeff solía trabajar como científico de datos) realizó recientemente un exper imento para probar el impacto de un nuevo diseño de página de aterrizaje en la clasificación y el tráfico en los motores de búsqueda. Para llevar a cabo el experimento, Airbnb aprovechó el hecho de que disponía de páginas de destino con URL diferentes para los distintos mercados (San Francisco, Boston, Nueva York, etc.). Esto significaba que podían aleatorizar las diferentes URL para incluir o no el nuevo diseño, aislando así el efecto del diseño en el tráfico de los motores de búsqueda. Y al hacerlo pudieron demostrar que el nuevo diseño era un éxito: la nueva página de aterrizaje, resultó, estaba impulsando un aumento de ~3,5% en el tráfico de búsqueda, una mejora correspondiente a decenas de millones de visitantes incrementales al día para la plataforma. Basándose en estos resultados, Airbnb lanzó el nuevo diseño para todos los mercados. No sólo las empresas de IT pueden utilizar experimentos a gran escala para probar nuevos productos e innovaciones. Pensemos en lo que podría hacer una cadena de restaurantes a la hora de decidir si ofrece un nuevo sándwich de pavo y aguacate. Un enfoque tradicional para una decisión como ésta podría ser lanzar el sándwich en un par de tiendas elegidas estratégicamente, realizar algunos grupos de discusión y estudiar las ventas históricas de otros productos. Si a la gente parece gustarle el bocadillo en esas tiendas, la empresa podría lanzarlo en todas sus tiendas y esperar que tenga éxito a nivel nacional. Este tipo de enfoque permitiría comprender mejor el problema, pero tiene importantes limitaciones. Por ejemplo, sería difícil saber si el nuevo bocadillo desplazó a otras compras. Y sería difícil saber si aumentó el número total de clientes. Si la cadena complementara este enfoque con un ensayo aleatorio a gran escala, extendiendo el sándwich a un conjunto de mercados seleccionados al azar, podría aprender mucho más sobre los efectos que la adición del sándwich podría tener en general sobre las ventas (tanto de los productos nuevos como de los ya existentes), la retención de clientes y su satisfacción. Hemos visto empresas que pierden importantes oportunidades de experimentación, y hemos visto experimentos que adolecen de problemas de aplicación e interpretación. Para las empresas que deseen probar nuevos productos de forma experimental, he aquí algunas pautas para empezar: 1) Decida qué métricas le importan más y, a continuación, formule hipótesis sobre cómo podrían comportarse. Invierta en la recopilación de datos y decida por adelantado qué resultados experimentales constituirán un éxito o un fracaso. Cree un mapa desde los datos hasta las decisiones. Recuerde que es estupendo que más personas compren un producto, pero no lo es tanto que esto provoque más llamadas al servicio de atención al cliente. 2) Elija un subconjunto aleatorio de mercados (por ejemplo, regiones, ciudades o franquicias) en los que lanzar el producto. Los resultados de la experimentación a nivel de mercado suelen ser ruidosos, así que una vez que tenga en mente un conjunto de mercados, piense detenidamente si podrá detectar los efectos que espera. (Los cálculos de potencia requieren muchas suposiciones, pero pueden ayudarle a averiguarlo). 3) Asegúrese de hacer un seguimiento no sólo de si su nuevo producto funciona, sino también de cómo afecta su lanzamiento a los productos existentes. Express Pool por sí solo puede parecer un éxito, pero si no hace crecer suficientemente el mercado global de los viajes, probablemente sea menos valioso de lo que parece. Del mismo modo, cuando Airbnb lanza nuevos productos, la empresa tiene que pensar en cómo se ven afectadas las reservas a través de los productos existentes. Y cuando Starbucks lanzó sus bocaditos de huevo sous vide (si no los ha probado, ¡le recomendamos que lo haga!), tuvo que considerar no sólo las ventas de los bocaditos de huevo, sino también si desplazaban a otros elementos del menú. 4) Asegúrese de que entiende por qué su producto está teniendo éxito o fracasando. Las métricas de primera línea, como los ingresos y las ventas, no cuentan toda la historia. ¿Está el nuevo producto mejorando los resultados para algunos tipos de clientes mientras que los perjudica para otros? ¿Ayuda el nuevo producto a una parte de su embudo de adquisición pero perjudica a otra? ¿Estos movimientos concuerdan con su hipótesis previa al experimento? Comprender por qué se ha movido una métrica puede ayudarle no sólo a tomar una decisión de lanzamiento, sino también a entender cómo innovar dentro de un espacio de producto.

Utilizar experimentos para lanzar nuevos productos

Resumen.

Partner Center