Medir el rendimiento de su algoritmo

Un minorista estadounidense gastaba 50 millones de dólares al año pujando por un millón de palabras clave en Google. Este gasto generó 500 millones de dólares en ventas (lo que equivale a un ROAS, o rendimiento del gasto publicitario, de 10). Estaban muy satisfechos con los resultados y planeaban aumentar su gasto. Pero cuando ayudé al minorista a analizar el rendimiento a nivel de palabras clave, descubrimos un panorama diferente: Aunque el rendimiento general era bueno, estaban gastando 7 millones de dólares al año en miles de palabras clave de cola larga que generaban cero ventas. Enterrado en su algoritmo de pujas de Google había un parámetro que determinaba cuánto gasto era aceptable antes de poner en pausa una palabra clave específica. Simplemente cambiando el valor de este único parámetro, la empresa ahorró 7 millones de dólares al año sin ningún impacto en las ventas. Resulta tentador, cuando nos enfrentamos a millones de palabras clave, recurrir a una media agregada simplificada como el ROAS (que es, al fin y al cabo, el objetivo aquí). Pero fijarse en los resultados agregados es insuficiente para gestionar y optimizar un algoritmo que funciona a nivel atómico. Para ello, necesitamos un nuevo enfoque para comprender y gestionar el rendimiento de los algoritmos. La digitalización requiere algoritmos Las empresas solían operar a nivel agregado porque los mecanismos de que disponían eran contundentes, pero las tecnologías digitales permiten ahora microdecisiones quirúrgicas en toda la empresa. El volumen de estas decisiones requiere automatización, y los algoritmos definen los supuestos, los datos y la lógica que determinan cómo se toman las microdecisiones. Estos algoritmos son cada vez más omnipresentes en las empresas impulsadas digitalmente, y toman decisiones en una amplia gama de ámbitos, como la fijación de precios, las promociones, la asignación de inventarios, la cadena de suministro, la programación de recursos, la toma de decisiones sobre créditos, el fraude, el marketing digital, los pedidos de clasificación de productos, las recomendaciones y la personalización. Una característica común de estas decisiones es que tienen cierta incertidumbre inherente que obliga a realizar un compromiso. Por ejemplo, las decisiones de marketing digital tienen un compromiso volumen-beneficio. Las decisiones sobre la cadena de suministro tienen un compromiso entre desperdicio y disponibilidad. Las decisiones relativas a los recursos tienen un compromiso entre servicio y coste. Los líderes empresariales reconocen la necesidad de gestionar y optimizar estos nuevos sistemas de decisión, tanto para navegar por las compensaciones como para impulsar la mejora continua. ¿Pero cómo? Las métricas y los KPI son el mecanismo de control de la gestión, pero los enfoques tradicionales de la elaboración de informes no funcionan para estas nuevas decisiones impulsadas por algoritmos, como explicamos a continuación. La anatomía de un algoritmo Para gestionar un algoritmo de decisión, hay que empezar por entender cómo está construido. Es útil desglosar las características de un algoritmo en 4P, y destacar las compensaciones que hay que hacer en cada una: Finalidad: ¿Cuál es el objetivo del algoritmo? Defina el objetivo principal, y cualquier barrera o restricción. Normalmente existe un compromiso entre la selección de un objetivo empresarial complejo (por ejemplo, el beneficio) y un objetivo indirecto o más simple, más aislado (por ejemplo, el ROAS). Por ejemplo, elegir maximizar las ventas dentro de los límites de ROAS o maximizar el beneficio conducirá a una lógica de decisión muy diferente. Precisión:¿Hasta qué punto es personalizada la microdecisión? Por ejemplo, para el minorista que puja por millones de palabras clave, ¿debería fijar un único objetivo de ROAS para todas las palabras clave, o millones de objetivos "personalizados" a nivel de palabra clave, o algo intermedio? La disyuntiva está en la gestión: ¿Merece la pena el esfuerzo de los recursos humanos necesarios para establecer estrategias a nivel atómico? Predicción:¿Cómo se modela la incertidumbre? Puede tratarse de una simple extrapolación o de un modelo AI/ML extremadamente complejo. Además, los modelos de predicción pueden simplificarse a medida que las microdecisiones se hacen más frecuentes. Por ejemplo, una aerolínea europea solía fijar los precios semanalmente y había desarrollado modelos de previsión muy sofisticados para predecir las tasas de ocupación. A medida que evolucionaron, sus precios pasaron de ser semanales a cada pocos minutos, y pudieron responder a la demanda real en lugar de necesitar modelos de predicción. En este caso, hay que elegir entre la precisión de las previsiones, la interpretabilidad y la frecuencia de las decisiones. Política:¿Cuáles son las reglas/lógicas/matemáticas que determinan la microdecisión real? El compromiso aquí es entre un algoritmo sencillo y fácil de entender y una fórmula más compleja que ofrezca un mejor resultado pero que sólo puedan entender los expertos. Por ejemplo, podríamos definir las pujas por palabras clave con una regla sencilla o con una fórmula de regresión compleja. Estos ejemplos dan vida al concepto de "satisficing " desarrollado por el economista Herb Simon, ganador del premio Nobel: la elección entre encontrar soluciones óptimas para un mundo simplificado o encontrar soluciones satisfactorias para un mundo más realista. No existe el algoritmo "perfecto". Pero ahora disponemos de los datos y las herramientas para pensar de forma diferente y encontrar soluciones "suficientemente buenas" para el mundo real. Como hemos visto, la naturaleza de los algoritmos requiere nuevos tipos de compromiso, tanto a nivel de microdecisiones como a nivel de algoritmos. Un papel crítico para los líderes es navegar por estas compensaciones, tanto cuando se diseña el algoritmo, como de forma continua. Mejorar los algoritmos es cada vez más una cuestión de cambiar reglas o parámetros en el software, más parecido a afinar los mandos de un ecualizador gráfico que a rearquitar una planta física o desplegar un nuevo sistema IT. La nueva métrica de los algoritmos A menudo se trata a los algoritmos con una reverencia inmerecida: Como son inteligentes, deben estar en lo cierto. Y en muchos casos, los algoritmos han supuesto una enorme mejora respecto a "lo que se hacía antes". Pero este tipo de sesgo cognitivo puede adormecer a los directivos en una falsa sensación de complacencia. Las métricas son fundamentales para medir el rendimiento de los algoritmos, pero también para poner de relieve las oportunidades de mejora y, en particular, dónde las compensaciones pueden ser subóptimas. La diferente naturaleza de los datos creados por estos sistemas de decisión digitales motiva un nuevo enfoque. Los métodos tradicionales para definir las métricas se centran en el control de la gestión y la percepción se considera una actividad ad hoc aparte. Pero ahora las métricas pueden diseñarse para impulsar un ciclo de mejora continua y, a medida que aumenta la velocidad de los informes, pueden crear bucles de retroalimentación cada vez más autónomos. Esto requiere un cambio de mentalidad para los directivos acostumbrados a las reuniones semanales de gestión en las que sus colegas explican el rendimiento. Otra complejidad es la interdependencia creada por la atomización, que requiere una medición del rendimiento que atraviese los silos. Por ejemplo, en el mundo predigital los responsables del marketing minorista podían medir el rendimiento de la publicidad en televisión independientemente del rendimiento de las ventas de los precios y las promociones. Ahora, la publicidad en Google (determinada por un algoritmo de marketing) dirige el tráfico directamente a los productos e interactúa con las decisiones de precios y promociones (determinadas por un algoritmo de ventas). Medir el rendimiento de cada algoritmo de forma independiente puede ofrecer una visión engañosa. Hay tres adaptaciones críticas de las métricas a la hora de gestionar el rendimiento de los algoritmos: De las métricas descendentes a las ascendentes Tradicional : objetivos corporativos en cascada hacia abajo en silos funcionales. Nuevo enfoque: las métricas de bajo nivel necesarias para evaluar los algoritmos deben enrollarse a los KPI corporativos. De los resultados a las métricas de entrada Tradicional: métricas centradas en los resultados centradas en agregados y promedios. Nuevo enfoque: métricas centradas en los insumos y centradas en las distribuciones y la eliminación de promedios. En el mundo predigital, el reto consistía en gestionar "hasta la media" y manejar los valores atípicos. Ahora la atomización permite a las empresas explotar la heterogeneidad y aprovechar los valores atípicos. De los informes a las métricas procesables Tradicional : mentalidad de elaboración de informes, con informes estáticos que requieren revisión e interpretación humanas. Nuevo enfoque: orientado a la acción, reconociendo que a medida que se reduce la latencia desde la decisión hasta el conocimiento, se crea la oportunidad de semiautomatizar o automatizar por completo un bucle de retroalimentación. Cómo gestionar su algoritmo Entonces, ¿qué hacer? A continuación se presenta un enfoque de seis pasos para gestionar algoritmos y definir qué medir y supervisar. Un aspecto central de este enfoque es averiguar dónde están los residuos midiendo los estados de fallo. Estos son críticos para supervisar el rendimiento, priorizar las mejoras y comprender si las acciones están mejorando el rendimiento. 1. Definir el objetivo de la empresa. Es fundamental identificar el objetivo empresarial sobre el que influye el algoritmo. Puede ser el beneficio, el retorno de la inversión o el valor de la vida útil del cliente. Por ejemplo, un minorista decidió que el valor del ciclo de vida del cliente era el objetivo de su algoritmo de marketing digital. 2. Identifique el nivel atómico. Comprenda el nivel en el que se está tomando actualmente la microdecisión y cuál es el nivel más bajo en el que sería posible tomar esa decisión. Por ejemplo, un minorista estaba pujando a nivel de palabra clave, pero reconoció que era posible pujar en función de la geografía, el dispositivo, la hora del día y otras características del cliente. 3. Defina el éxito/los límites de seguridad. Determine su rendimiento aceptable. Esto siempre será un juicio para el liderazgo empresarial y normalmente debería llevar a una conversación sobre el apetito de riesgo. Este paso establecerá los guardarraíles a nivel de microdecisiones. Por ejemplo, un minorista decidió que quería que su publicidad se amortizara en seis meses, por lo que estaba dispuesto a invertir si seguía confiando en el rendimiento. 4. Cuantifique los estados de fracaso. Comprenda el coste de equivocarse. Este es el paso crítico que asigna un valor en dólares al rendimiento fuera de los límites de seguridad. A veces será una simple medida del gasto malgastado, pero en otros casos puede ser necesario un modelo para estimar la oportunidad perdida. Por ejemplo, un minorista identificó dos áreas clave de despilfarro: un gasto insuficiente en palabras clave que estaban generando un gran volumen de clientes rentables y un gasto excesivo en palabras clave con una rentabilidad superior a seis meses. 5. Mida el rendimiento. ¿Cuál es el despilfarro total y la oportunidad perdida? El siguiente paso consiste en analizar el rendimiento en el nivel más bajo identificado en el paso 2 para comprender el valor empresarial total fuera de las barandillas. Un fallo común aquí es analizar el rendimiento al mismo nivel en el que se está operando actualmente - esto suele ser autocumplido y oculta tanto los problemas como las oportunidades. Por ejemplo, un minorista pudo identificar un gasto malgastado de X millones de dólares y una oportunidad perdida de Y millones de dólares de valor de vida del cliente. 6. Comprenda qué está impulsando el despilfarro. Por último, analice el rendimiento a través de la lente de las 4P (propósito, precisión, predicción y política) para comprender qué elemento del algoritmo es el mayor impulsor del despilfarro y de las oportunidades perdidas. Por ejemplo, un minorista descubrió que había oportunidades para mejorar cada aspecto de su algoritmo de licitación, siendo la precisión la principal causa de pérdida de oportunidades. Se trata de recursos humanos para algoritmos. Comprender cómo evaluar y gestionar el rendimiento algorítmico podría ser la diferencia entre el éxito y el fracaso.

Medir el rendimiento de su algoritmo

Resumen.

Partner Center