Cómo experimentar en tiempos de Inteligencia Artificial (IA)

17 abril 2025

Este no es un típico post sobre la Inteligencia Artificial (IA). La audiencia de Sintetia reclama más, y los que tenemos la oportunidad de escribir unas líneas aquí tenemos la responsabilidad de aportar algo extra. Algo más allá de lo evidente o, como mínimo, intentarlo.

“La IA es la nueva ola”. Eso todos, más o menos, lo intuimos. También sabemos que debemos ponernos las pilas para incorporar de manera eficaz y rentable esta tecnología en nuestros negocios. La pregunta es cómo y ahí está la llave maestra a un sinfín de nuevas puertas.

No tengo una respuesta elegante, firme y sencilla a un problema de esta índole. Sin embargo, en el libro “Experimentación Online”, que publiqué con Anaya el mes pasado, muestro una metodología que aplicamos en mi compañía que permite, de manera exaptiva, dar una respuesta clara a la siguiente pregunta: ¿cómo empiezo con la IA?

El planteamiento problem-centric puede no ser suficiente.

En un artículo que escribí en Sintetia ya di una serie de razones para experimentar, y uno de los puntos elementales que escribí fue que “La naturaleza del problema es la que determina la naturaleza de la solución”. Sin embargo, este planteamiento centrado en el problema y las causas-raíz, aunque acertado de base, puede llegar a no ser suficiente cuando estamos ante un entramado tan complejo.

El planteamiento “problem-centric” se basa, en esencia, en el hecho de que las empresas deben resolver problemas y que esto es superior al concepto “person-centric”. Sin embargo, ante mega-tendencias como la IA la manera de abordar el problema parece no residir en el tradicional “análisis-planificación-acción” sino en algo más parecido a lo que Xavier Ferràs apunta en su consagrado concepto de “piernas fuertes”, donde dice:

“El éxito profesional estará en la convergencia entre humanismo, emprendimiento y tecnología. Emprendimiento entendido como capacidad sistemática de superación de retos vitales, cualesquiera que sean. Los conocimientos y los contenidos quedarán obsoletos a medida que unas tecnologías substituyan a otras. Las capacidades internas son las “piernas fuertes” del esquiador que se adapta dinámicamente al terreno. Debemos formarnos en capacidades de adaptación y respuesta rápida, especialmente en algunas de ellas: aprender a aprender, aprender a emprender, y, sobre todo, aprender a olvidar.”

Un framework para experimentar

En el libro que publiqué recientemente presento la metodología APPA, un conjunto de procesos, directrices, lenguaje común y técnicas específicas que permiten a las organizaciones aplicar experimentos de todo tipo en entornos digitales.

Sin embargo, no hablaré de experimentación online. Hablaré de algo más interesante: de cómo hemos descubierto que esta metodología puede tener más usos más allá de la aplicación de tests AB de manera coordinada. Estamos aplicando también la metodología APPA para ejecutar proyectos de Inteligencia Artificial, sobre todo, para experimentar, desaprender, reaprender y evaluar de manera eficaz el impacto de nuestras iniciativas internas y con clientes.

A decir verdad no es el único framework: Marily Nika, Gen AI Product Lead de Google, lanzó un libro recientemente sobre cómo orquestar desde una perspectiva de producto digital, organizativa y técnica la resolución de problemas mediante IA.

El framework presentado a continuación propone una estructura también circular que, en común con la metodología APPA, tiene una palabra clave: testing.

En ambos libros también ponemos encima de la mesa la misma cuestión: la naturaleza probabilística de la Inteligencia Artificial en negocios.

Al igual que sucede en experimentación online o como bien apuntó recientemente Manuel Juanes en Sintetia, la IA opera sobre probabilidades más que sobre certezas.

Mientras que en el desarrollo de software tradicional se ejecutan una serie de comandos y aparece un output predeterminado en IA se realizan predicciones basadas en patrones que ha aprendido en función de los datos disponibles y los modelos aplicados.

Esto implica, como apunta Marily Nika también en su libro, que es necesario abrazar la incertidumbre y gestionar el riesgo ya que nunca tendrás (o no deberías tener) un 100% de precisión y certeza en predicciones mediante IA.

Casi nunca sabrás de antemano qué modelo puede ser mejor o peor ante un reto organizativo y deberás testear en un entorno controlado.

Abrazar la probabilidad y la incertidumbre implica construir un pensamiento en el que “la duda métodica no paralizante” es un personaje protagonista. Todo esto tiene un importante sabor a experimentación controlada y a la construcción de metodologías que permitan testear iniciativas AI-first en organizaciones. Así es cuando, emerge la exaptación en la que cojo algo que funciona (la metodología APPA) en un contexto, lo aplico en otro y… Eureka.

Metodología APPA en la práctica

APPA son las siglas de “Analysis, Plan, Practice & Action”. En cada una de estas cuatro fases obtendremos una serie de outputs que nos permitirán llegar a la siguiente fase de manera coordinada y adecuada. Voy a dibujar un ejemplo basado en una solución cuya palabra clave central es la IA que actualmente estoy construyendo en mi compañía para así ejemplificar cómo nos está ayudando y cómo puede ayudarte a implementar de manera adecuada esta tecnología en tu organización.

Contexto y Analysis

Sé que tengo que desarrollar una solución mediante Inteligencia Artificial y aunque sé que si solo uso martillos solo veré clavos, he tomado la conciencia también de que si no practico el uso de esta tecnología tampoco podré dar respuesta a mi organización y clientes en materia técnica y estratégica si no he sufrido en mis carnes la dura realidad. Por ello, decidimos comenzar por un caso interno como primer experimento.

En el marco de la IA, en esta fase los outputs que esperamos encontrar son un conjunto de oportunidades y puntos de mejora basadas en un análisis riguroso del estado de, en este caso, el departamento que dirijo.

Imaginemos que desea optimizar un proceso interno relacionado con la priorización de iniciativas y que la IA podría ayudarme a ello aportando puntuaciones en el ICE Score basadas en datos históricos de nuestro propio backlog de experimentos y una lógica que pondere por zona de la web, tipología de iniciativa, entre otros.

Aquí hemos obtenido claramente una oportunidad que deberá en esta fase traducirse en una serie de métricas a superar que, en este caso, podrían traducirse en un mix entre métricas de agilidad e impacto basado, sobre todo, en el win rate (es decir, el ratio de experimentos ganadores contra experimentos lanzados totales).

Plan

En el marco de la metodología APPA aplicada a lanzar soluciones con Inteligencia Artificial, aquí debemos ser capaces de, además de orquestar las necesidades, recursos y equipos necesarios para esta aventura, desarrollar las hipótesis clave de este proyecto y las iniciativas que pondrán a prueba dicha hipótesis.

Aquí se esconde un punto ciego: trabajar sobre hipótesis. Tengo la hipótesis de que una solución así podrá mejorar mis métricas de agilidad y de ratio de ganadores pero solamente es eso: una hipótesis. Desconoces (como siempre se ha desconocido) el impacto real que tendrá una iniciativa concreta. Por ello estructurar tu proceso de trabajo mediante hipótesis e impulsar iniciativas que ponen a prueba dichas hipótesis, le otorga a esta fase una importancia capital.

¿Acaso hay que construir un modelo desde cero para esto? Muy probablemente no.

Una de las máximas que deberías empezar de este nuevo mundo que se abre es que “si ya hay un producto que lo hace, no deberías construirlo desde cero” (salvo lógicas excepciones).

Así, ¿podemos poner a prueba esta hipótesis con un MVP? herramientas como Lovable.dev permiten hacer productos digitales muy solventes mediante prompts que bien pueden permitirte poner a prueba hipótesis sencillas de manera muy sólida.

En la siguiente imagen te enseño un ejemplo de este producto digital que buscaría tener una interfaz simple conversacional que permita obtener un scoring cuando le planteas una hipótesis.

Con esta solución podemos poner a prueba la siguiente hipótesis alternativa de una cola: “Si planteo una solución de IA para priorizar nuestras iniciativas de producto, entonces aumentará el impacto medio de nuestros experimentos y aumentará la agilidad”

Practice

La experimentación, ya sea online u offline, se practica y nunca se domina al 100 %. Es por ello que esta fase de la Metodología APPA se llama así: para abrazar la humildad que desde cero siempre se tiene que tener ante cualquier proyecto, hipótesis o iniciativa.

Así, en en esta fase lanzaremos a producción la nueva iniciativa y, obviamente, plantearemos un experimento capaz de poner la hipótesis a prueba de manera fidedigna, por ejemplo, mediante un test A/B en el que dividimos nuestras iniciativas en dos grupos:

  1. Control: Uno en el que la priorización se realiza manualmente como hasta ahora.
  2. Variante: Otro en el que se aplica el nuevo sistema asistido por IA.

Evaluaremos si el enfoque mediante la IA mejora métricas como el win rate de los experimentos priorizados, la velocidad en la toma de decisiones o incluso la percepción cualitativa del equipo sobre la utilidad del nuevo sistema.

¿Por qué no lanzar y medir el antes y el después? Pueden distorsionar los resultados aspectos como la estacionariedad o las diferencias entre iniciativas y su naturaleza entre un periodo y otro. El test AB es el estándar del análisis causal por excelencia.

Si el resultado (es decir, el impacto en las métricas objetivo) es satisfactorio podremos dar por correcta nuestra hipótesis y así, con reducidos recursos invertidos, habremos aprendido un caso de uso de la IA en un entorno real y práctico, lo cual hará que la organización general (no solo mi departamento) madure en cuanto a su uso. La aplicación de algunos pasos del proceso de gestión del cambio de John P. Kotter es también recomendable para impulsar el cambio de verdad.

Por otro lado, si el resultado no es satisfactorio, deberás averiguar su causa: ¿se debe a que plantear una priorización mediante IA no tiene sentido? ¿o es una cuestión de la base de datos original? ¿o era el modelo utilizado?

Quizás la hipótesis es correcta, pero no el experimento que has ejecutado. Hacer una evaluación de todo el proceso es crítico y solamente si tienes una metodología como APPA puedes practicar tu propia “mejora continua” en tus procesos de experimentación.

Action

Debemos impulsar la acción. Sin este paso final todo queda en una mera anécdota y ejercicio intelectual que ninguna cabida tiene en el entorno empresarial. Una vez hemos finalizado la fase Practice, deberemos, como mínimo:

  1. Lanzar a producción dicho producto digital y analizar su impacto en entorno real más allá del test AB
  2. Formar a los equipos que la vayan a utilizar mediante casos prácticos de uso.
  3. Comunicar al resto de la organización el impacto generado y servir de ejemplo.
  4. Construir documentación y, probablemente, mejorar mediante nuevas versiones este producto.

Esta última es donde habitualmente fracasan la mayoría de iniciativas por una mezcla entre falta de poder político entre aquellos que impulsan originalmente dichas iniciativas, trabas naturales de las empresas y, sobre todo, una dejadez en la comunicación interna y su adaptación a diferentes stakehholders.

Conclusión

En la era de la Inteligencia Artificial no hay atajos, pero tampoco hay certezas claras. La velocidad y rapidez actuales están en una orden de magnitud superior. Solamente aquellas empresas que sepan tener piernas fuertes y aplicar de manera ágil y rentable esta tecnología saldrán fortalecidas de todos los procesos de cambio que están por venir.

En este artículo presento brevemente la metodología APPA en la que me explayo en detalles en mi nuevo libro. Javier García ha tenido la buena de ofrecerme la oportunidad de escribir aquí para aportar lo que subyace más allá de una metodología que podría pensarse que solamente va de hacer tests AB.

Y no, trato de poner en el centro algo más profundo: dibujar una manera de experimentar en las organizaciones que permita mitigar miedos y tangibilizar su impacto. Creo sin duda que la IA y la experimentación están irremediablemente unidas por su nexo en cuanto a probabilidad se refiere y al hecho de que aprenderá de IA el que practique.

Quizás no se trata de entender la IA a fondo antes de usarla, sino de construir comprensión desde el uso mismo. Y para ello, necesitamos más frameworks y menos eslóganes.

Artículo escrito por Ubaldo Hervás

Sr Digital Analyst & CRO ≡ LIN3S

Enviar comentario

Tu dirección de correo electrónico no será publicada. Los campos obligatorios están marcados con *

Raúl Carrión Estudio, S.L. es la Responsable del Tratamiento de tus datos, con la finalidad de moderar y publicar tu comentario con tu nombre (en ningún caso se publicará tu correo electrónico).
Tienes derecho de acceso, rectificación, supresión, limitación, oposición al tratamiento y portabilidad. Puedes ejercitar tus derechos en [email protected].