Evaluación creativa y audiencias sintéticas para Bonnemaison
IA generativa para Bonnemaison: extracción de criterios de evaluación a partir de guiones publicitarios desestructurados, evaluación automática de guiones nuevos con esos criterios, y enjambres de audiencias sintéticas como focus groups.
Bonnemaison es una agencia creativa que produce campañas publicitarias en video. Trabajé con ellos como consultor a través de Mission Cloud, sobre la parte de su proceso más difícil de sistematizar: juzgar, antes de filmar nada, si un guion va a funcionar o no.
La primera pieza fue la extracción. Los guiones publicitarios son altamente desestructurados —el formato cambia según el cliente, el medio y quien escribe— y el conocimiento de oficio que hace que uno funcione está implícito en el texto, no etiquetado en ningún lado. Para eso, construí flujos de IA que leen un corpus de guiones, extraen tanto las técnicas artísticas en uso como los criterios que un revisor aplica en la práctica, y convierten ese oficio tácito en una rúbrica explícita que se puede leer y aplicar sobre nuevos guiones.
La segunda etapa, justamente, implicó llevar a la práctica el conocimiento extraído: implementé evaluación automática de un guion nuevo contra los criterios extraídos, de modo que quien escribe recibe devoluciones estructuradas criterio por criterio en lugar de un único puntaje opaco, y con una velocidad antes inviable. Mantener los criterios como datos, en vez de fijarlos dentro de un prompt, es lo que lo vuelve mantenible: la rúbrica se puede revisar, ampliar o acotar a un cliente sin reconstruir el evaluador alrededor. Otra ganancia de este proceder es comenzar a almacenar conocimiento de forma ordenada, mantenible y explotable, cuando antes se lo perdía o quedaba en la memoria de cada persona.
Una tercera pieza relevante, por fuera de lo planificado y que terminó siendo la sorpresa favorita del cliente fueron los enjambres de audiencia: poblaciones de personas generadas por IA que funcionan como focus groups sintéticos. Muchos miembros simulados de la audiencia, con distintos contextos y disposiciones, leen el guion, y sus reacciones se agregan para hacer visibles patrones: qué momentos funcionan y para quién, dónde cae la atención, qué lecturas no habían anticipado quienes escribieron. No reemplaza a un focus group real, pero hace posible una primera pasada barata en un punto del proceso creativo donde uno real no lo es.
El problema de ingeniería recurrente en las tres piezas fue la evaluación en sí, que es un tema en que muchos profesionales y grupos de IA suelen no enfocarse. Los jueces de IA sobre trabajo creativo no son desde la versión 0 completamente correctos, nunca lo son, así que la mayor parte del esfuerzo fue hacer los sistemas inspeccionables y no perseguir un único número de exactitud, sino un conjunto de métricas interpretables.