NEXO Desktop

Evaluar un piloto con el agente: criterios de calidad y tiempo que realmente importan

Antes de extender el uso del agente a más procesos, conviene saber si el primero funcionó bien. Esta guía propone un método sencillo para juzgar calidad y tiempo observado sin depender de expectativas vagas.

  • Un piloto bien diseñado responde a una sola pregunta: ¿el agente produjo un resultado útil en un tiempo razonable para este encargo concreto? No se trata de comparar con una promesa general, sino de contrastar lo que ocurrió con lo que necesitabas. Para eso, antes de empezar conviene fijar dos cosas por escrito: qué aspecto debe tener un resultado aceptable y cuánto tiempo estás dispuesto a dedicar entre el encargo y la revisión. Sin esos dos puntos de referencia, la evaluación se vuelve subjetiva y difícil de repetir.
  • Imagina un caso hipotético: una empresa de servicios profesionales encarga al agente consolidar la información de doce clientes dispersa en correos, notas y hojas de cálculo, y producir un resumen ejecutivo por cliente. El criterio de calidad que fijan antes de empezar es que cada resumen refleje con precisión los datos que estaban en los archivos originales, sin inventar ni omitir puntos clave. El criterio de tiempo es que el encargo completo, incluyendo la revisión, no les ocupe más de una mañana de trabajo. Con esos dos parámetros escritos, la evaluación posterior es concreta.
  • Cuando recibes el resultado, la revisión de calidad empieza por contraste directo. Toma dos o tres clientes al azar y compara el resumen con la fuente original. Comprueba que los datos coinciden, que no aparece información que no estaba en ningún documento y que el tono y la estructura son útiles para quien va a leer ese resumen. Si el agente no tuvo acceso a un archivo relevante porque no lo incluiste en el encargo, ese fallo no es del resultado: es de la preparación. Separar los dos tipos de error te permite corregir lo que realmente falló.
  • La revisión de tiempo requiere medir tres momentos distintos: cuánto tardaste en preparar el encargo, cuánto tardó el agente en completarlo y cuánto tiempo dedicaste a revisar el resultado. La suma de los tres es el tiempo real invertido por tu parte. Compararlo con el tiempo que habría costado hacer ese trabajo de otra forma te da una referencia útil. No hay un número correcto universal: depende del proceso, del volumen y de cuánto contexto tenías ya preparado. Lo que importa es que el tiempo observado sea compatible con cómo funciona tu equipo.
  • En el ejemplo hipotético, el equipo descubre que la preparación del encargo, reunir y nombrar bien los archivos, llevó más tiempo del esperado, pero que la revisión fue rápida porque el agente organizó la información de forma coherente. La conclusión no es que el piloto falló ni que fue perfecto: es que el cuello de botella está en la preparación, y que si ordenan los archivos antes de cada encargo similar, el tiempo total baja de forma significativa. Ese tipo de aprendizaje específico es el valor real de un piloto bien evaluado.
  • Cuando el resultado no alcanza el criterio de calidad que fijaste, el siguiente paso es identificar la causa antes de repetir el encargo. Las causas más frecuentes son tres: el objetivo no estaba suficientemente definido, la información que aportaste era incompleta o contradictoria, o el criterio de revisión era demasiado vago para detectar el problema a tiempo. En la mayoría de los casos, ajustar el encargo inicial resuelve el problema sin necesidad de cambiar nada más. NEXO Brain mantiene contexto de trabajo, pero ese contexto lo construyes tú aportando información suficiente y revisando los resultados relevantes antes de usarlos.
  • Una vez que tienes los resultados de un piloto evaluado con criterios concretos, puedes tomar tres decisiones: extender ese mismo encargo a más volumen, ajustarlo antes de repetirlo o descartarlo para ese proceso específico y buscar uno mejor adaptado. Las tres son decisiones válidas. Lo que no es útil es extender el uso del agente a nuevos procesos sin haber cerrado bien la evaluación del primero. Crecer sobre una base que no has comprobado multiplica los problemas en lugar de los resultados.