Cómo medir un piloto con el agente: calidad observada y tiempo real

Antes de extender el uso del agente a más tareas, conviene evaluar el piloto con criterios concretos. Esta guía te explica cómo hacerlo sin depender de suposiciones ni de métricas que no puedes comprobar tú mismo.

• Un piloto con el agente no se evalúa por sensaciones. Se evalúa por lo que puedes observar directamente: si el resultado cumple los criterios que fijaste antes de empezar, y si el tiempo empleado —el tuyo y el del equipo— fue menor que con el método habitual. Antes de lanzar cualquier piloto, anota en un documento breve qué resultado esperabas, qué información entregaste al agente y cuánto tiempo estimabas que te llevaba hacer esa tarea de forma convencional. Sin ese punto de partida, la evaluación posterior será subjetiva.
• Ejemplo hipotético: una gestoría de tamaño medio quiere comprobar si el agente puede preparar borradores de respuesta a consultas frecuentes de clientes. El responsable elige diez consultas reales del último trimestre, elimina los datos identificativos de los clientes y las entrega al agente junto con la política de respuestas de la empresa. Antes de empezar, anota que una respuesta bien redactada debe ser clara, no superar dos párrafos y no comprometer posiciones legales. También anota que, de media, un técnico tardaba unos veinte minutos en redactar cada respuesta desde cero. Este punto de partida es el que hace posible una evaluación honesta.
• Al revisar los resultados, el responsable no pregunta si el agente lo hizo bien en abstracto. Pregunta tres cosas concretas: ¿la respuesta cumple los criterios fijados?, ¿requirió correcciones sustanciales o solo ajustes menores?, ¿y cuánto tiempo dedicó el técnico a revisar y cerrar cada borrador? Esas tres preguntas dan una imagen real del valor del piloto. Si ocho de las diez respuestas cumplían los criterios con ajustes menores y el tiempo de revisión fue inferior al de redacción desde cero, el piloto tiene base para continuar. Si la mayoría requirió reescritura completa, la causa más probable es que el contexto entregado era insuficiente.
• El contexto que entrega el agente al proveedor del modelo depende de lo que tú pongas a disposición. NEXO Brain mantiene el hilo de trabajo entre sesiones, pero no sustituye la información que tú decides incluir o excluir en cada encargo. Si el piloto produjo resultados irregulares, revisa primero si el material de referencia era completo y consistente, y si las instrucciones eran lo suficientemente específicas. Un criterio vago produce resultados difíciles de evaluar. Un criterio concreto —como los dos párrafos y la restricción legal del ejemplo— permite comparar resultado con expectativa.
• El tiempo es la segunda dimensión del piloto, pero debe medirse con precisión. No se trata del tiempo que tardó el agente en generar el borrador, sino del tiempo total que tu equipo dedicó al encargo: preparar el material, lanzar la tarea, revisar el resultado y hacer los ajustes necesarios. Si ese tiempo total es menor que el del método anterior, y la calidad es comparable o superior, el piloto indica que tiene sentido escalar. Si la preparación del encargo consumió más tiempo del que ahorraste en la ejecución, el proceso necesita simplificarse antes de convertirlo en rutina.
• Documenta el piloto antes de decidir si lo extiendes. Un documento de dos páginas con los criterios iniciales, los resultados observados, los ajustes que hiciste durante el proceso y tu valoración honesta de calidad y tiempo es suficiente. Ese documento te permite explicar a tu equipo por qué continúas o por qué cambias el enfoque, y te da una base para comparar futuros pilotos. La decisión de escalar o ajustar debe partir de lo que observaste, no de lo que esperabas observar.
• Reducir trabajo repetitivo puede cambiar cómo distribuyes las tareas en tu equipo, pero no garantiza ahorros concretos ni reemplaza ninguna función por sí solo. Lo que un piloto bien evaluado sí te da es información real sobre dónde el agente aporta valor en tu contexto específico, y dónde necesitas ajustar el encargo, el material o los criterios antes de avanzar. Esa información es el verdadero resultado del piloto.