QA humano vs agentes de IA, en dos productos reales
Los mismos productos, dos formas de probarlos. Pusimos los informes de un equipo de QA humano frente a los agentes autónomos de QA Team en dos productos en producción —una app de IA para consumidores y una plataforma de analítica SaaS— y comparamos qué detectó cada enfoque, con qué rapidez y con cuánta constancia.
Una app de IA para consumidores
Una app web para móvil: chat con avatar de IA, una billetera de tokens y facturación, registro/inicio de sesión y una interfaz bilingüe (EN/ES). El QA humano hizo pasadas manuales de varios días —end-to-end, funcional, UI, integración, exploratorio, i18n y pruebas de seguridad ligeras— en dos ciclos de octubre.
Facturación y temporizadoresConcurrenciaMezcla i18n EN/ESEndurecimiento de seguridadAccesibilidadManejo de 404
Los hallazgos humanos destacados fueron reales y específicos: sesiones de chat paralelas que bloqueaban la entrada y descartaban mensajes en silencio, estado de facturación/temporizador que contaba en momentos equivocados, mezcla generalizada de cadenas de idioma entre EN y ES, y un grupo de carencias de endurecimiento de seguridad. Pero al reevaluar, 18 de 32 problemas seguían siendo reproducibles —regresiones y defectos sin corregir acumulándose entre ciclos manuales— y 5 más no pudieron reverificarse esa pasada.
| Dimensión | QA humano | Agentes de QA Team |
|---|---|---|
| Cadencia de pruebas | Pasadas manuales de varios días, unas pocas veces al mes | 43 sesiones en dos semanas: continuo, en cada despliegue |
| Nuevos bugs reportados (dos semanas) | 22 (dos pasadas) | 40 |
| Checks ejecutados · tasa de aprobación | No medido | 207 checks · 65.7% aprobados |
| Reverificó las "correcciones" del desarrollador | Reprueba manual | Detectó dos correcciones aún rotas: la voz seguía en silencio y los mensajes rápidos seguían perdiéndose |
| Cada bug reproducido y probado | 5 sin verificar | Reproducido 1–2×, con capturas y grabación |
| Tiempo hasta el primer informe tras un despliegue | Días (siguiente pasada) | Horas: las correcciones del día se reprueban automáticamente |
| Costo (ejecución de dos semanas) | parte de un equipo de $3,500/mes | $57.20 (agente principal) · ~$95 con los agentes de admin y avatar |
Una plataforma de analítica de mercado SaaS
Un producto SaaS con muchos datos: tableros, investigación de keywords y audiencias, informes de IA y una integración de datos de terceros, en 13 módulos. El QA humano hizo un ciclo de dos semanas —funcional, regresión, UI, API y exploratorio— con apoyo de Claude y agentes.
Precisión de datosBúsqueda devuelve 0 / 10s de latenciaLímites de plan y paqueteNavegación erróneaDiscrepancias de ingresos
El tema dominante fue la precisión de datos: conteos, fechas e ingresos que no coincidían con la fuente, búsquedas que devolvían cero resultados o tardaban ~10 segundos, y límites de plan/paquete inconsistentes. Dos señales destacan para una comparación humano-vs-agente: la tasa de regresión subió del 40% al 50% en las dos semanas, y 14 de 34 defectos nunca se itemizaron en el tracker (algunos solo se compartieron informalmente por chat), justo las brechas de cobertura y constancia que los agentes continuos están hechos para cerrar.
| Dimensión | QA humano | Agentes de QA Team |
|---|---|---|
| Bugs reportados | 34 en dos semanas (28 abiertos, 6 resueltos) | 18 en 20 sesiones |
| Checks ejecutados · tasa de aprobación | No medido | 65 checks · 69.1% aprobados |
| Registrados con pruebas completas | 20 de 34 itemizados; algunos solo por chat | Cada bug registrado, deduplicado y con pruebas |
| Reprueba los bugs corregidos automáticamente | Reprueba manual (45% de regresión) | Sí: reverificado en el siguiente despliegue |
| Tiempo de agente | Días de tester | 77 minutos de agente |
| Costo (ejecución mostrada) | parte de un equipo de $3,500/mes | $70.53 |
Qué cambia con los agentes
El QA humano encontró bugs profundos y reales en ambos productos, de los que requieren criterio. Las brechas no estaban en la habilidad, sino en la cadencia y la constancia: problemas reproducibles durante semanas entre pasadas manuales, una tasa de regresión que subía del 40% al 50% y una larga cola de defectos que nunca llegó al tracker. Los agentes no reemplazaron ese criterio, pero ejecutaron 63 sesiones en los dos productos por unos $128 de cómputo, reverificaron cada corrección reclamada en el siguiente despliegue (detectando dos que seguían rotas) y registraron cada hallazgo con pruebas reproducibles. Así el equipo humano dedica su tiempo a las decisiones difíciles en lugar del barrido de regresión.