06. Validación humana + confidence scores

Cerramos el Módulo 2 con la lección que separa a un proyecto de IA "amateur" de uno que tu firma puede defender ante el SII, la SAT, la AFIP o cualquier auditor externo.

Human-in-the-loop no es una buena práctica opcional. Es un requisito profesional. Si lo entendés bien, vas a poder implementar IA en cualquier proceso contable con la tranquilidad de que cumple con las normas y de que tu firma es la responsable correcta.

Por qué la revisión humana es OBLIGATORIA

Las Normas Internacionales de Auditoría son explícitas. Repasemos las tres que aplican a IA:

NIA 240 — Fraude

"El auditor es responsable de obtener una seguridad razonable de que los estados financieros, considerados en su conjunto, están libres de incorrección material debida a fraude o error."

Traducción al lenguaje IA: si un LLM clasifica una transacción como "limpia" y resulta ser fraudulenta, la responsabilidad es del auditor, no del modelo. El escepticismo profesional no se delega.

NIA 315 — Identificación y valoración de riesgos

Esta es la NIA más relevante para el uso de IA, y la que muchos cursos ignoran. Exige al auditor:

Comprender los controles relevantes de la entidad, incluidos los controles sobre las herramientas de IA usadas.
Identificar los riesgos derivados de la propia herramienta: sesgos del modelo, datos de entrenamiento desconocidos, alucinaciones, override silencioso de controles.
Evaluar la calidad y trazabilidad de los outputs.

Sin audit trail, no cumplís NIA 315. Punto.

NIA 530 — Muestreo de auditoría

"El auditor debe determinar un tamaño de muestra suficiente para reducir el riesgo de muestreo a un nivel bajo aceptable."

Traducción: si la IA clasificó 10.000 transacciones, no podés firmar que están bien sin muestrear. La IA no aporta evidencia suficiente por sí sola. Debe haber revisión humana sobre una muestra representativa.

⚠️ Punto que muchos socios todavía no entendieron

Si tu firma audita una empresa que usa IA, NIA 315 te obliga a auditar la IA también. Eso significa: pedir el prompt, el modelo, los confidence scores, el audit trail, los procedimientos de revisión humana. Si el cliente no los tiene, ese es un riesgo de control que va al reporte. Esto va a ser cada vez más habitual en LATAM en 2026-2027.

Confidence scores: la herramienta que cambia todo

En la Lección 5 pediste al LLM que devuelva confidence (0 a 1) en cada clasificación. Acá es donde ese campo se vuelve la pieza central del workflow.

Por qué confidence > clasificación

Una IA que dice "estoy 99% seguro de la cuenta 5210" y otra que dice "estoy 55% seguro de la misma cuenta" son dos casos totalmente distintos. Sin confidence, las tratás igual. Con confidence, asignás recursos humanos donde hacen falta.

Esto es exactamente el principio de muestreo orientado a riesgo de la NIA 530: ponés esfuerzo de auditoría donde hay mayor riesgo de error.

Cómo el LLM genera el confidence

Importante entender: el "confidence" que devuelve un LLM no es una probabilidad estadística estricta. Es una auto-evaluación calibrada del modelo sobre su propia certeza. En la práctica, con modelos modernos (GPT-5.5, Claude 4, Gemini 3) y prompts bien hechos, correlaciona muy bien con la precisión real.

Pero hay que validarlo. ¿Cómo? Tomá 200 clasificaciones de tu workflow:

¿En cuántas con confidence > 0.9 el LLM acertó?
¿En cuántas con confidence 0.6-0.9 el LLM acertó?
¿En cuántas con confidence < 0.6 el LLM acertó?

Si las correlaciones se ven así:

Confidence > 0.9 → 98% precisión real
Confidence 0.6-0.9 → 85% precisión real
Confidence < 0.6 → 60% precisión real

Tu modelo está bien calibrado. Si no, ajustá el prompt (más ejemplos, instrucciones más claras sobre cuándo estar seguro).

Thresholds: cómo configurarlos

El esquema base, que sirve para casi cualquier caso contable:

Confidence	Acción	Quién revisa
≥ 0.90	Auto-aceptar	Muestreo aleatorio (10%)
0.60 - 0.89	Revisión humana obligatoria	Contador asignado
< 0.60	Rechazar / pedir clarificación	Contador senior

Por qué estos números (y cuándo ajustarlos)

0.90 como umbral de auto-aceptación: en clasificación contable, cuando un LLM moderno dice "estoy 90%+ seguro" suele acertar arriba del 97% del tiempo. El 3% restante lo cubre el muestreo aleatorio.

0.60 como piso: por debajo de eso, el modelo está literalmente "adivinando". Es señal de que falta contexto, regla o ejemplo. Es trabajo de contador senior, no de auto-procesamiento.

Cuándo bajar el umbral superior (a 0.85 o 0.80): casos de bajo riesgo material. Transacciones < $50.000 CLP en una empresa de $100M facturación, por ejemplo. Es decisión profesional, no técnica.

Cuándo subirlo (a 0.95): casos de alto riesgo. Asientos relacionados con IVA, retenciones, partidas de cierre fiscal. Acá querés revisión humana incluso con alta confianza.

🎯 Regla práctica

Los thresholds no son universales. Dependen del:

Riesgo del cliente (sector, tamaño, historia tributaria).

Materialidad de la transacción (un asiento de $5K vs uno de $5M).

Tolerancia al error del proceso (cierre mensual vs declaración anual).

Documentá tus thresholds por cliente y por tipo de transacción. Eso es parte del audit trail que pide NIA 315.

Audit trail: qué guardar

Esta es la parte más subestimada por equipos que arrancan con IA, y la que más rápido pide un auditor externo. Sin audit trail no hay defensa profesional.

Mínimo viable por cada clasificación

Por cada transacción procesada, guardá en una tabla (Google Sheets, Airtable, base de datos):

Campo	Por qué importa
`transaccion_id`	Trazabilidad única
`texto_original`	Lo que entró al LLM
`prompt_version`	Si cambiaste el prompt, queda registrado
`modelo_usado`	"gpt-5.5-2026-04-24" o "claude-sonnet-4.6"
`respuesta_llm_completa`	JSON tal como vino (justificación incluida)
`cuenta_asignada`	La cuenta final usada
`confidence`	Score devuelto por el LLM
`regla_aplicada`	Si hubo regla local que matcheó
`revisor_humano`	Email/ID del contador que validó
`decision_humano`	"aceptado", "modificado", "rechazado"
`cuenta_corregida`	Si el humano cambió la cuenta
`timestamp_llm`	Cuándo se procesó
`timestamp_revision`	Cuándo se validó

Por qué cada campo importa

prompt_version: si en seis meses un auditor pregunta "¿cómo clasificaron esta transacción en mayo?", podés mostrarle el prompt exacto que se usó. Sin versionado, esto es imposible.
respuesta_llm_completa: la justificación del LLM es evidencia de razonamiento. Si la transacción termina cuestionada, podés mostrar qué dijo el modelo y por qué.
decision_humano: distingue entre "el LLM y el humano coinciden" (caso normal) y "el humano corrigió al LLM" (caso de aprendizaje). Estos últimos son oro para mejorar el prompt.
timestamps: NIA 315 pide cuándo ocurrió cada paso. Sin timestamps, no hay evidencia.

Dónde guardarlo

Para firmas chicas o medianas: una hoja de Google Sheets sincronizada con n8n. Suficiente para los primeros 100K registros.

Para volúmenes grandes o requerimientos de compliance fuerte: base de datos (PostgreSQL, Supabase, BigQuery). Con políticas de retención según la jurisdicción (Chile: 6 años; México: 5 años; Argentina: 10 años; Colombia: 5 años).

🔑 El test del auditor externo

Imagina que dentro de 18 meses llega un auditor externo (o el SII, o la SAT) y te pide:

"Muéstreme la trazabilidad de esta transacción específica: qué prompt se usó, qué respondió el modelo, qué confidence tenía, quién revisó y cuándo."

Si tu sistema responde eso en 2 minutos, estás bien. Si no, hay que rediseñar el audit trail antes de seguir escalando IA.

Workflow de excepciones: cómo escalar casos ambiguos

Los casos confidence < 0.6 y los que el revisor humano marca como "no estoy seguro" necesitan un workflow propio. No pueden quedar flotando.

Esquema de escalamiento en 3 niveles

[Nivel 1 - Junior]
  Si revisor junior marca "no estoy seguro" → escala a senior
        ↓
[Nivel 2 - Senior]
  Si senior tampoco resuelve → consulta a especialista tributario
        ↓
[Nivel 3 - Especialista o socio firmante]
  Decisión final + documentación del criterio aplicado
        ↓
[Bonus: agregar este caso resuelto al few-shot del prompt]

Lo último es clave: cada excepción resuelta se convierte en un nuevo ejemplo para el prompt. Con 20-30 casos así, el LLM empieza a manejar bien los casos ambiguos del cliente sin necesidad de escalamiento.

SLAs típicos

Nivel	Tiempo de respuesta esperado
Junior → Senior	< 4 horas hábiles
Senior → Especialista	< 24 horas hábiles
Especialista → Decisión final	< 48 horas hábiles

Si el cierre mensual es del día 5, los casos no resueltos al día 3 deben tener escalamiento automático.

Ética profesional: el contador sigue firmando

Esto no es menor y vale la pena dedicarle el último bloque de la lección.

Lo que NO cambia con IA

El contador sigue siendo el responsable profesional. Si firmás una declaración o un informe de auditoría, vos asumís la responsabilidad civil, fiscal y penal correspondiente.
El cliente paga por tu juicio, no por el LLM. La diferencia entre vos y un LLM no es la velocidad: es el criterio profesional, el conocimiento del cliente y la responsabilidad asumida.
El código de ética profesional sigue vigente. IFAC, Colegio de Contadores de Chile, IMCP México, FACPCE Argentina, JCC Colombia: todos exigen escepticismo profesional, independencia de criterio y diligencia debida. Ninguno acepta "fue el LLM" como excusa.

Lo que SÍ cambia

El nivel de detalle que podés revisar. Antes auditabas el 5% del libro mayor por muestreo. Ahora podés auditar el 100% con el LLM como asistente, y aplicar tu juicio sobre la pila enriquecida.
El tipo de errores que detectás. Los errores aritméticos y de clasificación rutinaria los detecta la IA. Vos quedás libre para detectar los errores de criterio: una clasificación técnicamente correcta pero inadecuada al sustrato económico, una transacción que no debería existir, una política contable mal aplicada.
La conversación con el cliente. Ya no pasás 80% del tiempo en data entry. Pasás 80% del tiempo discutiendo estrategia tributaria, planificación y mejoras al control interno. Eso vale más, y se factura mejor.

🎯 La frase para recordar este módulo

La IA acelera. El contador decide. La firma firma. La responsabilidad nunca se delega.

Si entendés esto, podés implementar IA en cualquier proceso contable con tranquilidad profesional. Si no, ningún workflow va a ser suficientemente "seguro".

Checklist final del Módulo 2

Antes de pasar al Módulo 3 (OCR + LLM para facturas), validá que entendés:

Lección 4: por qué la clasificación contra plan de cuentas es la "killer app", y cómo estructurar un prompt con few-shot.
Lección 5: el workflow end-to-end real (Excel → n8n → LLM → CSV), con costos y tiempos concretos.
Lección 6 (esta): thresholds de confidence, audit trail mínimo y workflow de excepciones.

Si querés llevarte una sola idea del módulo, que sea esta:

El patrón ganador Document AI / OCR → LLM → Reglas → Revisión humana funciona porque cada paso aporta algo único, y porque el último paso siempre es el contador firmando. La IA es asistente. Nunca sustituto del juicio profesional bajo NIA 240/315/530.

Próximos pasos

En el Módulo 3 (lecciones 7 a 9) vamos a aplicar este mismo patrón a un caso nuevo: procesar facturas de proveedores. Vas a aprender:

Cómo funciona Google Document AI para extraer datos de facturas electrónicas (CFDI mexicano, DTE chileno, FE colombiana) y facturas físicas escaneadas.
Cómo combinar OCR + LLM para normalizar y clasificar.
Cómo validar contra maestro de proveedores y detectar duplicados o anomalías.

Vas a ver el mismo principio que el Módulo 2: estructura, confidence, revisión humana. Si dominás eso, el resto del curso se vuelve aplicación de lo mismo a casos cada vez más sofisticados.

💡 Ejercicio recomendado para cerrar el módulo

Diseñá el audit trail de un proceso real de tu firma o cliente (no necesariamente clasificación de transacciones; puede ser conciliación, OCR de facturas, lo que sea). Respondé estas preguntas:

¿Qué información mínima necesito guardar por cada decisión asistida por IA?

¿Quién revisa en cada nivel y con qué SLA?

¿Cómo demuestro a un auditor externo la trazabilidad?

¿Dónde se guarda esa información y por cuánto tiempo según la jurisdicción del cliente?

Si podés responder esas cuatro preguntas con claridad, ya tenés el 80% de un programa de IA profesionalmente defendible.

Próxima lección: 07. Document AI y OCR moderno para facturas LATAM