Question 1

¿Cuál es el punto de referencia RAID para detectores de IA?

Accepted Answer

RAID es un gran punto de referencia compartido para evaluar detectores de texto de IA en todos los modelos, dominios y tipos de ataques. Los equipos buscan los resultados de la tabla de clasificación del detector de IA de referencia RAID para comparar herramientas en igualdad de condiciones. En RAID, It's AI alcanza una precisión del 94,2 % con una tasa de falsos positivos del 5 % en textos no atacados y se ubica en la parte superior de la tabla de clasificación que publicamos. Consulte nuestro informe de pruebas comparativas para ver tablas completas y metodología.

Question 2

¿Son precisos los detectores de IA en general?

Accepted Answer

No existe un número único que describa cada detector. La precisión depende del modelo, el tipo de texto y cómo se construye el punto de referencia. Muchas herramientas manejan bien resultados de IA simples y "limpios", pero pierden rendimiento en escrituras parafraseadas, editadas o muy específicas de un dominio. Los puntos de referencia como RAID están diseñados para medir esta solidez: combinan múltiples modelos de lenguaje, temas y estrategias de ataque para ver cómo se comportan los detectores fuera de las condiciones ideales. It's AI funciona muy bien bajo esas limitaciones, pero como cualquier modelo estadístico aún puede cometer errores, especialmente en textos muy cortos o muy editados.

Question 3

¿Es It's AI lo suficientemente confiable para uso educativo y comercial?

Accepted Answer

La confiabilidad tiene que ver principalmente con la frecuencia con la que la escritura humana se marca erróneamente como IA. En nuestros materiales públicos destacamos dos números: - en el conjunto de datos ASAP 2.0 de ensayos de estudiantes, la tasa de falsos positivos es del 0,8%; - en los índices de referencia GRiD, HC3 y GhostBuster, la tasa media de falsos positivos se mantiene por debajo del 1%. En estas pruebas, menos de uno de cada cien textos humanos se clasifica erróneamente como generado por IA. Es por eso que consideramos que el detector es adecuado para contextos sensibles como calificaciones, contrataciones, controles de integridad académica o revisión de la calidad del contenido, siempre y cuando se utilice como una herramienta de apoyo a las decisiones, no como el único juez.

Question 4

¿Cómo se comparan GPTZero y ZeroGPT en el punto de referencia RAID?

Accepted Answer

Compare los detectores con la misma tasa de falsos positivos; de lo contrario, los números engañan. En nuestra evaluación de RAID con un 5 % de FPR en texto humano, It's AI lidera en precisión sin ataques y escenarios generales; GPTZero y ZeroGPT obtienen puntuaciones más bajas en el mismo punto operativo. También publicamos MGTD ROC-AUC (0,92 para It's AI) y gráficos frente a GPTZero, Originality y ZeroGPT en el informe de referencia público.

Question 5

¿Qué puntos de referencia además de RAID publican (MGTD, GRiD, HC3)?

Accepted Answer

Informamos los resultados de varios puntos de referencia independientes: - RAID: un gran punto de referencia con millones de generaciones de 11 modelos de lenguaje, 8 dominios y múltiples ataques adversarios. - MGTD: una evaluación agregada creada a partir de 15 conjuntos de datos y casi dos millones de muestras, donde lideramos el marcador ROC-AUC. - GRiD: un conjunto de datos basado en Reddit con pares de respuestas humanas y ChatGPT a las mismas indicaciones. - HC3: un corpus de casi 40.000 pares de preguntas y respuestas de ámbitos como medicina, derecho y finanzas, nuevamente con respuestas humanas y ChatGPT. - GhostBuster: varios conjuntos de datos de escritura creativa, noticias y ensayos de estudiantes generados por GPT-3.5-turbo y combinados con originales humanos. - CUDRT: un punto de referencia bilingüe que prueba detectores en operaciones como crear, expandir, reescribir, pulir, resumir y traducir texto. En conjunto, estos puntos de referencia cubren tanto generaciones sencillas de IA como escenarios de edición más sutiles.

Question 6

¿Qué miden realmente la precisión, la puntuación F1 y el ROC-AUC?

Accepted Answer

Utilizamos métricas de clasificación estándar para que nuestros resultados sean comparables con otros trabajos: - La precisión le indica qué proporción de todos los textos clasifica correctamente el detector. - La puntuación F1 equilibra la precisión (cuántos textos marcados son realmente generados por IA) y la recuperación (cuántos textos generados por IA se encuentran). Es útil cuando la cantidad de textos humanos y de IA está desequilibrada. - ROC-AUC mide qué tan bien el modelo separa los textos humanos y de IA en todos los umbrales de decisión posibles; los valores más cercanos a 1 indican una mejor separación. Por ejemplo, en el punto de referencia GRiD nuestro detector alcanza una puntuación F1 de aproximadamente 0,975 y un ROC-AUC cercano a 0,998, y en MGTD el ROC-AUC es 0,92. Estos son los números a los que se hace referencia en la página Precisión.

Question 7

¿Qué son los falsos positivos y los falsos negativos en la detección de IA?

Accepted Answer

- Se produce un falso positivo cuando un texto humano se marca incorrectamente como generado por IA. - Se produce un falso negativo cuando el texto generado por IA se clasifica como humano. En RAID comparamos detectores con una tasa fija de falsos positivos del 5 %, por lo que a cada modelo se le permite la misma proporción máxima de textos humanos que pueden etiquetarse erróneamente como IA. Para escenarios centrados en la educación, ajustamos el modelo de manera más conservadora e informamos un FPR del 0,8 % en ASAP 2.0 y un FPR promedio inferior al 1 % en GRiD, HC3 y GhostBuster. En el producto también puedes ajustar el umbral de decisión tú mismo: reducirlo detecta más textos de IA pero aumenta los falsos positivos; aumentarlo hace lo contrario. Esto le permite equilibrar la sensibilidad y el rigor para su propio caso de uso.

Question 8

¿Las puntuaciones de referencia se traducen en textos del mundo real?

Accepted Answer

Los puntos de referencia son instantáneas simplificadas de la realidad. Son extremadamente útiles para comparar detectores en los mismos conjuntos de datos, bajo ataques claramente definidos y en diferentes dominios. Muestran cómo se comportan los modelos cuando se controlan las condiciones y permiten seguir el progreso a lo largo del tiempo. Sin embargo, los textos del mundo real pueden ser más confusos: contenido mixto de humanos e inteligencia artificial, idiomas distintos del inglés, artefactos de formato, fragmentos muy breves, jerga especializada. En la práctica, vemos una fuerte correlación entre el rendimiento de las pruebas comparativas y la solidez del mundo real, pero aun así recomendamos tratar la salida del detector como una señal importante en lugar de un veredicto final, especialmente en situaciones de alto riesgo.

Question 9

¿Con qué frecuencia actualiza y reevalúa el modelo?

Accepted Answer

Lanzamos nuevas versiones sólo después de ejecutar nuevamente el mismo conjunto de pruebas. En nuestro informe puede ver varias iteraciones del modelo (por ejemplo, versiones de septiembre y diciembre de 2024) con filas separadas en las tablas RAID, GRiD y CUDRT. Si una nueva versión no coincide al menos con la anterior en estos puntos de referencia con tasas de falsos positivos comparables, no la enviamos. De esta manera, la aplicación web y API siempre utilizan un modelo cuyo rendimiento está documentado y es fácil de auditar.

Question 10

¿Por qué califica a It's AI como de última generación?

Accepted Answer

Utilizamos el término "de última generación" sólo en relación con los resultados de las pruebas comparativas. It's AI alcanza o supera las mejores puntuaciones publicadas en los puntos de referencia en los que participamos: - lidera la clasificación de RAID con un 94,2 % de precisión y un 5 % de FPR en textos no atacados; - encabeza el marcador MGTD ROC-AUC con una puntuación de 0,92; - en GRiD y CUDRT supera las líneas base del detector propuestas originalmente para esos conjuntos de datos. Eso es lo que queremos decir cuando decimos que It's AI es un detector de texto con IA de última generación: la afirmación está vinculada directamente a puntos de referencia transparentes de terceros en lugar de pruebas internas opacas.

¿Puedo confiar en esta herramienta?

El detector de IA más preciso según el punto de referencia MGTD

RAID

99% de precisión en GRiD, HC3, GhostBuster

0,8% de tasa de falsos positivos en ASAP 2.0

Evaluación del idioma árabe

It's AI — Precisión inigualable en la que puede confiar

Asegure la originalidad de su trabajo