Copyleaks AI Detector: Una Evaluación Integral de la Precisión

Copyleaks ha desarrollado una metodología de prueba integral para evaluar la precisión de su AI Detector, específicamente el modelo V5. Este enfoque tiene como objetivo proporcionar transparencia sobre el rendimiento del detector, incluyendo sus tasas de precisión, falsos positivos y negativos, y áreas de mejora. Las pruebas se llevaron a cabo el 25 de mayo de 2024, enfatizando la importancia del uso responsable y la adopción de la tecnología de detección de IA.

Copyleaks emplea un sistema de evaluación de doble departamento, involucrando tanto a los equipos de Ciencia de Datos como de QA. Estos equipos trabajan de manera independiente con datos y herramientas de evaluación separadas, asegurando resultados imparciales y objetivos. Los datos de prueba son distintos de los datos de entrenamiento, centrándose en contenido nuevo y no visto para evaluar con precisión el rendimiento del modelo en escenarios del mundo real.

La metodología de prueba implica la recopilación de conjuntos de datos diversos de textos escritos por humanos y generados por IA. Los textos humanos se obtienen de publicaciones de la era pre-IA o de fuentes confiables verificadas, mientras que los textos generados por IA provienen de varios modelos de IA. La API de Copyleaks se utiliza para procesar estos textos, y los resultados se comparan con etiquetas conocidas para calcular la precisión y otros métricas de rendimiento.

La prueba del equipo de Ciencia de Datos incluyó 250,030 textos escritos por humanos y 123,244 textos generados por IA en inglés, todos superando los 350 caracteres de longitud. Utilizaron varias métricas de evaluación, incluyendo matriz de confusión, precisión, Tasa de Verdaderos Negativos (TNR), Tasa de Verdaderos Positivos (TPR), Puntaje F-beta y ROC-AUC para evaluar de manera integral el rendimiento del modelo.

El equipo de QA realizó una prueba independiente con 320,000 textos escritos por humanos y 162,500 textos generados por IA, también en inglés y superando los 350 caracteres. Proporcionaron desgloses detallados del rendimiento del modelo en conjuntos de datos solo humanos y solo de IA, incluyendo tasas de precisión para varios modelos de IA.

Copyleaks lleva a cabo un análisis de errores continuo para mejorar el modelo. Los errores se registran y categorizan sistemáticamente en un proceso de análisis de causas raíz. Esto incluye analizar datos históricos para identificar y corregir falsos positivos, asegurando la mejora continua del AI Detector.

Copyleaks anima a los usuarios a realizar pruebas en el mundo real de su AI Detector. Se comprometen a mantener la transparencia sobre sus metodologías de prueba, tasas de precisión y consideraciones importantes a medida que se lanzan nuevos modelos. Este enfoque tiene como objetivo mantener la confianza y asegurar el uso responsable de la tecnología de detección de IA en diversas aplicaciones.