Copyleaks AI Detector: Uma Avaliação Abrangente de Precisão

A Copyleaks desenvolveu uma metodologia de teste abrangente para avaliar a precisão de seu Detector de IA, especificamente o modelo V5. Essa abordagem visa fornecer transparência sobre o desempenho do detector, incluindo suas taxas de precisão, falsos positivos e negativos, e áreas para melhoria. Os testes foram realizados em 25 de maio de 2024, enfatizando a importância do uso responsável e da adoção da tecnologia de detecção de IA.

A Copyleaks emprega um sistema de avaliação de duas equipes, envolvendo tanto a equipe de Ciência de Dados quanto a equipe de QA. Essas equipes trabalham de forma independente com dados e ferramentas de avaliação separados, garantindo resultados imparciais e objetivos. Os dados de teste são distintos dos dados de treinamento, focando em conteúdos novos e não vistos para avaliar com precisão o desempenho do modelo em cenários do mundo real.

A metodologia de teste envolve a coleta de conjuntos de dados diversos de textos escritos por humanos e gerados por IA. Os textos humanos são obtidos de publicações da era pré-IA ou de fontes confiáveis verificadas, enquanto os textos gerados por IA vêm de vários modelos de IA. A API da Copyleaks é usada para processar esses textos, e os resultados são comparados com rótulos conhecidos para calcular a precisão e outras métricas de desempenho.

O teste da equipe de Ciência de Dados incluiu 250.030 textos escritos por humanos e 123.244 textos gerados por IA em inglês, todos com mais de 350 caracteres de comprimento. Eles usaram várias métricas de avaliação, incluindo matriz de confusão, precisão, Taxa de Verdadeiro Negativo (TNR), Taxa de Verdadeiro Positivo (TPR), F-beta Score e ROC-AUC para avaliar o desempenho do modelo de forma abrangente.

A equipe de QA conduziu um teste independente com 320.000 textos escritos por humanos e 162.500 textos gerados por IA, também em inglês e com mais de 350 caracteres. Eles forneceram análises detalhadas do desempenho do modelo em conjuntos de dados apenas humanos e apenas de IA, incluindo taxas de precisão para vários modelos de IA.

A Copyleaks realiza análises de erro contínuas para melhorar o modelo. Os erros são sistematicamente registrados e categorizados em um processo de análise de causa raiz. Isso inclui a análise de dados históricos para identificar e corrigir falsos positivos, garantindo a melhoria contínua do Detector de IA.

A Copyleaks incentiva os usuários a realizar testes no mundo real de seu Detector de IA. Eles se comprometem a manter a transparência contínua sobre suas metodologias de teste, taxas de precisão e considerações importantes à medida que novos modelos são lançados. Essa abordagem visa manter a confiança e garantir o uso responsável da tecnologia de detecção de IA em várias aplicações.