ANÁLISE DE MUDANÇAS DE CONCEITO EM DATASETS REAIS

INTRODUÇÃO: Mudanças de conceito ocorrem quando a distribuição dos dados muda, isto é, a relação entre as covariadas de um problema e as classes é alterada ao longo do tempo. Mudanças de conceito são de interesse na academia e indústria e, portanto, existem diversas publicações científicas realizadas por pesquisadores e praticantes aplicando estas técnicas em dados sintéticos e reais. OBJETIVOS: Este projeto objetiva analisar potenciais mudanças de conceito em bases de dados (datasets) reais. MATERIAIS E MÉTODO: Em particular, foi utilizado o teste estatístico V de Cramer para análise de dependências temporais nas bases de dados que fossem de classificação. A identificação de dependências temporais é um passo importante na determinação da existência – ou não- de mudanças de conceitos em bases de dados. RESULTADOS: O teste V de Cramer foi implementado em Python e aplicado em mais de 80 bases de dados comumente utilizados em avaliações de artigos científicos. CONSIDERAÇÕES FINAIS: Os resultados foram validados tomando como base experimentações reportadas em diferentes artigos científicos. Finalmente, o script desenvolvido permitirá novas análises de autocorrelação e dependências temporais em bases de dados por parte da comunidade científica.

PALAVRAS-CHAVE: Mudança de conceito; Fluxos contínuos de dados; Teste V de Cramer.