Análise comparativa da aplicação dos algoritmos de aprendizagem automática Random Forest e Regressão Logística na classificação de conjuntos de textos

Resumo

Gerir a imensa quantidade de dados não estruturados que geramos hoje seria impensável sem a classificação automática de textos. Esta ferramenta tornou-se indispensável para tarefas tão variadas como a análise de sentimentos ou o controlo das notícias falsas. No entanto, surge um dilema técnico importante: apesar da enorme oferta de algoritmos concebidos para estes fins, ainda não existe um consenso claro sobre qual é o mais eficaz para cada conjunto de dados específico. Para atenuar este problema, a comparação da investigação atual avalia a robustez de dois modelos. Estes modelos são o Random Forest, que funciona com conjuntos de árvores, e a Regressão Logística, um modelo linear. Para este efeito, foi adotado um desenho experimental fatorial com pré-processamento padrão, a adição de aumento de dados para reduzir a limitação de amostras e análise de representação através de N-gramas. Por outras palavras, parece que a Regressão Logística funciona melhor do que o Random Forest, atingindo um F1-Score máximo de 0,9797 quando utilizada em conjunto com o aumento de dados e unigramas. Para textos médicos curtos, a linearidade do modelo e o enriquecimento sintético do corpus revelam-se uma solução mais eficiente e precisa em comparação com os conjuntos não lineares.