Artificial neural networks with bayesian optimization and feature selection applied to regression in engineering problems

Abstract

O presente trabalho consiste na implementação de Modelagem Baseada em Dados (MBD) com técnicas de Aprendizado de Máquina (AM), especificamente Redes Neurais Artificiais (RNA), como uma abordagem ao estudo da resistência da seção líquida de cantoneiras de aço parafusadas sob tração axial; da temperatura da superfície de pavimentos de concreto; e da diferença de temperatura entre a superfície e a base de lajes de concreto de pavimentos. Dois outros conjuntos de dados foram coletados de um repositório público conhecido para comparar os resultados de outros autores com os obtidos na presente dissertação. Os conjuntos de dados são compostos por amostras de testes experimentais, simulações numéricas e equações. Uma metodologia de base foi apresentada com validação cruzada 5-fold, ajuste de hiperparâmetros com Otimização Bayesiana (OB) e técnicas de regularização, como early stopping, decaimento de peso e batch normalization. Diferentes conjuntos de inputs foram utilizados, implementando algoritmos de seleção de atributos e importância de atributos, com o objetivo de alcançar modelos de acurácia satisfatória com um número reduzido de entradas. Além disso, outra metodologia foi utilizada, um algoritmo baseado em BO denominado SOFAH, Simultaneous Optimization of Feature Augmentation and Hyperparameters. Ele realiza simultaneamente a otimização de hiperparâmetros e a seleção de inputs das RNAs. O SOFAH visa aprimorar os modelos da metodologia de base, ao mesmo tempo que fornece informações sobre as variáveis importantes para a previsão da variável de resposta. Os modelos desenvolvidos, tanto nos conjuntos de dados coletados quanto em dados de repositórios públicos, atingiram alta acurácia e proveram informações acerca das variáveis mais relevantes. Em geral, os resultados deste trabalho demonstram a eficácia das técnicas de AM e da modelagem baseada em dados como ferramentas ponderosas para o estudo e previsão de propriedades físicas relevantes para problemas de engenharia.