CONTROLLER TUNING VIA MULTI-OBJECTIVE COMPUTATIONAL INTELLIGENCE

INTRODUÇÃO: O projeto e a manutenção de sistemas são tarefas complexas devido à necessidade de atender a múltiplas especificações de desempenho, muitas vezes
conflitantes. O projeto de sistema busca o melhor compromisso entre essas especificações, enquanto a manutenção visa garantir que o equipamento funcione com máxima disponibilidade e custos mínimos. Problemas que envolvem múltiplos objetivos são conhecidos como problemas multiobjetivos, que são muito comuns na área de engenharia de controle. OBJETIVOS: O objetivo geral desta pesquisa é avaliar a usabilidade de técnicas de inteligência computacional multiobjetivo em tarefas de ajuste de controladores. No particular, explorar a integração de técnicas de aprendizagem por reforço, com recompensas multiobjetivo, com algoritmos clásicos de auto-ajuste de controladores PID. MATERIAIS E MÉTODO: Este trabalho utiliza duas principais referências teóricas: “Controller Tuning with Evolutionary Multiobjective Optimization” e “Machine Learning”. A primeira obra foca nos três primeiros capítulos, abordando a definição de problemas multiobjetivos, o processo de otimização multiobjetivo e a tomada de decisão multicritério. A obra de Mitchell (1997) fornece uma base para o aprendizado de máquina, incluindo técnicas como Reinforcement Learning. A implementação prática é realizada no MATLAB, utilizando a estratégia de K-Bandit para o sistema de recompensa, com a técnica e- greedy para a troca entre hipóteses testadas e não testadas. RESULTADOS: Foi possível integrar o algoritmo K-Bandit junto com uma técnica clásica de auto-ajuste de controladores PID. Diferentes valores do parámetro que controla exploração e explotação foram evaluados. s simulações foram realizadas com um tempo de amostragem de 0,1 segundos e um ruído de amplitude 0,01. Este ambiente de simulação foi projetado para testar a robustez e a adaptabilidade de um sistema de controle sob condições variáveis. O ganho do processo, representado pela variável (K), foi ajustado em três eventos específicos para observar como o controlador se adapta a essas mudanças. Dentro desse processo de simulação, também foram avaliados diferentes valores de ε-greedy para verificar seu impacto no mecanismo adaptativo do controlador. Esta abordagem permite que o agente continue a explorar novas ações potencialmente lucrativas, enquanto ainda aproveita as ações que já demonstraram ser recompensadoras. CONSIDERAÇÕES FINAIS: Os resultados obtidos demonstraram que as técnicas de inteligência computacional multiobjetivo são eficazes na otimização de controladores,
proporcionando melhorias significativas no desempenho dos sistemas analisados, entretanto a escolha dos parâmetros deve ser algo decidido com cuidado, uma vez que como descrito nos tópicos anteriores: é um fator crítico no design de controladores adaptativos baseados em aprendizagem por reforço. A modificação do algoritmo permitiu observar essa adaptação do estudo. A análise dos resultados da simulação revela que a estratégia ε-greedy
desempenha um papel crucial na adaptabilidade do controlador. Valores diferentes de ε-greedy podem influenciar significativamente a capacidade do controlador de explorar novas ações e ajustar-se a mudanças no ambiente. Um valor muito alto pode levar a uma exploração excessiva, enquanto um valor muito baixo pode resultar em uma exploração insuficiente, limitando a capacidade do controlador de encontrar soluções
ótimas. Portanto, a escolha do valor de ε-greedy é um fator crítico no design de controladores adaptativos baseados em aprendizagem por reforço.

PALAVRAS-CHAVE: Aprendizagem por reforço; control PID; auto ajuste de controladores.