Reinforcement learning control of robot manipulator

Resumo

Desde o estabelecimento da robótica em aplicações industriais, a programação de robôs manipuladores envolve o processo repetitivo e demorado de especificação manual de uma trajetória fixa, o que resulta em tempo ocioso de produção e na necessidade de reprogramação completa para diferentes tarefas a serem executadas pelo robô. A tendência de aumento das aplicações da robótica em ambientes não estruturados requer controladores inteligentes e reativos, devido respectivamente à imprevisibilidade do ambiente e a medidas de segurança. Este artigo apresenta uma análise comparativa de duas classes de algoritmos de Aprendizagem por Reforço, iteração de valor (Q-Learning / DQN) e iteração de política (REINFORCE), aplicada à tarefa discretizada de posicionar um manipulador robótico em um ambiente simulado repleto de obstáculos, sem conhecimento prévio das posições dos obstáculos ou da dinâmica do braço do robô. O desempenho do agente e a convergência do algoritmo são analisados sob diferentes funções de recompensa e em quatro projetos de teste cada vez mais complexos: robô 1-DOF, robô 2-DOF, robô industrial Kuka KR16, robô industrial Kuka KR16 com setpoint em posição aleatória. O algoritmo DQN apresentou desempenho significativamente melhor e tempo de treinamento reduzido em todos os projetos de teste e a terceira função de recompensa gerou melhores agentes para ambos os algoritmos.