ENTROPIAS DE SHANNON E RÉNYI APLICADAS AO RECONHECIMENTO DE PADRÕES

Abstract

Esse artigo teórico apresenta e discute os conceitos de entropia e informação mútua da Teoria da Informação aplicados ao reconhecimento de padrões, partindo, principalmente, das ideias de Shannon e Rényi. Tendo por base a diversidade de aplicação da teoria, como nas áreas de engenharia, estatística, economia e informática e a escassez de bibliografia em português, expõe-se uma maneira de utilizar a entropia aplicada à pesquisa, com uma aplicação mostrada para a construção de árvore de decisão. Também são debatidas similaridade e diferenças com o conceito físico de entropia.