Redblock: a tool for online deduplication on large datasets

Authors

DOI:

https://doi.org/10.5335/rbca.v9i2.7143

Keywords:

Integração de Dados, Deduplicação Online, Blocagem.

Abstract

Online data deduplication aims to identify records that represent the same purpose on a continuous data flow environment. It must be able to process a range of information with high effectiveness and no delays. The purpose of this paper is to introduce a developed tool entitled Redblock, for real-time data deduplication, using a distributed platform for online processing combined with an Inverted Index. During the experimental evaluation, Redblock managed to provide good preliminary results in terms of efficiency and effectiveness in a database.

Downloads

Download data is not yet available.

Author Biographies

  • Luan Félix Pimentel, Universidade Federal da Fronteira Sul
    Acadêmico do curso de Ciência da Computação da Universidade Federal da Fronteira Sul (UFFS), Campus Chapecó/SC. Foi contemplado com bolsa pela CAPES e a Higher Education Authority para intercâmbio pelo programa Ciência sem Fronteiras (Nº138/2013) na University of Limerick, também na Irlanda. Trabalhou como pesquisador assistente do The Irish Software Research Centre (LERO) exercendo atividades voltadas para a área de Engenharia de Software e editoração multimídia (2014). Durante o mesmo período contribuiu como voluntário da HOPE IN MOTION, organização sem fins lucrativos na Irlanda, onde prestou assistência educacional e cuidados a idosos e crianças com necessidades especiais. Atualmente é membro diretor da empresa júnior FronteiraTec e membro fundador do GEPES (Grupo de Estudos e Pesquisa em Engenharia de Software), além de ser bolsista de iniciação científica e tecnológica em sua universidade.
  • Guilherme Dal Bianco, Universidade Federal da Fronteira Sul
    Guilherme Dal Bianco is an adjunct professor of computer science at the Federal University of Fronteira Sul (UFFS), Brazil. His research interests include data matching, data integration and Big Data.

Downloads

Published

2017-07-28

Issue

Vol. 9 No. 2 (2017)

Section

Artigos selecionados em Conferências - XIII ERBD (2017)

License

Licença Creative Commons
Todos os artigos estão licenciados com a licença Creative Commons Atribuição-NãoComercial-SemDerivações 4.0 Internacional. Autores que publicam nesta revista concordam com os seguintes termos:
a) Autores mantém os direitos autorais e concedem à revista o direito de primeira publicação, com o trabalho simultaneamente licenciado sob a Licença Creative Commons Attribution que permite o compartilhamento do trabalho com reconhecimento da autoria e publicação inicial nesta revista.
b) Autores têm autorização para assumir contratos adicionais separadamente, para distribuição não-exclusiva da versão do trabalho publicada nesta revista (ex.: publicar em repositório institucional ou como capítulo de livro), com reconhecimento de autoria e publicação inicial nesta revista.
c) Autores têm permissão e são estimulados a publicar e distribuir seu trabalho online (ex.: em repositórios institucionais ou na sua página pessoal) a qualquer ponto antes ou durante o processo editorial, já que isso pode gerar alterações produtivas, bem como aumentar o impacto e a citação do trabalho publicado (Veja O Efeito do Acesso Livre).

How to Cite

[1]
2017. Redblock: a tool for online deduplication on large datasets. Brazilian Journal of Applied Computing. 9, 2 (Jul. 2017), 125–134. DOI:https://doi.org/10.5335/rbca.v9i2.7143.