Analisador de duplicados

Antes de eliminar repetições numa lista, convém saber quais os valores repetidos e quantas vezes aparecem. O analisador de duplicados prepara esse inventário com um elemento por linha: referências de encomendas, identificadores de participantes, endereços copiados ou mensagens de registo. Apresenta apenas as linhas repetidas, acompanhadas do número total de ocorrências. A lista original permanece no campo de entrada. O resultado é um relatório de frequências, não uma nova lista sem duplicados nem uma verificação de unicidade com base em várias colunas de uma tabela.

Os finais de linha CRLF do Windows e os retornos CR isolados são convertidos em LF antes de dividir o texto. Cada linha física passa a ser um valor independente para comparação. As linhas completamente vazias são ignoradas, mas uma linha que contenha apenas espaços continua a ser um valor real e pode aparecer como um duplicado invisível. Não existe um cabeçalho especial: um título repetido é contado como qualquer outra linha da entrada.

A comparação é exata. Conserva maiúsculas, acentos, tabulações e espaços iniciais ou finais. Braga, braga e Braga seguido de um espaço formam três grupos distintos. Não há normalização Unicode, correção de endereços nem conversão numérica. Por isso, o identificador 0012 não é agrupado com 12. Este comportamento permite encontrar cadeias idênticas, mas não nomes aproximados, erros de escrita ou possíveis inscrições da mesma pessoa que apresentem textos diferentes.

O contador aumenta a cada ocorrência e, no fim, ficam apenas os valores presentes pelo menos duas vezes. O relatório é ordenado por frequência decrescente; em caso de empate, mantém-se a ordem da primeira ocorrência. Cada linha de saída começa pelo total, seguido de × e do valor original. Um total de três significa três ocorrências presentes, ou seja, duas a mais se pretender conservar uma. Quando nada se repete, a saída fica vazia: isso não indica uma falha de leitura.