Remover duplicados

Remova os duplicados de uma lista de textos mantendo a primeira ocorrência de cada valor. A ferramenta trata uma entrada por linha e permite decidir se as maiúsculas e os espaços nas extremidades contam na comparação.

Cada linha não vazia é comparada com os valores já encontrados. Quando duas linhas são consideradas iguais, só a primeira fica no resultado. Duas opções, ativas por predefinição, ignoram as diferenças entre maiúsculas e minúsculas e retiram os espaços no início e no fim das linhas antes de comparar; desative-as para uma comparação estrita. As linhas vazias são excluídas. O contador de duplicados removidos não inclui as linhas vazias: mede apenas as ocorrências repetidas. A ferramenta não corrige a ortografia nem reconhece sinónimos. Por exemplo, «Coimbra» e «coimbra» são agrupados quando as maiúsculas são ignoradas, mas «Coimbra» e «Coinbra» continuam distintos. Guarde a lista inicial se as repetições tiverem valor estatístico. Para decidir se dois valores devem ser considerados iguais, avalie a qualidade da fonte. Numa lista de contactos, as diferenças de maiúsculas raramente importam; numa lista de códigos técnicos, podem distinguir identificadores válidos. Retirar os espaços das extremidades é prático depois de copiar e colar, mas nunca altera os espaços no meio de uma expressão. Se uma linha aparecer três vezes, a ferramenta mantém a primeira ocorrência e remove as restantes segundo as regras escolhidas. Nunca associa valores apenas parecidos. Numa auditoria, guarde uma cópia da lista original e registe as opções usadas para poder explicar o resultado. Remover duplicados não é o mesmo que contar ocorrências: se lhe interessa a frequência de cada valor, use um contador de valores.