Limpar um ficheiro de texto
Limpar o texto, remover linhas vazias e duplicadas e descarregar o resultado.
Para que serve este modelo?
Limpar o texto, remover linhas vazias e duplicadas e descarregar o resultado.
O modelo limpa um ficheiro de texto inteiro (TXT, CSV lido como texto, Markdown ou registo): normaliza os espaços, retira as linhas vazias e as repetidas e transfere um novo ficheiro TXT. Evita abrir um ficheiro grande num editor para o corrigir à mão.
Etapas da Pipeline
Este modelo encadeia automaticamente 5 etapas no Workspace. Pode rever cada definição antes da execução.
- 1Importar um ficheiro de texto
- 2Limpar espaços e linhas
- 3Remover linhas vazias
- 4Remover linhas duplicadas
- 5Transferir em TXT
Porque é que os passos estão nesta ordem
A limpeza dos espaços vem primeiro, para que linhas que só diferem por espaços fiquem idênticas. Ao retirar as linhas vazias, desaparecem também as que só tinham espaços, e depois a remoção de duplicados trabalha sobre linhas limpas.
Quando utilizar este modelo?
- Retirar os duplicados de uma lista exportada em TXT antes de a importar numa ferramenta.
- Aligeirar um ficheiro de notas cheio de linhas vazias.
- Preparar uma lista de URL ou identificadores extraída de outro sistema.
Processamento local no navegador
Quando os módulos utilizados suportam processamento local, os seus ficheiros permanecem no dispositivo durante a execução.
Definições a verificar
- Ficheiro de origem: TXT, CSV, Markdown ou registo, lido linha a linha.
- Nome do ficheiro produzido: «resultat.txt» por defeito.
- Os três passos de limpeza não têm definições.
Exemplo
- Antes
- Ficheiro com 5000 linhas de identificadores, das quais 600 vazias e 1100 repetidas.
- Depois
- resultat.txt com 3300 identificadores únicos, pela ordem original.
Limites a conhecer
- Num registo, dois eventos idênticos em momentos diferentes são fundidos: não use este modelo para contar ocorrências.
- Um CSV é tratado como texto: uma linha de cabeçalho repetida é retirada, mas as colunas não são analisadas.
- As linhas mantidas seguem a ordem do ficheiro, sem ordenação.