============================================================
  CONVERSOR PDF/TXT E ANONIMIZADOR OFFLINE
  Para uso em documentos sob segredo de justica
============================================================

NOVIDADE DA VERSAO v6 (2026-10-07)
  CONVERSOR CORRIGIDO. Em PDFs do e-SAJ, as paginas ESCANEADAS
  podiam sair VAZIAS no .txt, sem nenhum aviso. Motivo: o e-SAJ
  grava em toda pagina um carimbo de texto ("Para conferir o
  original...", "fls. N"), e o conversor confundia esse carimbo
  com conteudo digital e pulava o OCR. Agora os carimbos do e-SAJ
  e do e-proc sao descontados antes da decisao, a pagina
  escaneada passa pelo OCR e o marcador "fls. N" continua no
  .txt, uma vez por pagina.
  ATENCAO: se voce converteu autos do e-SAJ com paginas
  escaneadas usando versao anterior, RECONVERTA-OS.
  Novo teste rapido do conversor: teste_converter.py (~10 s).

NOVIDADE DA VERSAO v5 (2026-09-24)
  ANONIMIZADOR REFORCADO. Corrigido um vazamento: nome precedido
  de pronome de tratamento ("Sra. Ana Lucia Ferreira Gomes",
  "Dr. Pedro Henrique Albuquerque") podia sair INTEIRO sem
  anonimizar. Agora o tratamento e aparado e o nome vira iniciais.
  Novos dados tarjados: RG sem a sigla "RG", CPF em grafia de OCR
  (com espacos), CNPJ ALFANUMERICO (novo formato da Receita desde
  31/07/2026), PIS/NIT, titulo de eleitor, CTPS, cartao SUS,
  passaporte, placa de veiculo, chassi, cartao de credito, conta e
  agencia, beneficio do INSS, matricula, IPTU, registro em
  conselho profissional (CRM, CREA, CRESS...), perfil de rede
  social e o NUMERO/complemento do endereco (a rua fica).
  Nova pergunta ao anonimizar: "Sigilo total? [S/N]". Com S, o
  numero do processo e as datas de nascimento tambem sao tarjados
  (use quando o texto vai sair da sua maquina).
  Menos ruido: marcas (VW, Fiat, Instagram) nao viram iniciais e
  nao ha mais ponto duplo depois das iniciais.
  Limpar Metadados agora aceita .doc antigo (exige Word instalado).
  Texto anonimizado sem "zona cega": autos com mais de 1 milhao de
  caracteres sao analisados por inteiro.
  Documentos anonimizados com versoes anteriores: vale a pena
  reprocessar os que citam pessoas com "Dr./Dra./Sr./Sra.".

NOVIDADE DA VERSAO v4 (12/08/2026)
  Nova ferramenta: LIMPAR METADADOS. O anonimizador entrega um
  .txt (que nao carrega metadado). Mas quando voce monta a peca
  final em Word ou a exporta para PDF, esse arquivo NOVO nasce
  com dados ocultos que identificam a origem (autor, datas, nome
  do software, empresa, template, comentarios, historico de
  revisoes). A nova ferramenta remove tudo isso do documento
  FINAL, antes de protocolar. Veja a PARTE 3.

NOVIDADE DA VERSAO v3 (22/07/2026)
  O conversor agora extrai PDFs MISTOS por completo: em autos
  com parte digital e parte escaneada, cada pagina e tratada
  individualmente (texto embutido quando ha, OCR quando nao ha).
  Nas versoes anteriores, paginas escaneadas no meio de um PDF
  digital podiam ficar de fora do .txt sem aviso. Se voce
  converteu PDFs mistos com versao antiga, reconverta-os.

O QUE E ISTO
  Tres ferramentas que rodam 100%% na sua maquina, sem enviar
  nada para a internet:

  1. CONVERSOR   - transforma PDF em texto simples (.txt).
                   Funciona com PDF digital e PDF escaneado (OCR).
  2. ANONIMIZADOR - remove dados pessoais de um .txt: NOMES, CPF,
                   CNPJ, RG, OAB, PIS, titulo de eleitor, CTPS, SUS,
                   passaporte, placa, conta, CEP, e-mail, telefone,
                   redes sociais, numero do endereco e outros.
  3. LIMPAR METADADOS - remove os dados ocultos do documento
                   FINAL (.doc, .docx ou PDF) que voce vai protocolar.

  Depois de instalado, tudo funciona offline.


============================================================
  PARTE 1 - REQUISITO PREVIO: PYTHON
============================================================

Antes de instalar, voce precisa ter o Python 3.10 ou superior.

Se ainda nao tiver:
  1. Acesse: https://www.python.org/downloads/
  2. Clique no botao grande "Download Python 3.x.x"
  3. Execute o instalador
  4. IMPORTANTE: MARQUE a caixa "Add Python to PATH"
     (fica embaixo, ANTES de clicar em Install)
  5. Clique em "Install Now" e aguarde.

Para conferir: abra o PowerShell e digite  python --version
Deve aparecer "Python 3.10" ou maior.


============================================================
  PARTE 2 - COMO INSTALAR
============================================================

1. Extraia esta pasta (conversor-anonimizador-offline) em
   qualquer local (ex: Downloads ou Documentos).

2. Clique com o botao DIREITO no arquivo "instalar.ps1"
   e escolha "Executar com PowerShell".

   Se aparecer aviso de seguranca do Windows, clique em
   "Abrir" / "Executar assim mesmo".

   Se der erro de permissao, abra o PowerShell e rode:
       Set-ExecutionPolicy Bypass -Scope Process
       cd "CAMINHO\DA\PASTA\EXTRAIDA"
       .\instalar.ps1

3. O instalador faz o resto sozinho (precisa de INTERNET):
       - Confere o Python
       - Cria a pasta C:\claude-code-backup\pipeline_juridica
       - Monta o ambiente Python e baixa as dependencias
       - Baixa o modelo de linguagem portugues (~550 MB, demora)
       - Instala o Tesseract OCR (se possivel)
       - Cria os atalhos na area de trabalho

4. No final deve aparecer "INSTALACAO CONCLUIDA COM SUCESSO!".


============================================================
  PARTE 3 - COMO USAR
============================================================

Apos instalar, voce tera 5 atalhos na area de trabalho.
O uso e sempre o mesmo: ABRA o atalho e ARRASTE o arquivo
(ou a pasta) para a janela preta, depois tecle Enter.

  [ Converter PDF para TXT ]
      Arraste um PDF (ou uma pasta com PDFs).
      Gera o arquivo .txt ao lado do PDF original.

  [ Anonimizar - Padrao-Seguranca ]   <-- RECOMENDADO
      Arraste um .txt (ou pasta com .txt).
      Detecta TODOS os nomes de pessoa automaticamente e
      prioriza NUNCA deixar vazar um nome. Pode "anonimizar
      demais" trechos em MAIUSCULAS - isso e proposital e seguro.
      Ideal para segredo de justica e PDFs escaneados.

  [ Anonimizar - Classico ]
      Mais conservador: anonimiza so o que o modelo tem certeza
      que e pessoa. Gera menos "ruido", mas pode DEIXAR ESCAPAR
      nomes (grafia rara, texto em maiusculas, OCR ruim).
      Use so em documentos DIGITAIS LIMPOS.
      Recomendado informar os nomes das partes neste modo.

  [ Converter e Anonimizar ]
      Faz as duas etapas de uma vez: PDF -> TXT -> anonimizado.

  [ Limpar Metadados (docx e PDF) ]   <-- PASSO FINAL
      Arraste o documento PRONTO que voce vai protocolar (o .docx
      montado no Word ou o PDF exportado), ou uma pasta com eles.
      Remove os dados ocultos que identificam a origem: autor,
      "modificado por", datas, nome do software, empresa, gerente,
      template, tempo de edicao, propriedades personalizadas,
      comentarios e historico de revisoes.
      Gera uma copia *_limpo ao lado; o original NAO e alterado.
      Use SEMPRE este arquivo *_limpo para protocolar.

      ATENCAO: as marcas de controle de alteracoes (revisoes) sao
      REJEITADAS - o texto volta ao original (insercoes desfeitas,
      delecoes restauradas). A ferramenta avisa quando um arquivo
      tinha revisoes; nesse caso, reconfira o texto antes de usar.

Em qualquer modo de anonimizacao voce pode, opcionalmente,
digitar nomes para REFORCAR a deteccao, separados por ponto
e virgula. Exemplo:  Joao Silva Souza; Maria Lima Santos

Em seguida a janela pergunta "Sigilo total? [S/N]":
  N (padrao) - mantem o numero do processo e as datas de
               nascimento (uteis na analise interna).
  S          - tarja tambem esses dois dados. Use sempre que
               o texto for SAIR da sua maquina.

O anonimizador gera dois arquivos:
  - arquivo_anon.txt       -> texto com dados pessoais removidos
  - arquivo_anon_mapa.txt  -> mapa do que foi trocado (SIGILOSO)


============================================================
  PARTE 4 - SEGURANCA (LEIA COM ATENCAO)
============================================================

  - Tudo roda OFFLINE. Nenhum documento e enviado para a internet.

  - SEMPRE confira o arquivo _anon_mapa.txt antes de usar a peca.
    A deteccao automatica e uma REDE DE SEGURANCA, nao substitui
    a revisao humana.

  - NUNCA envie o _anon_mapa.txt junto com o texto anonimizado.
    Ele permite reidentificar as partes.

  - Em documentos escaneados (OCR), sobra algum "ruido": frases
    inteiras em maiusculas podem virar iniciais. Isso e o preco
    de nao vazar nome. Confira sempre o resultado.

  - ANONIMIZAR O TEXTO NAO BASTA. O arquivo .docx/PDF que voce
    protocola carrega metadados ocultos (autor, datas, software,
    revisoes) que identificam a origem mesmo com o texto limpo.
    Rode "Limpar Metadados" no documento FINAL antes de enviar,
    e use o arquivo *_limpo gerado.


============================================================
  PARTE 5 - USO AVANCADO (PELO POWERSHELL)
============================================================

  # Converter um PDF
  & "C:\claude-code-backup\pipeline_juridica\.venv\Scripts\python.exe" `
    "C:\claude-code-backup\pipeline_juridica\converter.py" "C:\caminho\arquivo.pdf"

  # Forcar OCR com mais qualidade (PDF escaneado ruim)
  & "C:\claude-code-backup\pipeline_juridica\.venv\Scripts\python.exe" `
    "C:\claude-code-backup\pipeline_juridica\converter.py" "arquivo.pdf" --ocr-forcar --ocr-dpi 400

  # Anonimizar reforcando nomes
  & "C:\claude-code-backup\pipeline_juridica\.venv\Scripts\python.exe" `
    "C:\claude-code-backup\pipeline_juridica\anonimizar.py" "arquivo.txt" `
    --nomes "Joao Silva; Maria Lima"

  # Anonimizar com sigilo total (processo e datas de nascimento tambem)
  & "C:\claude-code-backup\pipeline_juridica\.venv\Scripts\python.exe" `
    "C:\claude-code-backup\pipeline_juridica\anonimizar.py" "arquivo.txt" --sigilo-total

  # Testar rapidamente se o conversor esta integro (4 casos, ~10 s)
  & "C:\claude-code-backup\pipeline_juridica\.venv\Scripts\python.exe" `
    "C:\claude-code-backup\pipeline_juridica\teste_converter.py"

  # Testar rapidamente se o anonimizador esta integro (31 casos, ~1 min)
  & "C:\claude-code-backup\pipeline_juridica\.venv\Scripts\python.exe" `
    "C:\claude-code-backup\pipeline_juridica\teste_anonimizar_rapido.py"

  # Anonimizar no modo classico (conservador)
  & "C:\claude-code-backup\pipeline_juridica\.venv\Scripts\python.exe" `
    "C:\claude-code-backup\pipeline_juridica\anonimizar.py" "arquivo.txt" --classico

  # Limpar metadados de um .docx ou PDF final (revisoes REJEITADAS)
  & "C:\claude-code-backup\pipeline_juridica\.venv\Scripts\python.exe" `
    "C:\claude-code-backup\pipeline_juridica\limpar_metadados.py" "peca_final.docx"

  # ... mantendo as revisoes ACEITAS, em vez de rejeitadas
  & "C:\claude-code-backup\pipeline_juridica\.venv\Scripts\python.exe" `
    "C:\claude-code-backup\pipeline_juridica\limpar_metadados.py" "peca_final.docx" --aceitar-revisoes


============================================================
  PARTE 6 - SOLUCAO DE PROBLEMAS
============================================================

  "python nao e reconhecido como comando"
     -> Reinstale o Python marcando "Add Python to PATH".

  "Erro de permissao no PowerShell"
     -> Rode antes:  Set-ExecutionPolicy Bypass -Scope Process

  "Tesseract nao encontrado"
     -> O instalador tenta instalar via winget. Se falhar, baixe de
        https://github.com/UB-Mannheim/tesseract/wiki
        Instale em C:\Program Files\Tesseract-OCR e MARQUE
        o idioma "Portuguese".

  "O texto extraido esta ilegivel / cheio de simbolos"
     -> PDF escaneado de baixa qualidade. Rode com DPI maior:
        ...converter.py "arquivo.pdf" --ocr-forcar --ocr-dpi 400

  "O anonimizador nao pegou todos os nomes"
     -> Use o modo Padrao-Seguranca e/ou informe os nomes com
        ponto e virgula. Sempre confira o _anon_mapa.txt.

  "A limpeza de .doc antigo falha / pede pywin32"
     -> O .doc (Word binario) exige o Microsoft Word instalado na
        maquina e os pacotes pywin32 e olefile. Alternativa: abra o
        .doc no Word, salve como .docx e limpe o .docx.

  "A limpeza de metadados diz que o PDF esta protegido"
     -> O PDF tem senha. Abra-o, salve/exporte uma copia SEM
        senha e rode a limpeza nessa copia.

  "Depois de limpar metadados, o texto da peca mudou"
     -> O documento tinha controle de alteracoes (revisoes), que
        sao REJEITADAS por padrao (volta ao texto original). Se
        voce queria manter as alteracoes, rode pelo PowerShell com
        a opcao --aceitar-revisoes (veja a PARTE 5).


============================================================
  SOLUCAO DE PROBLEMAS
============================================================

"OS NOMES CONTINUAM APARECENDO NO ARQUIVO"
  1. Confira QUAL arquivo voce abriu. O anonimizador NAO altera
     o .txt original. Ele cria um arquivo NOVO ao lado:
         documento.txt        -> texto original (com nomes)
         documento_anon.txt   -> texto ANONIMIZADO (use este)
         documento_anon_mapa.txt -> mapa sigiloso (nao envie)
  2. Se NAO existe nenhum arquivo _anon.txt na pasta, a
     anonimizacao falhou. A causa mais comum e o modelo de
     linguagem nao ter sido baixado na instalacao (proxy da
     rede). Teste colando no PowerShell:

       C:\claude-code-backup\pipeline_juridica\.venv\Scripts\python.exe -c "import spacy; spacy.load('pt_core_news_lg'); print('MODELO OK')"

     Se NAO aparecer "MODELO OK", instale o modelo:

       C:\claude-code-backup\pipeline_juridica\.venv\Scripts\python.exe -m spacy download pt_core_news_lg

     Sem internet liberada: baixe o arquivo .whl do modelo em
     https://github.com/explosion/spacy-models/releases
     (pt_core_news_lg compativel com o spaCy instalado) e rode:

       C:\claude-code-backup\pipeline_juridica\.venv\Scripts\python.exe -m pip install CAMINHO\DO\ARQUIVO.whl

"O SCRIPT instalar.ps1 FOI BLOQUEADO PELO WINDOWS"
  O arquivo veio da internet e o Windows marca isso. Clique com
  o botao direito no arquivo > Propriedades > marque
  "Desbloquear" > Aplicar. Ou, no PowerShell, dentro da pasta:
       Get-ChildItem -Recurse | Unblock-File

LEMBRETE FINAL
  A anonimizacao automatica e uma rede de seguranca, nao um
  substituto de revisao. SEMPRE abra o _anon.txt e o
  _anon_mapa.txt e confira antes de usar o texto fora da
  sua maquina.
