Cria spider para Duque de Caxias RJ no padrão atual do projeto #1333

slfabio · 2024-12-15T12:51:15Z

AO ABRIR uma Pull Request de um novo raspador (spider), marque com um X cada um dos items da checklist abaixo. Caso algum item não seja marcado, JUSTIFIQUE o motivo.

Layout do site publicador de diários oficiais

Marque apenas um dos itens a seguir:

O layout não se parece com nenhum caso da lista de layouts padrão
É um layout padrão e esta PR adiciona a spider base do padrão ao projeto junto com alguns municípios que fazem parte do padrão.
É um layout padrão e todos os municípios adicionados usam a classe de spider base adequada para o padrão.

Código da(s) spider(s)

O(s) raspador(es) adicionado(s) tem os atributos de classe exigidos.
O(s) raspador(es) adicionado(s) cria(m) objetos do tipo Gazette coletando todos os metadados necessários.
O atributo de classe start_date foi preenchido com a data da edição de diário oficial mais antiga disponível no site.
Explicitar o atributo de classe end_date não se fez necessário.
Não utilizo custom_settings em meu raspador.

Testes

Uma coleta-teste da última edição foi feita. O arquivo de .log deste teste está anexado na PR.
Uma coleta-teste por intervalo arbitrário foi feita. Os arquivos de .loge .csv deste teste estão anexados na PR.
Uma coleta-teste completa foi feita. Os arquivos de .log e .csv deste teste estão anexados na PR.
completa.csv
completa.log
intervalo.csv
intervalo.log
ultima.csv
ultima.log

Verificações

Eu experimentei abrir alguns arquivos de diários oficiais coletados pelo meu raspador e verifiquei eles conforme a documentação não encontrando problemas.
Eu verifiquei os arquivos .csv gerados pela minha coleta conforme a documentação não encontrando problemas.
Eu verifiquei os arquivos de .log gerados pela minha coleta conforme a documentação não encontrando problemas.

Descrição

Resolve #616

Atualiza o código do PR #705 para o padrão atual do projeto, coletando todos os atributos do gazette.

Obs. Foi utilizada a data inicial de 02/01/2017, pois as versões anteriores não disponibilizam a data da edição. Os diários anteriores a 2017 exibem apenas a data de modificação do arquivo, que não tem relação com a data de publicação do diário.

Obs2. Revisar esse PR anrtes do #1323, pois se for integrada a função extract_date no utils, eu modificarei o código do spider de Campos-RJ para usar o método do utils.

Adiciona a função extract_date no utils do projeto para fazer o parse das datas escritas por extenso, corrigindo eventuais erros de digitação no mês.

O código utiliza a biblioteca fuzzywuzzy, que usa o algoritmo de distância Levenshtein para medir a semelhança entre duas strings e, a partir da lista de meses, selecionar o mês com a grafia correta antes de fazer o dateparser.

Para usar o fuzzywuzzy, é necessário instalar 2 bibliotecas ao projeto: fuzzywuzzy e python-Levenshtein

firefueled

Valeu @slfabio .
Tem algumas coisinhas para fazermos antes de aceitar.
Favor ver comentários.

Outra coisa, em relação ao que disse aqui:

Foi utilizada a data inicial de 02/01/2017, pois as versões anteriores não disponibilizam a data da edição. Os diários anteriores a 2017 exibem apenas a data de modificação do arquivo, que não tem relação com a data de publicação do diário.

Apesar da data da edição de diários antigos não estar explicita na página que contém os links para baixar, é possível extraí-la atraéz da url final para o diário.
Por exemplo: https://duquedecaxias.rj.gov.br/portal/boletim-oficial/2014/07-Julho/6148-15.pdf
O ano, mês, e dia estão aí. O dia é o número após a edição.

Isso não implica na não aceitação desta PR, mas significa que teremos que escrever outro raspador para pegar aqueles restantes.

firefueled · 2025-02-18T15:18:22Z

data_collection/gazette/utils.py

+def extract_date(text):
+    """Extract a date from a text. This method attempts to correct typing errors in the month.
+
+    Args:
+        text: A text containing a date with the name of the month full version (%B)
+    Returns:
+        The date, if match. Otherwise, returns None.
+    """
+
+    text = re.sub(" +", " ", text).strip()
+    match_date = re.search(r"\d{1,2}º?(\sde)? +(\w+)(\sde)? +\d{4}", text)
+    if not match_date:
+        return None
+
+    raw_date = match_date.group(0)
+    raw_date = raw_date.replace("º", "").replace("°", "")
+    month = match_date.group(2)
+    if month.lower() not in MONTHS:
+        match_month, score = process.extractOne(month, MONTHS)
+        if score < 70:
+            return None
+        raw_date = raw_date.replace(month, match_month)
+
+    parsed_datetime = dateparser.parse(raw_date, languages=["pt"])
+    return parsed_datetime.date() if parsed_datetime else None


Gostei da ideia.
O formato de data que definiu é genérico o suficiente para que seja útil para outros.

Seria bom saber se existe uma necessidade real. Quantas ocorrências de erros de digitação na data você encontrou na base inteira de diários deles?

Eu mudaria o nome do método para deixar claro exatamente o que ele faz. Indicando que ele recebe um texto por extenso E utiliza um fuzzy match para evitar erros de digitação.
Algo como date_from_text_with_fuzzy_match?

Esse é um problema recorrente em municípios que utilizam data por extenso (Ex: Duque de Caxias/RJ, Barra Mansa/RJ, Campos/RJ)

Até deixei esse comentário na issue de Campos/RJ (#1323 (comment)) para saber o que vocês acham da solução.

Sobre a quantidade de ocorrências, eu posso testar novamente nesses 3 municípios para saber, acho que não chega a 10 edições para cada município, mas pra mim o principal é que mesmo que seja pontual, o problema ocorre em diversos municípios e a há uma solução simples de contorno.

Vou aguardar a definição desse item para corrigir os outros apontamentos.

Entendido.
Concordo que vale a pena implementar essa estratégia.

Alterado nome da função alterado.

firefueled · 2025-02-18T15:19:24Z

data_collection/gazette/utils.py

+import re
+
+import dateparser
+from fuzzywuzzy import process


Todas as novas bibliotecas precisam ser adicionadas no requirements.in para que outros dev tenham acesso.
Inclusive a que mencionou na descrição: python-Levenshtein

Alterações realizadas nos arquivos de requirements.

firefueled · 2025-02-18T15:26:23Z

data_collection/gazette/spiders/rj/rj_duque_caxias.py

+
+
+class RjDuqueCaxiasSpider(BaseGazetteSpider):
+    name = "rj_duque_caxias"


Colocamos o nome inteiro do município no nome do arquivo. 😛
Adicione o _de_ que faltou para ficar duque_de_caxias.

firefueled · 2025-02-18T15:45:16Z

data_collection/gazette/spiders/rj/rj_duque_caxias.py

+
+    def parse(self, response):
+        pdf_divs = response.xpath(
+            "//i[contains(@class, 'fa-file-pdf')]/ancestor::div[1]"


Boa sacada de buscar por um filho para pegar o pai.

firefueled · 2025-02-18T15:53:03Z

data_collection/gazette/spiders/rj/rj_duque_caxias.py

+                return
+
+            raw_gazette_edtion = pdf_div.xpath("./preceding-sibling::div[2]/text()")
+            is_extra_edition = bool(


@slfabio Eu vi vários diários com o termo "vol2". Não parece que eles são edições extra porque isso não está explícito no seu conteúdo.
Você conseguiu entender o que eles são? Será que são uma continuação?

Exatamente. São a continuação de uma mesma edição.

firefueled · 2025-02-18T18:48:55Z

Tarefa criada para os diários antigos, caso aceitemos esta PR sem fazer isso.

firefueled · 2025-02-19T13:48:12Z

data_collection/gazette/spiders/rj/rj_duque_caxias.py

Obrigado pelas mudanças! Faltou só modificar o nome do arquivo em si. Para rj_duque_de_caxias.py

Cria spider para Duque de Caxias / RJ

firefueled

Bala!

firefueled · 2025-02-19T16:42:05Z

@trevineju pode juntar essa!

firefueled mentioned this pull request Dec 17, 2024

Rj duque de caxias #705

Closed

5 tasks

firefueled suggested changes Feb 18, 2025

View reviewed changes

firefueled mentioned this pull request Feb 18, 2025

Duque de Caxias-RJ - Diários antigos com layout diferente do raspador existente #1380

Open

1 task

slfabio force-pushed the rj-duque-caxias branch from 95e762c to 93a884b Compare February 18, 2025 22:22

firefueled suggested changes Feb 19, 2025

View reviewed changes

Cria spider para Duque de Caxias - RJ

c466990

Cria spider para Duque de Caxias / RJ

slfabio force-pushed the rj-duque-caxias branch from 93a884b to c466990 Compare February 19, 2025 15:58

firefueled approved these changes Feb 19, 2025

View reviewed changes

firefueled mentioned this pull request Feb 20, 2025

Atualiza spider de rj-campos para usar start_date #1323

Open

14 tasks

Provide feedback

Saved searches

Use saved searches to filter your results more quickly

Cria spider para Duque de Caxias RJ no padrão atual do projeto #1333

Cria spider para Duque de Caxias RJ no padrão atual do projeto #1333

slfabio commented Dec 15, 2024

firefueled left a comment •

edited

Loading

firefueled Feb 18, 2025

slfabio Feb 18, 2025 •

edited

Loading

slfabio Feb 18, 2025

firefueled Feb 18, 2025

slfabio Feb 18, 2025

firefueled Feb 18, 2025

slfabio Feb 18, 2025

firefueled Feb 18, 2025

slfabio Feb 18, 2025

firefueled Feb 18, 2025

firefueled Feb 18, 2025

slfabio Feb 18, 2025

firefueled commented Feb 18, 2025

firefueled Feb 19, 2025

slfabio Feb 19, 2025

firefueled left a comment

firefueled commented Feb 19, 2025



		class RjDuqueCaxiasSpider(BaseGazetteSpider):
		name = "rj_duque_caxias"

Cria spider para Duque de Caxias RJ no padrão atual do projeto #1333

Are you sure you want to change the base?

Cria spider para Duque de Caxias RJ no padrão atual do projeto #1333

Conversation

slfabio commented Dec 15, 2024

Layout do site publicador de diários oficiais

Código da(s) spider(s)

Testes

Verificações

Descrição

firefueled left a comment • edited Loading

Choose a reason for hiding this comment

Choose a reason for hiding this comment

slfabio Feb 18, 2025 • edited Loading

Choose a reason for hiding this comment

Choose a reason for hiding this comment

Choose a reason for hiding this comment

Choose a reason for hiding this comment

Choose a reason for hiding this comment

Choose a reason for hiding this comment

Choose a reason for hiding this comment

Choose a reason for hiding this comment

Choose a reason for hiding this comment

Choose a reason for hiding this comment

Choose a reason for hiding this comment

firefueled commented Feb 18, 2025

Choose a reason for hiding this comment

Choose a reason for hiding this comment

firefueled left a comment

Choose a reason for hiding this comment

firefueled commented Feb 19, 2025

firefueled left a comment •

edited

Loading

slfabio Feb 18, 2025 •

edited

Loading