Skip to content
New issue

Have a question about this project? Sign up for a free GitHub account to open an issue and contact its maintainers and the community.

By clicking “Sign up for GitHub”, you agree to our terms of service and privacy statement. We’ll occasionally send you account related emails.

Already on GitHub? Sign in to your account

cria spider RjItatiaia #1365

Open
wants to merge 1 commit into
base: main
Choose a base branch
from
Open

Conversation

JP0ttoni
Copy link
Contributor

AO ABRIR uma Pull Request de um novo raspador (spider), marque com um X cada um dos items da checklist abaixo. Caso algum item não seja marcado, JUSTIFIQUE o motivo.

Layout do site publicador de diários oficiais

Marque apenas um dos itens a seguir:

  • O layout não se parece com nenhum caso da lista de layouts padrão
  • É um layout padrão e esta PR adiciona a spider base do padrão ao projeto junto com alguns municípios que fazem parte do padrão.
  • É um layout padrão e todos os municípios adicionados usam a classe de spider base adequada para o padrão.

Código da(s) spider(s)

  • O(s) raspador(es) adicionado(s) tem os atributos de classe exigidos.
  • O(s) raspador(es) adicionado(s) cria(m) objetos do tipo Gazette coletando todos os metadados necessários.
  • O atributo de classe start_date foi preenchido com a data da edição de diário oficial mais antiga disponível no site.
  • Explicitar o atributo de classe end_date não se fez necessário.
  • Não utilizo custom_settings em meu raspador.

Testes

  • Uma coleta-teste da última edição foi feita. O arquivo de .log deste teste está anexado na PR.
  • Uma coleta-teste por intervalo arbitrário foi feita. Os arquivos de .loge .csv deste teste estão anexados na PR.
  • Uma coleta-teste completa foi feita. Os arquivos de .log e .csv deste teste estão anexados na PR.
    completa.csv
    completa.log
    intervalo.csv
    intervalo.log
    ultima.log
    ultima.csv

Verificações

  • Eu experimentei abrir alguns arquivos de diários oficiais coletados pelo meu raspador e verifiquei eles conforme a documentação não encontrando problemas.
  • Eu verifiquei os arquivos .csv gerados pela minha coleta conforme a documentação não encontrando problemas.
  • Eu verifiquei os arquivos de .log gerados pela minha coleta conforme a documentação não encontrando problemas.

Descrição

cria spider RjItatiaia, resolve #1198
há um erro no coleta completa, pois a edição da data 2022-12-19 está com o link quebrado (https://itatiaia.rj.gov.br/boletim-oficial/?jsf=jet-engine&date=-2022.12.19) no site da prefeitura

@slfabio
Copy link
Collaborator

slfabio commented Feb 12, 2025

Código revisado. Não tenho sugestões de melhorias.

Copy link

@firefueled firefueled left a comment

Choose a reason for hiding this comment

The reason will be displayed to describe this comment to others. Learn more.

Valeu @JP0ttoni
Bom PR!
Só quero esclarecer duas questãozinhas

Uma é o comentário sobre o poder, a outra é o erro que aparece na linha 7088 do log completo.
Parece que houve uma falha ao pegar o DO do dia 19/12/2022.
Não consegui identificar o motivo desta falha porque não vi nada de errado no código ou na página para gerar este erro.
O erro causou o DO desta data a não ser pego.
Tem alguma ideia do que aconteceu?

  • O Layout é novo mesmo
  • atributos
    • name
    • TERRITORY_ID
    • allowed_domains
    • start_urls/start_requests()
    • start_date
    • não precisa de end_date
  • [] código ok?
    • [] Gazette criado corretamente?
      • date
      • edition_number
      • is_extra_edition
      • [] power
  • roda?
    • uma data
    • um intervalo
    • todos
  • evidências
    • ultima
    • intervalo
    • completo

edition_number=edition_match,
is_extra_edition=extra,
file_urls=[url_match],
power="executive_legislative",

Choose a reason for hiding this comment

The reason will be displayed to describe this comment to others. Learn more.

Não consegui identificar evidências mostrando que estes DOs são do poder legislativo também.
A amostra de DOs que olhei indicam lista funcionários do poder executivo apenas.
Como chegou à esta conclusão?

Copy link
Contributor Author

@JP0ttoni JP0ttoni Mar 11, 2025

Choose a reason for hiding this comment

The reason will be displayed to describe this comment to others. Learn more.

o link de 19/12/2022 está quebrado no site da prefeitura, conforme indicado na descrição do PR, quando procura pela data e clica para visualizar o boletim oficial, retorna para a mesma página.

em relação a ser legislativo, verifiquei que nos diários oficiais tem atos da câmara, como por exemplo no diário oficial do dia 14/12/2022, na página 3.

https://itatiaia.rj.gov.br/wp-content/uploads/2022/12/BO_202_2022-ASSINADO.pdf

Choose a reason for hiding this comment

The reason will be displayed to describe this comment to others. Learn more.

Blz. Está correto nas duas colocações.

Sign up for free to join this conversation on GitHub. Already have an account? Sign in to comment
Labels
None yet
Projects
Status: novo
Development

Successfully merging this pull request may close these issues.

[Novo spider]: Itatiaia-RJ
3 participants