cria spider RjItatiaia

[JP0ttoni]

AO ABRIR uma Pull Request de um novo raspador (spider), marque com um X cada um dos items da checklist abaixo. Caso algum item não seja marcado, JUSTIFIQUE o motivo.

Layout do site publicador de diários oficiais

Marque apenas um dos itens a seguir:

• O layout não se parece com nenhum caso da lista de layouts padrão
• É um layout padrão e esta PR adiciona a spider base do padrão ao projeto junto com alguns municípios que fazem parte do padrão.
• É um layout padrão e todos os municípios adicionados usam a classe de spider base adequada para o padrão.

Código da(s) spider(s)

• O(s) raspador(es) adicionado(s) tem os atributos de classe exigidos.
• O(s) raspador(es) adicionado(s) cria(m) objetos do tipo Gazette coletando todos os metadados necessários.
• O atributo de classe start_date foi preenchido com a data da edição de diário oficial mais antiga disponível no site.
• Explicitar o atributo de classe end_date não se fez necessário.
• Não utilizo custom_settings em meu raspador.

Testes

• Uma coleta-teste da última edição foi feita. O arquivo de .log deste teste está anexado na PR.
• Uma coleta-teste por intervalo arbitrário foi feita. Os arquivos de .loge .csv deste teste estão anexados na PR.
• Uma coleta-teste completa foi feita. Os arquivos de .log e .csv deste teste estão anexados na PR.
  completa.csv
  completa.log
  intervalo.csv
  intervalo.log
  ultima.log
  ultima.csv

Verificações

• Eu experimentei abrir alguns arquivos de diários oficiais coletados pelo meu raspador e verifiquei eles conforme a documentação não encontrando problemas.
• Eu verifiquei os arquivos .csv gerados pela minha coleta conforme a documentação não encontrando problemas.
• Eu verifiquei os arquivos de .log gerados pela minha coleta conforme a documentação não encontrando problemas.

Descrição

cria spider RjItatiaia, resolve #1198
há um erro no coleta completa, pois a edição da data 2022-12-19 está com o link quebrado (https://itatiaia.rj.gov.br/boletim-oficial/?jsf=jet-engine&date=-2022.12.19) no site da prefeitura

[slfabio]

Código revisado. Não tenho sugestões de melhorias.

[firefueled]

Valeu @JP0ttoni
Bom PR!
Só quero esclarecer duas questãozinhas

Uma é o comentário sobre o poder, a outra é o erro que aparece na linha 7088 do log completo.
Parece que houve uma falha ao pegar o DO do dia 19/12/2022.
Não consegui identificar o motivo desta falha porque não vi nada de errado no código ou na página para gerar este erro.
O erro causou o DO desta data a não ser pego.
Tem alguma ideia do que aconteceu?

• O Layout é novo mesmo
• atributos
  • name
  • TERRITORY_ID
  • allowed_domains
  • start_urls/start_requests()
  • start_date
  • não precisa de end_date
• [] código ok?
  • [] Gazette criado corretamente?
    • date
    • edition_number
    • is_extra_edition
    • [] power
• roda?
  • uma data
  • um intervalo
  • todos
• evidências
  • ultima
  • intervalo
  • completo

[firefueled]

Não consegui identificar evidências mostrando que estes DOs são do poder legislativo também.
A amostra de DOs que olhei indicam lista funcionários do poder executivo apenas.
Como chegou à esta conclusão?

[JP0ttoni]

o link de 19/12/2022 está quebrado no site da prefeitura, conforme indicado na descrição do PR, quando procura pela data e clica para visualizar o boletim oficial, retorna para a mesma página.

em relação a ser legislativo, verifiquei que nos diários oficiais tem atos da câmara, como por exemplo no diário oficial do dia 14/12/2022, na página 3.

https://itatiaia.rj.gov.br/wp-content/uploads/2022/12/BO_202_2022-ASSINADO.pdf

[firefueled]

Blz. Está correto nas duas colocações.