-
-
Notifications
You must be signed in to change notification settings - Fork 417
New issue
Have a question about this project? Sign up for a free GitHub account to open an issue and contact its maintainers and the community.
By clicking “Sign up for GitHub”, you agree to our terms of service and privacy statement. We’ll occasionally send you account related emails.
Already on GitHub? Sign in to your account
Cria spider para rj_itaborai #1355
base: main
Are you sure you want to change the base?
Conversation
Código revisado. Não tenho sugestões de melhorias. |
There was a problem hiding this comment.
Choose a reason for hiding this comment
The reason will be displayed to describe this comment to others. Learn more.
Opa @Gabriel-gag Valeu pelo PR!
O relatório de coleta completo tem o primeiro DO em 02/01/2020, mas tem DOs mais antigos que isso no site.
Será que tem algo diferente nestes DOs que precisa ser tratado?
- O Layout é novo mesmo
- atributos
- name
- TERRITORY_ID
- allowed_domains
- start_urls/start_requests()
- start_date
- não precisa de end_date
- código ok?
- Gazette criado corretamente?
- date
- edition_number
- is_extra_edition
- power
- Gazette criado corretamente?
- roda?
- uma data
- um intervalo
- todos
- evidências
- ultima
- intervalo
- completo
name = "rj_itaborai" | ||
TERRITORY_ID = "3301900" | ||
allowed_domains = ["do.ib.itaborai.rj.gov.br"] | ||
start_date = dt(2020, 1, 1).date() |
There was a problem hiding this comment.
Choose a reason for hiding this comment
The reason will be displayed to describe this comment to others. Learn more.
O site tem o primeiro DO no dia 23/01/2019.
Parece que colocou a data errada, ou teve algum outro problema?
There was a problem hiding this comment.
Choose a reason for hiding this comment
The reason will be displayed to describe this comment to others. Learn more.
Na issue estava comentada esta data, vou alterar.
b9abde4
to
f613fd7
Compare
f613fd7
to
cf5a2b4
Compare
@Gabriel-gag Fechou por engano? Parece que fez uns commits que apagaram sua contribuição. |
Cria spider rj_itaborai
29127fc
to
296ef20
Compare
Reabri o PR |
AO ABRIR uma Pull Request de um novo raspador (spider), marque com um
X
cada um dos items da checklist abaixo. Caso algum item não seja marcado, JUSTIFIQUE o motivo.Layout do site publicador de diários oficiais
Marque apenas um dos itens a seguir:
Código da(s) spider(s)
custom_settings
em meu raspador.Testes
.log
deste teste está anexado na PR..log
e.csv
deste teste estão anexados na PR..log
e.csv
deste teste estão anexados na PR.ultima.log
intervalo.log
intervalo.csv
completa.log
completa.csv
Verificações
.csv
gerados pela minha coleta conforme a documentação não encontrando problemas..log
gerados pela minha coleta conforme a documentação não encontrando problemas.Descrição
resolve #1196
Cria spider para rj_itaboraí