[Manutenção] Novo raspador para Duque Bacelar-MA

[ivanzigoni]

AO ABRIR uma Pull Request de um novo raspador (spider), marque com um X cada um dos items da checklist abaixo. Caso algum item não seja marcado, JUSTIFIQUE o motivo.

Layout do site publicador de diários oficiais

Marque apenas um dos itens a seguir:

• O layout não se parece com nenhum caso da lista de layouts padrão
• É um layout padrão e esta PR adiciona a spider base do padrão ao projeto junto com alguns municípios que fazem parte do padrão.
• É um layout padrão e todos os municípios adicionados usam a classe de spider base adequada para o padrão.

Código da(s) spider(s)

• O(s) raspador(es) adicionado(s) tem os atributos de classe exigidos.
• O(s) raspador(es) adicionado(s) cria(m) objetos do tipo Gazette coletando todos os metadados necessários.
• O atributo de classe start_date foi preenchido com a data da edição de diário oficial mais antiga disponível no site.
• Explicitar o atributo de classe end_date não se fez necessário.
• Não utilizo custom_settings em meu raspador.

Testes

• Uma coleta-teste da última edição foi feita. O arquivo de .log deste teste está anexado na PR.
• Uma coleta-teste por intervalo arbitrário foi feita. Os arquivos de .loge .csv deste teste estão anexados na PR.
• Uma coleta-teste completa foi feita. Os arquivos de .log e .csv deste teste estão anexados na PR.

Verificações

• Eu experimentei abrir alguns arquivos de diários oficiais coletados pelo meu raspador e verifiquei eles conforme a documentação não encontrando problemas.
• Eu verifiquei os arquivos .csv gerados pela minha coleta conforme a documentação não encontrando problemas.
• Eu verifiquei os arquivos de .log gerados pela minha coleta conforme a documentação não encontrando problemas.

Descrição

Resolve #1173.

edit: evidências atualizadas em 10/10/2024, depois da implementação das alterações sugeridas.

ma_duque_bacelar_coleta-teste_ultima.log

ma_duque_bacelar_coleta-teste_intervalo.csv
ma_duque_bacelar_coleta-teste_intervalo.log

ma_duque_bacelar_coleta-teste_completa.csv
ma_duque_bacelar_coleta-teste_completa.log

[trevineju]

parabéns pela PR, @ivanzigoni! Coloquei ela na fila de revisão. Ficou faltando só ter deixado um comentário na issue indicando que ia fazer ela, pra eu poder atualizar o campo de "Assignees" com o seu perfil.

[trevineju]

Provavelmente usando melhor os recursos de Seletores tem uma solução pra isso, mas se não tiver, outro jeito é selecionando a sublista

Suggested change

	_, *gazette_element_list, __ = response.css("tr")
	gazette_element_list = response.css("tr")[1:-2]

[ivanzigoni]

como solicitado, removi todas as desestruturações de array

[trevineju]

Se precisa só da primeira ocorrência, .get() é o suficiente

Suggested change

	def _extract_url(self, url_element: scrapy.Selector):
	(raw_path,) = url_element.css("a")
	def _extract_url(self, url_element):
	raw_path = url_element.css("a").get()