As principais mudanças realizadas no repositório do Ro-dou estão documentadas aqui a partir de 25/04/2023.
Corrige resultados incompletos na busca com filtros por unidades b57b486a2fb692e3e664e764dcc5e2c0f83c9948
Full Changelog: https://github.com/gestaogovbr/Ro-dou/compare/0.2.3...0.2.4
- Ajusta o código para utilizar XCom_pull de múltiplos Tasks IDs no Airflow 2.10.0. by @edulauer in gestaogovbr#140
- Ignore markdown files in CI Tests by @augusto-herrmann in gestaogovbr#141
Full Changelog: https://github.com/gestaogovbr/Ro-dou/compare/0.2.2...0.2.3
- Upgrade Airflow to 2.10.0 by @augusto-herrmann in gestaogovbr#137
- Cast tags to a list when generating dags by @augusto-herrmann in gestaogovbr#135
Full Changelog: https://github.com/gestaogovbr/Ro-dou/compare/0.2.1...0.2.2
- Criar busca de exemplo para DOU e Querido Diário (modo misto) by @edulauer in gestaogovbr#132
- Hotfix by @edulauer in gestaogovbr#131
Full Changelog: https://github.com/gestaogovbr/Ro-dou/compare/0.2.0...0.2.1
- Os resultados agora são agrupados por unidade, quando informada.
- Utilização do Pydantic para validação dos campos do yaml.
- Agrupar resultados por unidade by @edulauer in gestaogovbr#122
- Migrate yaml file validation from JSON schema to Pydantic schemas by @augusto-herrmann in gestaogovbr#118
- Fix logic operators in result_as_html function by @augusto-herrmann in gestaogovbr#123
- Add syspath for schemas and change dag.owners to string by @edulauer in gestaogovbr#125
- Alter trigger to run CI Tests on push only to main branch by @augusto-herrmann in gestaogovbr#127
- Hotfix para correção de variável no módulo de envio de email by @edulauer in gestaogovbr#128
- Corrige as linhas e colunas na exportação via CSV by @edulauer in gestaogovbr#129
Full Changelog: https://github.com/gestaogovbr/Ro-dou/compare/0.1.5...0.2.0
- Cria parâmetro opcional para uso da ementa (se houver) da publicação ao invés da janela de contexto ou texto completo. by @edulauer in gestaogovbr#113
- Cria parâmetro para uso de dataset no Data-Aware Schedulling. O schedule da DAG agora pode ser definido por três meios: cron, dataset ou cron + dataset
- by @edulauer in gestaogovbr#115
Full Changelog: https://github.com/gestaogovbr/Ro-dou/compare/0.1.4...0.1.5
- Close p tag in watermark by @augusto-herrmann in gestaogovbr#109
Full Changelog: https://github.com/gestaogovbr/Ro-dou/compare/0.1.3...0.1.4
- Cria a nova página de documentação do Ro-DOU no Github Pages
- Cria a marca d'agua do Ro-DOU no template do email
- Adiciona quebra de linhas no texto no modo full_text (INLABS)
- Corrige bug quando a paginação de resultados é igual a 2 (DOU)
- Update README.md by @marcelosinnerworkings in gestaogovbr#95
- Fix format for Outlook display by @edulauer in gestaogovbr#96
- Force justify text by @edulauer in gestaogovbr#97
- Include parameter for dynamic no result text in notification by @edulauer in gestaogovbr#98
- add dataset trigger scheduler by @vitorbellini in gestaogovbr#99
- Fix pagination by @edulauer in gestaogovbr#104
- Keep line breaks in full text mode by @edulauer in gestaogovbr#105
- Add watermark in email template by @edulauer in gestaogovbr#108
- @marcelosinnerworkings made their first contribution in gestaogovbr#95
Full Changelog: https://github.com/gestaogovbr/Ro-dou/compare/0.1.2...0.1.3
- Integração com o portal INLABS, da Imprensa Nacional, permitindo a leitura das edições do DOU pelos arquivos XML
- Remove dependências com o framework FastETL
- Cria filtro de pesquisa por unidade (department)
- Cria opção de exibição de texto completo da publicação
- Cria opção de busca avançada usando operadores lógicos (INLABS)
- Implementa a opção de múltiplos searchs no mesmo YAML
- Cria opção para omitir metadados (hide_filter) no relatório do clipping
- Cria opção para permitir inclusão de cabeçalho e rodapé no corpo do relatório
- Formata o texto para modo justificado
- Move DOUhook from FastETL to Ro-dou src by @edulauer in gestaogovbr#66
- Validate yaml by @vitorbellini in gestaogovbr#75
- Create filter for department by @edulauer in gestaogovbr#77
- change exact search to consider special characters by @gutaors in gestaogovbr#80
- Inlabs db by @vitorbellini in gestaogovbr#81
- add full_text option by @vitorbellini in gestaogovbr#82
- Implement search with logical operators by @edulauer in gestaogovbr#85
- Implement subsearchs by @edulauer in gestaogovbr#87
- Fix select_terms_from_db bug by @edulauer in gestaogovbr#88
- Create param hide_filter by @edulauer in gestaogovbr#90
- Hide filters for slack and discord by @edulauer in gestaogovbr#91
- Add Header and footer text by @edulauer in gestaogovbr#93
- Justify text in email report by @edulauer in gestaogovbr#94
- @gutaors made their first contribution in gestaogovbr#80
Full Changelog: https://github.com/gestaogovbr/Ro-dou/compare/0.1.1...0.1.2
fix css file access
Altera a forma de encontrar os arquivos de configuração das DAGs (dag_confs/*.yml
).
Antes considerava que a pasta dag_confs/
estava na mesma raiz que os arquivos do ro-dou em ./src
. Agora o caminho da(s) pasta(s) deve ser informado pela variável de ambiente RO_DOU__DAG_CONF_DIR
e separado por :
quando mais de um.
Exemplo:
As pastas /opt/airflow/dags/repo1/dag_confs
e /opt/airflow/dags/repo2/dag_confs
possuem arquivos de configuração (yaml) para geração das DAGs do rodou. A variável de ambiente RO_DOU__DAG_CONF_DIR
deve ser atribuída assim:
RO_DOU__DAG_CONF_DIR=/opt/airflow/dags/repo1/dag_confs:/opt/airflow/dags/repo2/dag_confs
Esta alteração permite que os arquivos de configuração das DAGs (dag_confs/*.yml
) estejam em qualquer pasta da máquina ou container.
- Change name organization economia to gestao by @salomaolopes in gestaogovbr#60
- change dag_confs search by @vitorbellini in gestaogovbr#62
Full Changelog: https://github.com/gestaogovbr/Ro-dou/compare/0.0.7...0.1.0
- fix workflow docker build publish
- fix workflow docker build publish
- fix workflow docker build publish
- fix workflow docker build publish
- fix workflow docker build publish
- Conjunto de mudanças para v.1 by @nitaibezerra in gestaogovbr#4
- Cria resiliência na chamada da API do DOU by @nitaibezerra in gestaogovbr#5
- Cria opção de pesquisa no Querido Diário by @nitaibezerra in gestaogovbr#14
- Trigger date horario local by @edulauer in gestaogovbr#17
- altera template de data do título do email by @salomaolopes in gestaogovbr#18
- Incluir serviço do selenium no docker-compose.yml by @nitaibezerra in gestaogovbr#22
- Adiciona tentativas de execução na função search_text_with_retry by @edulauer in gestaogovbr#23
- Criar parâmetro para enviar email by @salomaolopes in gestaogovbr#24
- Make tests run in colored output by @augusto-herrmann in gestaogovbr#25
- Implementa feature de documentação markdown e informações úteis by @augusto-herrmann in gestaogovbr#31
- Add documentation and separate tests for DAG Docs by @augusto-herrmann in gestaogovbr#34
- Fix spelling in "links" by @augusto-herrmann in gestaogovbr#35
- Fix searching terms read from database by @augusto-herrmann in gestaogovbr#39
- remove selenium from Ro-dou by @vitorbellini in gestaogovbr#40
- Mount as a volume only the modules used by Ro-DOU by @augusto-herrmann in gestaogovbr#44
- Upgrade actions/checkout to v3 in CI by @augusto-herrmann in gestaogovbr#47
- [dou_dag_generator] enables to find ro_dou folder inside airflow dags… by @vitorbellini in gestaogovbr#49
- Decouple this project from the airflow2-docker image by @nitaibezerra in gestaogovbr#51
- Bundle src code and plugin into docker image by @nitaibezerra in gestaogovbr#53
- [WIP] Discord Integration by @nitaibezerra in gestaogovbr#50
- Workflow to build and publish docker image by @nitaibezerra in gestaogovbr#54
- update fastetl import by @vitorbellini in gestaogovbr#56
- Slack integration by @nitaibezerra in gestaogovbr#58
- @nitaibezerra made their first contribution in gestaogovbr#4
Full Changelog: https://github.com/gestaogovbr/Ro-dou/commits/0.0.2
- Conjunto de mudanças para v.1 by @nitaibezerra in gestaogovbr#4
- Cria resiliência na chamada da API do DOU by @nitaibezerra in gestaogovbr#5
- Cria opção de pesquisa no Querido Diário by @nitaibezerra in gestaogovbr#14
- Trigger date horario local by @edulauer in gestaogovbr#17
- altera template de data do título do email by @salomaolopes in gestaogovbr#18
- Incluir serviço do selenium no docker-compose.yml by @nitaibezerra in gestaogovbr#22
- Adiciona tentativas de execução na função search_text_with_retry by @edulauer in gestaogovbr#23
- Criar parâmetro para enviar email by @salomaolopes in gestaogovbr#24
- Make tests run in colored output by @augusto-herrmann in gestaogovbr#25
- Implementa feature de documentação markdown e informações úteis by @augusto-herrmann in gestaogovbr#31
- Add documentation and separate tests for DAG Docs by @augusto-herrmann in gestaogovbr#34
- Fix spelling in "links" by @augusto-herrmann in gestaogovbr#35
- Fix searching terms read from database by @augusto-herrmann in gestaogovbr#39
- remove selenium from Ro-dou by @vitorbellini in gestaogovbr#40
- Mount as a volume only the modules used by Ro-DOU by @augusto-herrmann in gestaogovbr#44
- Upgrade actions/checkout to v3 in CI by @augusto-herrmann in gestaogovbr#47
- [dou_dag_generator] enables to find ro_dou folder inside airflow dags… by @vitorbellini in gestaogovbr#49
- Decouple this project from the airflow2-docker image by @nitaibezerra in gestaogovbr#51
- Bundle src code and plugin into docker image by @nitaibezerra in gestaogovbr#53
- [WIP] Discord Integration by @nitaibezerra in gestaogovbr#50
- Workflow to build and publish docker image by @nitaibezerra in gestaogovbr#54
- update fastetl import by @vitorbellini in gestaogovbr#56
- Slack integration by @nitaibezerra in gestaogovbr#58
- @nitaibezerra made their first contribution in gestaogovbr#4
Full Changelog: https://github.com/gestaogovbr/Ro-dou/commits/0.0.1