Skip to content

Latest commit

 

History

History
83 lines (53 loc) · 1.59 KB

readme.md

File metadata and controls

83 lines (53 loc) · 1.59 KB
Raw

Crawler completo para a legislação brasileira

##Sobre LegisCrawler.br foi criado para capturar e organizar a legislação brasileira encontrada no site do Planalto e entregar uma API com seus dados.

A ferramenta é formada por duas partes, o crawler – que lê, captura e organiza os dados das legislações – e a API – que entrega os separados por legislação e artigo.

##Instalação

O sistema foi criado em Node.js utilizando ECMA 6, portanto deve usar Node.js 6.5 em diante para funcionar corretamente.

Para instalar, siga os próximos passos:

git clone [email protected]:russoedu/LegisCrawler.br.git
cd LegisCrawler.br

Caso use o Yarn, execute

yarn

Caso utilize NPM, execute

npm install

Esses comandos instalarão as dependências do projeto.

##Configuração

TODO Variáveis de ambiente Mongo / File Lista de legislações

##Debug

##Crawler node crawl

##API npm start

###Crawler

##Configuration

##Debugging LegisCrawler uses (debug)[https://github.com/visionmedia/debug] for debugging.

To debug the scrap utility, run:

$ DEBUG=scrap,scrap-parser node scrap/index.js

The following debug options are set:

  1. scrap
  2. scrap-cleaner
  3. scrap-parser
  4. scrap-getter
  5. split

To debug the API, run:

$ DEBUG=api,DB npm start

The following debug options are set:

  1. api
  2. DB

Most debugs are commented in the code and you must uncomment the ones you want to debug.