Libertando Dados Públicos

Turicas aka Álvaro Justen

1 de setembro de 2018 - Belo Horizonte/MG

$ whoami

Turicas, prazer! =)

Sigam-me os bons:

{twitter,
github,
youtube,
slideshare,
instagram}
/turicas

Slides: bit.ly/turicas-devdaybh

Software Livre & Python

Desde 2004/2005

# Agenda - Dados abertos - Transparência - Democracia? - Lei de Acesso à Informação - Aplicações: Jornalismo de dados - **Código ao vivo! o/** - Problemas - Soluções - Convertendo formatos - Do PDF ao CSV - [Brasil.IO](http://brasil.io)

Dados Abertos

“ Dados abertos são dados que podem ser livremente usados, reutilizados e redistribuídos por qualquer pessoa - sujeitos, no máximo, à exigência de atribuição da fonte e compartilhamento pelas mesmas regras. ”

-- OpenData Handbook (definição de Open Definition)

Mais detalhes:

“ [A CGU] acredita que a transparência é o melhor antídoto contra corrupção, dado que ela é mais um mecanismo indutor de que os gestores públicos ajam com responsabilidade.
Uma gestão pública transparente permite à sociedade, com informações, colaborar no controle das ações de seus governantes, com intuito de checar se os recursos públicos estão sendo usados como deveriam. ”

-- CGU.gov.br

Controle Social

“ De acordo com o governo brasileiro, o controle social é a participação da sociedade civil nos processos de planejamento, acompanhamento, monitoramento e avaliação das ações da gestão pública e na execução das políticas e programas públicos. ”

-- Wikipedia

Inovação Cívica

Operação Serenata de Amor

serenata.ai

# Aplicações ## Produtos Jornalísticos Baseados em Código

generonumero.media
(em conjunto com Natália Mazotte)

Veja a Edição "Mulheres na Política"

Veja a Edição "Mulheres na Política II"

Veja a Edição "Espaço Público"

Rua: substantivo (ainda) masculino

youtu.be/7yQ8U2tFFq4

apublica.org
(em conjunto com Adriano Belisário)

Acesse a matéria

correio24horas.com.br
(em conjunto com Juan Torres)

Acesse a matéria

theintercept.com/brasil
(em conjunto com Adriano Belisário)

Acesse a matéria

Jornalistas programando!

Curso Gratuito (3.000+ alunos)

pythonic.cafe

youtube.com/c/PythonicCafe

Data Pipeline

schoolofdata.org/methodology

## Houston, we have a problem... ### Qualidade dos Dados ![](images/5-star-steps.png) [5stardata.info](http://5stardata.info/)

Maior parte do tempo dos projetos de análise de dados:

Trabalhando com Dados Públicos

## Acessibilidade: Problemas - **Formato** (qualidade técnica) - Exemplo: Boletim de balneabilidade em PDF (INEMA/BA) - **Dispersão** - Exemplo: Filiações partidárias em 945 ZIPs com CSVs (TSE) - **Quantidade** de dados - Exemplo: 18 milhões de sócios (RFB) - **Domínio** da área - Exemplo: o que é unidade eleitoral? (TSE)

“ Democracia é um regime político em que todos os cidadãos elegíveis participam igualmente — diretamente ou através de representantes eleitos — na proposta, no desenvolvimento e na criação de leis, [...]
Ela abrange as condições sociais, econômicas e culturais que permitem o exercício livre e igual da autodeterminação política. ”

-- Wikipedia

“ Restringir acesso a dados públicos é elitizar a democracia. ”

-- Manifesto Brasil.IO

## Libertação de Dados: ### Resolver os problemas de **formato** e **dispersão**

## Como? - [Python](https://www.python.org/) - [scrapy](https://scrapy.org), [urllib](https://docs.python.org/3/library/urllib.html), [requests](http://python-requests.org/) - [rows](https://github.com/turicas/rows) - [lxml](http://lxml.de/), [BeautifulSoup](https://pypi.python.org/pypi/beautifulsoup4) - [sqlite3](https://docs.python.org/3/library/sqlite3.html)

## Python - Fácil de aprender - Ecossistema **incrível** - Comunidade inclusive - MUITO código e material disponível - Alta produtividade - [python.org](https://www.python.org/)

Acesse a matéria

xkcd.com/353

Repositório da biblioteca rows no GitHub

github/turicas/rows

`rows convert arquivo.pdf arquivo.csv`

Biblioteca rows convertendo PDF para CSV

## Código ao vivo - IPython + `rows.import_from_csv` - `rows convert` (HTML para CSV, Olimpíadas) - `rows query` (SQL em PDF, Balneabilidade Bahia) - `rows csv2sqlite` (Salários magistrados) - `rows pgimport` (Bens declarados)

## Acessbilidade: 2/4 - [x] **Formato** - [x] **Dispersão** - [ ] **Quantidade** de dados - [ ] **Domínio** da área

Brasil.IO

O Brasil em dados libertos

Demonstração

## Acessbilidade: 4/4 - [x] **Formato** - [x] **Dispersão** - [x] **Quantidade** de dados - [x] **Domínio** da área

## [Brasil.IO](https://brasil.io/) ### Como Colaborar? - Código da plataforma: [github.com/turicas/brasil.io/issues](https://github.com/turicas/brasil.io/issues) - Scripts: melhorando os atuais e criando novos - Sugerindo novos datasets: [brasil.io/datasets/sugira](https://brasil.io/datasets/sugira) - Compartilhando ideias: [chat.brasil.io](https://chat.brasil.io/) - **Doando: [apoia.se/brasilio](https://apoia.se/brasilio)**

2018.pythonbrasil.org.br

Libertando Dados Públicos

Turicas aka Álvaro Justen

DevDay 2018

1 de setembro de 2018 - Belo Horizonte/MG

$ whoami

Turicas, prazer! =)

Sigam-me os bons:

{twitter,
github,
youtube,
slideshare,
instagram}
/turicas

turicas@brasil.io

Slides: bit.ly/turicas-devdaybh

escoladedados.org

impacto.jor.br

Brasil.IO

Software Livre & Python

Desde 2004/2005

Dados Abertos

Controle Social

Inovação Cívica

Operação Serenata de Amor

Rua: substantivo (ainda) masculino

Jornalistas programando!

Curso Gratuito (3.000+ alunos)

pythonic.cafe

youtube.com/c/PythonicCafe

Data Pipeline

Maior parte do tempo dos projetos de análise de dados:

Trabalhando com Dados Públicos

Libertação de Dados: Exemplo

Libertação de Dados: Exemplo (2)

Libertação de Dados: Exemplo (3)

`rows convert arquivo.pdf arquivo.csv`

Brasil.IO

Demonstração

coda.escoladedados.org

?

Happy hacking!

{twitter,
github,
youtube,
slideshare,
instagram}
/turicas

turicas@brasil.io

Slides: bit.ly/turicas-devdaybh

Libertando Dados Públicos

Turicas aka Álvaro Justen

1 de setembro de 2018 - Belo Horizonte/MG

$ whoami

Turicas, prazer! =)

Sigam-me os bons:

{twitter, github, youtube, slideshare, instagram} /turicas

Slides: bit.ly/turicas-devdaybh

Software Livre & Python

Desde 2004/2005

Dados Abertos

Controle Social

Inovação Cívica

Operação Serenata de Amor

Rua: substantivo (ainda) masculino

Jornalistas programando!

Curso Gratuito (3.000+ alunos)

Data Pipeline

Maior parte do tempo dos projetos de análise de dados:

Trabalhando com Dados Públicos

Libertação de Dados: Exemplo

Libertação de Dados: Exemplo (2)

Libertação de Dados: Exemplo (3)

rows convert arquivo.pdf arquivo.csv

Demonstração

?

Happy hacking!

{twitter, github, youtube, slideshare, instagram} /turicas

Slides: bit.ly/turicas-devdaybh

{twitter,
github,
youtube,
slideshare,
instagram}
/turicas

`rows convert arquivo.pdf arquivo.csv`

{twitter,
github,
youtube,
slideshare,
instagram}
/turicas