Clipper On Line • Ver Tópico - Base de dados do Governo

Base de dados do Governo

Postem aqui Tabelas em geral

Moderador: Moderadores

 

Base de dados do Governo

Mensagempor sygecom » 27 Dez 2018 08:53

Segue o link da base de dados do governo, são 4GB compactados e 80GB descompactado.
http://idg.receita.fazenda.gov.br/orien ... licos-cnpj

Manual do layout:
https://fazendagovbr.sharepoint.com/sit ... d89f8b68be
Leonardo Machado
xHarbour.org + Hwgui + PostgreSql
leonardodemachado@hotmail.com

Faça você também sua doação esse fórum é uma lenda viva: http://www.pctoledo.com.br/doacao
Avatar de usuário

sygecom
Usuário Nível 7

Usuário Nível 7
 
Mensagens: 6987
Data de registro: 21 Jul 2006 10:12
Cidade/Estado: Alvorada-RS
Curtiu: 1 vez
Mens.Curtidas: 127 vezes

Base de dados do Governo

Mensagempor JoséQuintas » 27 Dez 2018 09:06

Só pra lembrar:

- Máquina 64 bits, porque é acima de 4GB
- Harbour 64 bits, porque é acima de 4GB
- Webservice.. normalmente não tem capacidade pra isso
- Contém CNPJ, endereço, telefone, sócios, etc.
- Muita informação, muito tempo de processamento
- 4.8GB compactado, e 90GB descompactado.

Considerem isso antes de baixar o arquivo.
Máquina 32 bits, nem pra baixar o compactado.
É bom saber que dá pra baixar, porque nunca se sabe o que vamos precisar, cada vez tem mais tabelas....
José M. C. Quintas
Harbour 3.2, mingw, gtwvg, multithread, dbfcdx, ADO+MySql, PNotepad
"The world is full of kings and queens, who blind our eyes and steal our dreams Its Heaven and Hell"

https://github.com/JoseQuintas/
Avatar de usuário

JoséQuintas
Membro Master

Membro Master
 
Mensagens: 17942
Data de registro: 26 Fev 2007 11:59
Cidade/Estado: São Paulo-SP
Curtiu: 15 vezes
Mens.Curtidas: 1206 vezes

Base de dados do Governo

Mensagempor JoséQuintas » 27 Dez 2018 10:13

É interessante saber disto também:

cnpj1.png


cnpj2.png


É normal, mas nem tinha pensado nisso.
Só pra olhar o conteúdo do ZIP, quase não deu.
A segunda imagem é depois de mover o ZIP para outra unidade, e não deixar aberto.
Demorou um pouco pro Windows liberar o ZIP, talvez o antivírus fazendo checagem.

Então... é bom ter 100GB livres no mínimo.

Pois é... além de muitas tabelas... agora muito espaço... rs

Agora imaginem as máquinas do governo...
Se os cadastros ocupam isso, a movimentação ocupa muito mais....
Deve ser quase impossível fazer a consolidação/checagem de tudo isso, porque antes de terminar uma, já vém outra.... rs
E nem tem pessoa física.... que seriam muito mais cadastros....
José M. C. Quintas
Harbour 3.2, mingw, gtwvg, multithread, dbfcdx, ADO+MySql, PNotepad
"The world is full of kings and queens, who blind our eyes and steal our dreams Its Heaven and Hell"

https://github.com/JoseQuintas/
Avatar de usuário

JoséQuintas
Membro Master

Membro Master
 
Mensagens: 17942
Data de registro: 26 Fev 2007 11:59
Cidade/Estado: São Paulo-SP
Curtiu: 15 vezes
Mens.Curtidas: 1206 vezes

Base de dados do Governo

Mensagempor JoséQuintas » 17 Set 2019 09:27

Atualizando

http://receita.economia.gov.br/orientacao/tributaria/cadastros/cadastro-nacional-de-pessoas-juridicas-cnpj/dados-publicos-cnpj

São mais de 40 milhões de cadastros de empresas, incluindo todos os sócios.
20 arquivos zip, que representam 20 X 5GB = 100GB
Dependendo do horário, download bem mais lento.
Melhores resultados baixando antes das 7 da manhã.

Precisa máquina 64 bits e Harbour 64 bits, por causa do tamanho.
José M. C. Quintas
Harbour 3.2, mingw, gtwvg, multithread, dbfcdx, ADO+MySql, PNotepad
"The world is full of kings and queens, who blind our eyes and steal our dreams Its Heaven and Hell"

https://github.com/JoseQuintas/
Avatar de usuário

JoséQuintas
Membro Master

Membro Master
 
Mensagens: 17942
Data de registro: 26 Fev 2007 11:59
Cidade/Estado: São Paulo-SP
Curtiu: 15 vezes
Mens.Curtidas: 1206 vezes

Base de dados do Governo

Mensagempor JoséQuintas » 17 Set 2019 09:34

Aqui é cortando informações.
Menos campos, e tamanhos menores.
Assim dá uma idéia pra quem se interessar.

parte.png
José M. C. Quintas
Harbour 3.2, mingw, gtwvg, multithread, dbfcdx, ADO+MySql, PNotepad
"The world is full of kings and queens, who blind our eyes and steal our dreams Its Heaven and Hell"

https://github.com/JoseQuintas/
Avatar de usuário

JoséQuintas
Membro Master

Membro Master
 
Mensagens: 17942
Data de registro: 26 Fev 2007 11:59
Cidade/Estado: São Paulo-SP
Curtiu: 15 vezes
Mens.Curtidas: 1206 vezes

Base de dados do Governo

Mensagempor JoséQuintas » 20 Set 2019 08:58

Se alguém puder fazer um teste, com um dos arquivos:

A coisa ficou esquisita.
Tem mais empresas do que sócios.
E os CPFs dos sócios.... são parciais, mesmo com espaço pra completo.
José M. C. Quintas
Harbour 3.2, mingw, gtwvg, multithread, dbfcdx, ADO+MySql, PNotepad
"The world is full of kings and queens, who blind our eyes and steal our dreams Its Heaven and Hell"

https://github.com/JoseQuintas/
Avatar de usuário

JoséQuintas
Membro Master

Membro Master
 
Mensagens: 17942
Data de registro: 26 Fev 2007 11:59
Cidade/Estado: São Paulo-SP
Curtiu: 15 vezes
Mens.Curtidas: 1206 vezes




Retornar para Tabelas em Geral

Quem está online

Usuários vendo este fórum: Nenhum usuário registrado online e 1 visitante


Ola Amigo, espero que meu site e forum tem lhe beneficiado, com exemplos e dicas de programacao.
Entao divulgue o link da Doacao abaixo para seus amigos e redes sociais ou faça uma doacao para o site forum...
MUITO OBRIGADO PELA SUA DOACAO!
Faça uma doação para o forum
cron
v
Olá visitante, seja bem-vindo ao Fórum Clipper On Line!
Efetue o seu login ou faça o seu Registro