Potuz
New Member
Posts: 3,382
|
Post by Potuz on Feb 15, 2016 8:55:34 GMT -3.5
Para o pessoal que faz crawlers de javascript, um que seria legal para postar aqui no fórum seria um aplicativo que simplesmente procure na CVM -> Consulta a base de dados -> Consulta por data -> IPE -> selecione a categoria certa, eu pessoalmente gostaria de ter avisos das atas das reuniões da administração.
|
|
Potuz
New Member
Posts: 3,382
|
Post by Potuz on Feb 19, 2016 12:07:04 GMT -3.5
O que isso tem a ver com esse tópico?  Mas falando sério: você não já faz isso automático? Você comentou certa vez que baixava automaticamente alguma coisa... talvez os fatos relevantes. Me explica melhor (dá um exemplo prático) e podemos ver se sai algo. Eu baixo automáticamente os DFP, ITR, etc... utilizando o sistema disponível na CVM para download múltiplo explicado aqui: sistemas.cvm.gov.br/Port/DownloadArqs/download02.htmEsse sistema permite baixar todos os documentos, incluindo as atas etc... mas funciona assim: você pede quais documentos foram liberados no dia X e eles te informam. Isso é útil quando você baixa todos os documentos de todas as empresas por exemplo eu procuro todos os dias por DFP e ITR novos e baixo eles. Porém, quando você procura por todos os DFP (ou as atas da reunião da administração) de uma companhia dada (as datas serão claramente diferentes) o sistema é muito ruim. Para isso a CVM proporciona aquela página linkada, que tem um php correndo e alguém deveria programar um robozinho que tire as atas... Mas está certo que estou roubando o tópico  talvez criamos um novo? |
|
Potuz
New Member
Posts: 3,382
|
Post by Potuz on Feb 22, 2016 16:18:51 GMT -3.5
Onde está a opção Consulta por Data? Só vejo estas: Cadastro Geral da CVM Andamento de Processos Companhias Fundos de Investimento Ofertas Públicas Programas de DR Agentes Autônomos Administradores de Carteira Atos Declaratórios Nota: para não parecer que sou doido, todos os posts acima foram movidos de outro tópico tanto na coluna da esquerda como a terceira opção no meio da tela. |
|
Potuz
New Member
Posts: 3,382
|
Post by Potuz on Feb 24, 2016 17:36:56 GMT -3.5
Algumas dúvidas: 1- Você falou em crawler Javascript e pôr no fórum, mas a linguagem foi só uma sugestão e "pôr no fórum" significa colar o código aqui, certo? Não quis dizer que é algo integrado ao fórum. Correto e correto. sistemas.cvm.gov.br/?CiaDoc ---> 1) Altona <enter> ---> Reunião da administração. Desde o link por data em lugar de 1) acima usando 3) sistemas.cvm.gov.br/?CiaDoc ---> 3) consulta por data --> módulo IPE --> categoria = Reunião da administração. Correto. O ideal seria que o script leve um argumento equivalente ao código de negociação da empresa (código cvm, nome da empresa, etc...) outro argumento o período e o terceiro a categoria. O script deveria fazer download de todos os documentos daquela categoria, empresa e período. Melhor ainda se só faz o download das últimas versões (as vezes tem reapresentação). |
|
Potuz
New Member
Posts: 3,382
|
Post by Potuz on Mar 3, 2016 19:58:01 GMT -3.5
Oi rufuslenhador, só agora notei que o sítio da BMF&Bovespa fornece a mesma informação e tem um simple formato de query que dá para tirar mesmo com um curl. Como você já tem feito crowlers para aquele sítio talvez seja fácil para você adaptar um para o propósito deste tópico? |
|
Potuz
New Member
Posts: 3,382
|
Post by Potuz on Mar 3, 2016 20:23:25 GMT -3.5
Oi rufuslenhador , só agora notei que o sítio da BMF&Bovespa fornece a mesma informação e tem um simple formato de query que dá para tirar mesmo com um curl. Como você já tem feito crowlers para aquele sítio talvez seja fácil para você adaptar um para o propósito deste tópico? Eu meio que tinha esquecido isso aqui. Cheguei a iniciar, mas mudei de empresa (e de cidade) meio que às pressas e deixei o script lá. Mas felizmente não tinha feito muita coisa ainda e posso refazer. Qual é esta página da Bovespa? Boa sorte no seu novo projeto/cidade/trabalho! |
|
Potuz
New Member
Posts: 3,382
|
Post by Potuz on Mar 3, 2016 21:00:40 GMT -3.5
Opa, valeu!, n Não foi uma mudança muito grande. Eu só estava na anterior de passagem (fiquei bem mais tempo que o esperado). Voltei para a cidade/trabalho/casa/etc "de sempre". Eu não entendi esse formulário. Selecionei "no mês", busquei pela palavras "ata", "reuniao", "assembleia" e nada foi encontrado. Acho que houve um passo anterior antes de você alcançar essa página, não? Possivelmente escolhendo uma empresa. Como chegou nessa página? Sim, de fato te enviei a url base, por exemplo para tirar notícias da Altona (codigo cvm 5380 ) no dia temos: www.bmfbovespa.com.br/pt-br/mercados/acoes/empresas/FormConsultaPlantaoNoticias.asp?CodCVM=5380&Periodo=dia |
|
Potuz
New Member
Posts: 3,382
|
Post by Potuz on Mar 3, 2016 21:50:04 GMT -3.5
São similares, um é o plantão de notícias o outro é toda a plataforma de infomações. Por isso te enviei á BMF&Bovespa, eu também não gosto da página não (pois ela o que faz é acessar o sítio da CVM de todas maneiras), mas a requisição na Bovespa deve de ser mais simples de fazer do que na CVM. |
|
Potuz
New Member
Posts: 3,382
|
Post by Potuz on Mar 18, 2016 6:46:24 GMT -3.5
A tal página péssima mudou. Você tem o novo caminho para chegar até aquele formulário? Eu não vejo mudança na página da CVM, você está falando da BMF&Bovespa? |
|
Potuz
New Member
Posts: 3,382
|
Post by Potuz on Mar 18, 2016 17:18:58 GMT -3.5
|
|
Deleted
Deleted Member
Posts: 0
|
Post by Deleted on Mar 18, 2016 17:41:42 GMT -3.5
Se quiserem uma solução rápida para extratores desses dados testem o WinAutomation, recomendo deixar o robozinho em uma máquina virtual, onde se pode inclusive engabelar o vencimento da cópia de teste: www.winautomation.com/ |
|
Potuz
New Member
Posts: 3,382
|
Post by Potuz on Mar 23, 2016 19:10:12 GMT -3.5
Correto, eu estou interessado principalmente nas atas da reunião da administração. |
|
Potuz
New Member
Posts: 3,382
|
Post by Potuz on Mar 28, 2016 6:32:24 GMT -3.5
rufuslenhador fantástico! eu não vou ter tempo de controlar até esse final de semana, mas provavelmente deva tentar compilar um outro ruby. Hoje por padrão corro:
ruby 2.0.0p647 (2015-08-18 revision 51631) [x86_64-linux]
Mas também tenho instalado ruby 2.1.7p400 (2015-08-18 revision 51632) [x86_64-linux]Vou tentar ver se alguma dessas funciona pois caso contrario devo instalar 2.2 ou 2.3 que não são estáveis em Gentoo ainda.
|
|
Potuz
New Member
Posts: 3,382
|
Post by Potuz on Mar 28, 2016 6:40:42 GMT -3.5
Fabuloso! funciona no primeiro teste com Ruby 2.0! e Nokogiri 1.6.6. Os exemplos mostrados por você funcionam exatamente igual. Vou fazer alguns outros testes durante a semana. A meu ver os nomes dos ficheiros está ótimo e não precisa mudar nada, talvez botar a lista de códigos das categorias num ./docs-bovespa.rb --help (que dito seja de passo, tenta fazer um download de documento pois identifica --help como argumento).
Como está agora já está realmente ótimo para o que eu precisava, pena que agora estou travado com muito trabalho sem previsão disso terminar em nenhum tempo esse semestre.
|
|
Potuz
New Member
Posts: 3,382
|
Post by Potuz on Mar 28, 2016 11:27:23 GMT -3.5
Editei seu post em lugar de responder aqui O mapeamento ticker->código eu já fiz no script que executa seu comando (pois é um simples sql que já utilizo no meu programa de todas maneiras). Uma funcionalidade que seria útil (caso você quera ainda agregar coisas) seria não fazer o download automáticamente, mas informar que os documentos existem para dar a opção de fazer o download. |
|
Potuz
New Member
Posts: 3,382
|
Post by Potuz on Apr 4, 2016 13:59:30 GMT -3.5
De qualquer forma, é sempre bom ressaltar que isso pode ser alterado por quem quiser  Nunca podemos deixar de ressaltar isso Você também tem esses códigos, estão na base de dados do denet, na tabela Companhias! |
|
talvez criamos um novo?
