Big Data Brazil Blog

Até a algum tempo atrás, as soluções de Inteligência de Negócios e Relatórios Analíticos estavam muito voltadas para entender o que havia acontecido com os negócios da companhia, sendo normalmente baseadas apenas nos dados corporativos coletados em bancos de dados e em planilhas. Esta coleta de dados implicava na construção de muitos programas para extrair, transformar e carregar os dados em um armazém de dados corporativo. Estes armazéns focavam em dados relacionais, não tendo integração com outras fontes de dados, tais como sites e portais das companhias, uso de redes sociais, etc. Normalmente estas cargas de dados eram realizadas em períodos noturnos. Outro problema existente era a dificuldade e os custos envolvidos de hardware e software para obter maior escalabilidade para este tipo de solução.  Com a evolução da plataforma Hadoop, as companhias podem dispor atualmente de um ambiente de Inteligência de Negócios e Relatórios Analíticos com alta escalabilidade e capacid...

Após uma semana voltada para a Jornada Mundial da Juventude no Rio de Janeiro, que foi bastante recompensadora, voltamos ao nosso dia a dia no mundo da tecnologia e falamos sobre o Hive.  O Hive é um framework para soluções de Data Warehousing, que executa no ambiente do Hadoop, construído inicialmente pelo time de desenvolvimento do Facebook em 2007.   Ele nasceu a partir da necessidade de gerenciar, analisar e aprender sobre o comportamento dos usuários a partir dos imensos volumes de dados gerados a cada dia no Facebook.  A escolha pelo Hadoop foi incentivada pelo baixo custo, escalabilidade e evitar a dependência sobre custos de licenças e manutenção anual que são comuns nos bancos de dados do mercado.  Outro ponto também que levou ao desenvolvimento do Hive foi o baixo desempenho das soluções de mercado para realizar operações de Full Scan em grandes volumes de dados.  O Hive foi criado também visando aproveitar os "skills" de uso do SQL...