Big Data Brazil Blog

Para realizar análises de grandes quantidades de dados, localizados em clusters com diversos nós, precisamos de recursos tradicionais de SQL e Datawarehouse ( Star schemas, drill down, etc ), assim como precisamos ter algorítimos e estruturas de dados para otimizar as consultas em caso de falhas em qualquer um dos nós envolvidos.  Outro ponto que observamos mais recentemente nestas análises massivas de dados é o uso de algorítimos chamados de “machine learning” (Page-Ranking, Clustering, Regression, etc), que fazem um reuso de dados muito frequente.  O framework MapReduce da plataforma Hadoop simplificou e automatizou bastante a análise de quantidades massivas de dados em clusters,  mas a medida que as análises passam a exigir um reuso de dados, a leitura e gravação para disco podem se tornar um problema.  Precisamos ressaltar que o Hadoop MapReduce não é um framework orientado para transações e análises que precisem de baixo tempo de resposta. ...

Até a algum tempo atrás, as soluções de Inteligência de Negócios e Relatórios Analíticos estavam muito voltadas para entender o que havia acontecido com os negócios da companhia, sendo normalmente baseadas apenas nos dados corporativos coletados em bancos de dados e em planilhas. Esta coleta de dados implicava na construção de muitos programas para extrair, transformar e carregar os dados em um armazém de dados corporativo. Estes armazéns focavam em dados relacionais, não tendo integração com outras fontes de dados, tais como sites e portais das companhias, uso de redes sociais, etc. Normalmente estas cargas de dados eram realizadas em períodos noturnos. Outro problema existente era a dificuldade e os custos envolvidos de hardware e software para obter maior escalabilidade para este tipo de solução.  Com a evolução da plataforma Hadoop, as companhias podem dispor atualmente de um ambiente de Inteligência de Negócios e Relatórios Analíticos com alta escalabilidade e capacid...

O HBASE é uma ferramenta do ambiente Hadoop para armazenamento de dados, não relacional, distribuída, orientada a colunas, que permite a gravação e leitura de dados, sem a necessidade de definir previamente schemas, o que lhe garante flexibilidade. Ele foi desenhado para ter escalabilidade, tanto em termos de linhas e colunas, como em termos de nós utilizados, sendo particionável automaticamente, com uma arquitetura que garante tolerância a falhas e tem seu ambiente controlado pelo Zookeeper. Outra característica importante do HBASE é que ele foi projetado para utilização em clusters de servidores do tipo commodity.   Quando citamos servidores tipo commodity devemos focar em hardware de marcas padrão de mercado (Dell, HP, Lenovo, etc), com qualidade e bom MTBF, mas que não são os servidores de alto custo normalmente necessários para os atuais sistemas de banco de dados. O HBASE não utiliza índices, permite acesso via linha de comandos e possui uma API Java que permite importar...