Big Data Brazil Blog

No último post falamos sobre utilização e benefícios de computação na nuvem e seus diversos modelos (IAAS, PAAS e SAAS). Neste post de hoje exemplificamos como podemos rapidamente criar um ambiente de Big Data na Nuvem usando o ambiente Hadoop. Em abril deste ano abordamos o Spark, que é um projeto que foi iniciado na UC Berkley, que permite realizar análises rápidas em quantidades massivas de dados, uma vez que estes são carregados para estruturas de memória compartilhadas integradas ao ambiente Hadoop.  Para executar estas análises rápidas sobre a plataforma Spark foi criado, também pela UC Berkley, o software Shark ( http://shark.cs.berkeley.edu/ ). O Shark é um motor de queries SQL baseado no ambiente Hadoop, que é compatível com o Apache Hive, permitindo assim o uso de instruções HiveQL para acessar e tratar os dados. Como o Shark usa dados que estão em memória os resultados podem ser até 30 vezes mais rápidos que os mesmos utilizando o Hive.   O Shark tamb...

Para realizar análises de grandes quantidades de dados, localizados em clusters com diversos nós, precisamos de recursos tradicionais de SQL e Datawarehouse ( Star schemas, drill down, etc ), assim como precisamos ter algorítimos e estruturas de dados para otimizar as consultas em caso de falhas em qualquer um dos nós envolvidos.  Outro ponto que observamos mais recentemente nestas análises massivas de dados é o uso de algorítimos chamados de “machine learning” (Page-Ranking, Clustering, Regression, etc), que fazem um reuso de dados muito frequente.  O framework MapReduce da plataforma Hadoop simplificou e automatizou bastante a análise de quantidades massivas de dados em clusters,  mas a medida que as análises passam a exigir um reuso de dados, a leitura e gravação para disco podem se tornar um problema.  Precisamos ressaltar que o Hadoop MapReduce não é um framework orientado para transações e análises que precisem de baixo tempo de resposta. ...