Big Data Brazil Blog

Após algum tempo sem publicar no Blog, por necessidade de estudos para uma certificação e mudança de emprego, estou retornando a esta atividade, focando em Big Data e Cloud Computing.  Tentando ajudar aqueles que querem aprender um pouco mais sobre Cloud na prática, vamos falar sobre a oferta da Amazon (Amazon Web Services), que permite que você crie uma Conta na nuvem e dependendo do nível de uso dos recursos escolhidos você poderá passar até um ano sem ser tarifado.  Para saber em detalhes o que pode ser utilizado gratuitamente na Amazon, consulte a página http://aws.amazon.com/pt/free/ . Depois de criar a sua Conta na Amazon, você deverá logar no AWS Management Console, que é o produto que gerencia o acesso e uso dos recursos na infraestrutura em nuvem da Amazon. No passo seguinte você escolhe o sistema operacional que irá utilizar na sua instância.  Na AWS existem diversos “flavors” de Linux disponíveis e também uma versão de Windows.  O mais interes...

No último post falamos sobre utilização e benefícios de computação na nuvem e seus diversos modelos (IAAS, PAAS e SAAS). Neste post de hoje exemplificamos como podemos rapidamente criar um ambiente de Big Data na Nuvem usando o ambiente Hadoop. Em abril deste ano abordamos o Spark, que é um projeto que foi iniciado na UC Berkley, que permite realizar análises rápidas em quantidades massivas de dados, uma vez que estes são carregados para estruturas de memória compartilhadas integradas ao ambiente Hadoop.  Para executar estas análises rápidas sobre a plataforma Spark foi criado, também pela UC Berkley, o software Shark ( http://shark.cs.berkeley.edu/ ). O Shark é um motor de queries SQL baseado no ambiente Hadoop, que é compatível com o Apache Hive, permitindo assim o uso de instruções HiveQL para acessar e tratar os dados. Como o Shark usa dados que estão em memória os resultados podem ser até 30 vezes mais rápidos que os mesmos utilizando o Hive.   O Shark tamb...