Big Data Brazil Blog

Após algum tempo sem publicar no Blog, por necessidade de estudos para uma certificação e mudança de emprego, estou retornando a esta atividade, focando em Big Data e Cloud Computing.  Tentando ajudar aqueles que querem aprender um pouco mais sobre Cloud na prática, vamos falar sobre a oferta da Amazon (Amazon Web Services), que permite que você crie uma Conta na nuvem e dependendo do nível de uso dos recursos escolhidos você poderá passar até um ano sem ser tarifado.  Para saber em detalhes o que pode ser utilizado gratuitamente na Amazon, consulte a página http://aws.amazon.com/pt/free/ . Depois de criar a sua Conta na Amazon, você deverá logar no AWS Management Console, que é o produto que gerencia o acesso e uso dos recursos na infraestrutura em nuvem da Amazon. No passo seguinte você escolhe o sistema operacional que irá utilizar na sua instância.  Na AWS existem diversos “flavors” de Linux disponíveis e também uma versão de Windows.  O mais interes...

No post de hoje listamos algumas companhias que utilizam Big Data.     Facebook   As aplicações de BI e Datawarehouse do Facebook, chaves para o entendimento do comportamento do usuário e métricas de campanhas,   estavam sendo impactadas pela grande quantidade de dados ( 10TB / dia ) e a plataforma   Hadoop, HDFS/ Hive mostrou ser a melhor solução.   Os logs dos servidores Apache são coletados via Scribe, os dados são transferidos para o cluster Hadoop / HDFS e é utilizado o Hive para sumarizar os   mesmos. Os sumários incluem page views, número de usuários, permanência no site, performance de campanhas e análises específicas. Rackspace O Rackspace provê serviços de hosting, e-mail e infraestrutura em geral para diversas companhias.   Os serviços de e-mail geram diariamente um volume muito grande de dados que não estava sendo mais processado em tempo hábil por instãncias MySQL. A solução encontrada foi tra...