Big Data Brazil Blog

Em posts anteriores falamos sobre a empresa Netflix, gigante global no negócio de vídeo sob demanda, e sua estratégia de utilizar toda a sua infraestrutura baseada na nuvem da Amazon. Desta forma a Netflix conseguiu escalabilidade, disponibilidade e direcionar seus esforços, recursos e competências no negócio propriamente dito.  Outra companhia que atua na disponibilização de vídeos em escala global é o YouTube, subsidiária da Google, que mantém a sua própria nuvem. Para garantir uma melhor experiência de visualização para seus clientes, YouTube e Netflix precisam manter uma rede de distribuição de conteúdo digital, que é chamada de Content Delivery Network (CDN). De acordo com o IETF, a CDN é uma infraestrutura de elementos de rede operando nas camadas de 4 a 7 do modelo OSI, implementada para uma distribuição e entrega eficiente de conteúdo digital.  A CDN garante que o conteúdo esteja mais próximo do cliente, evitando que o mesmo trafegue por diversos links de ...

Estamos passando por um período de ajustes na economia mundial e em diversas partes do mundo o crédito está escasso e os investidores estão apostando em economias mais estáveis ou com maior previsibilidade em longo prazo.  Os investimentos realizados em infraestrutura básica de TI, que a cada ano torna-se obsoleta, precisam ser repensados na estratégia empresarial e muitas companhias de grande porte estão migrando de Data Centers próprios para Data Centers de empresas especializadas.  Um dos casos de sucesso mais emblemáticos é o da Netflix, que desde 2010 migrou seu Data Center para o AWS ( Amazon Web Services ). Quais os principais benefícios obtidos neste tipo de migração para uso de Computação na Nuvem? O primeiro é Otimização de Custos.   Podemos listar custos de servidores, sistemas operacionais, licenças de softwares diversos (bancos de dados, servidores de aplicação, pacotes de integração, etc), espaço, refrigeração, luz, manutenção ...

No post de hoje listamos algumas companhias que utilizam Big Data.     Facebook   As aplicações de BI e Datawarehouse do Facebook, chaves para o entendimento do comportamento do usuário e métricas de campanhas,   estavam sendo impactadas pela grande quantidade de dados ( 10TB / dia ) e a plataforma   Hadoop, HDFS/ Hive mostrou ser a melhor solução.   Os logs dos servidores Apache são coletados via Scribe, os dados são transferidos para o cluster Hadoop / HDFS e é utilizado o Hive para sumarizar os   mesmos. Os sumários incluem page views, número de usuários, permanência no site, performance de campanhas e análises específicas. Rackspace O Rackspace provê serviços de hosting, e-mail e infraestrutura em geral para diversas companhias.   Os serviços de e-mail geram diariamente um volume muito grande de dados que não estava sendo mais processado em tempo hábil por instãncias MySQL. A solução encontrada foi tra...

O HDFS (Hadoop Distributed File System) é um sistema de arquivos distribuído, projetado para armazenar arquivos muito grandes,  com padrão de acesso aos dados streaming , utilizando clusters de servidores facilmente encontrados no mercado e de baixo ou médio custo.  Não deve ser utilizado para aplicações que precisem de acesso rápido a um determinado registro e sim para aplicações nas quais é necessário ler uma quantidade muito grande de dados.  Outra questão que deve ser observada é que não deve ser utilizado para ler muitos arquivos pequenos, tendo em vista o overhead de memória envolvido. O HDFS possui o conceito de blocos, tal como no Unix, mas seus blocos normalmente têm tamanho de 64MB.  Um arquivo muito grande pode ter blocos armazenados em mais de um servidor.   Com este conceito de blocos de tamanho fixo fica mais fácil calcular as necessidades de armazenamento. O HDFS tem 2 tipos de Nós :  Master (ou Namenode) e Worker (ou Datanode)....