Utilizando Big Data



No post de hoje listamos algumas companhias que utilizam Big Data.





  

Facebook  

As aplicações de BI e Datawarehouse do Facebook, chaves para o entendimento do comportamento do usuário e métricas de campanhas,  estavam sendo impactadas pela grande quantidade de dados ( 10TB / dia ) e a plataforma  Hadoop, HDFS/ Hive mostrou ser a melhor solução.  Os logs dos servidores Apache são coletados via Scribe, os dados são transferidos para o cluster Hadoop / HDFS e é utilizado o Hive para sumarizar os  mesmos. Os sumários incluem page views, número de usuários, permanência no site, performance de campanhas e análises específicas.


Rackspace
O Rackspace provê serviços de hosting, e-mail e infraestrutura em geral para diversas companhias.  Os serviços de e-mail geram diariamente um volume muito grande de dados que não estava sendo mais processado em tempo hábil por instãncias MySQL. A solução encontrada foi transferir os logs para um cluster Hadoop / HDFS, utilizar programas MapReduce para fazer o processamento destes logs e gerar Datasets que podem ser facilmente analisados. 

Netflix
A Netflix tem 27 milhões de assinantes nos Estados Unidos e aproximadamente 33 milhões em todo o mundo.  A companhia acompanha quais conteúdos são executados  (30 milhões de plays por dia, pausas, rewinds, fast forwards), 3 milhões de buscas realizadas diariamente, tipos de  dispositivos utilizados para visualização, dados de geo-localização, dados de audiência recebidos de parceiros (Nielsen), dados de mídias sociais (Facebook e Twitter). A ideia principal é saber o que os clientes assistem para entender como poderá ser o interesse por um determinado conteúdo a ser colocado no ar. 

Para procesar estas centenas de terabytes, a Netflix utiliza um data warehouse baseado no Hadoop com o armazenamento de dados no Amazon Simple Storage Server (S3), processando os Jobs MapReduce com o Amazon Elastic MapReduce.Além destes softwares utiliza o Hive, HBASE e NoSQL.

 
Yahoo!

O Yahoo! foi a primeira companhia a utilizar o Hadoop em larga escala e hoje a maioria das suas aplicações de produção rodam em MapReduce.   No início a companhia utilizava o Hadoop para processamento batch em larga escala. Atualmente procura utilizar agregações e dados de navegação visando transformar rapidamente dados brutos em informações que possam  gerar receita.  Alguns dados do Yahoo!: 100 bilhões de eventos são coletados todos os dias, 2PB de dados armazenados no HBASE,  365 PB de Storage HDFS.

Microsoft

O Windows Azure Marketplace da Microsoft mantém um depósito de dados com informações sobre índices e tipos de crimes nos Estados Unidos, que pode ser acessado por clientes.  Estes dados estão em uma plataforma Hadoop/ HD Insights da MS.

Além destes grandes players, Twitter, Adobe, Meetup, eBay e outras grandes companhias dos mais diversos setores, tais como Finanças, Medicina,  Segurança, Petróleo e Gás, etc já estão utilizando a plataforma Hadoop.

No próximo post falamos sobre o HBASE.


Comentários

Postar um comentário

Postagens mais visitadas deste blog

Hive, o que é ?

Imagem
Após uma semana voltada para a Jornada Mundial da Juventude no Rio de Janeiro, que foi bastante recompensadora, voltamos ao nosso dia a dia no mundo da tecnologia e falamos sobre o Hive.  O Hive é um framework para soluções de Data Warehousing, que executa no ambiente do Hadoop, construído inicialmente pelo time de desenvolvimento do Facebook em 2007.   Ele nasceu a partir da necessidade de gerenciar, analisar e aprender sobre o comportamento dos usuários a partir dos imensos volumes de dados gerados a cada dia no Facebook.  A escolha pelo Hadoop foi incentivada pelo baixo custo, escalabilidade e evitar a dependência sobre custos de licenças e manutenção anual que são comuns nos bancos de dados do mercado.  Outro ponto também que levou ao desenvolvimento do Hive foi o baixo desempenho das soluções de mercado para realizar operações de Full Scan em grandes volumes de dados.  O Hive foi criado também visando aproveitar os "skills" de uso do SQL dos analistas e de
Leia mais

O que é o HBASE ?

Imagem
   O HBASE é um banco de dados do tipo NoSQL, não aderente ao modelo relacional, que não provê acesso SQL aos dados armazenados. Os bancos de dados que estão sob este rótulo NoSQL não podem exigir esquemas de tabela fixa e, geralmente, não suportam instruções e operações de junção SQL, assim como não dispõem de colunas com tipos de dados definidos, triggers, etc. Como exemplos de NoSQL, além do HBASE, temos o MongoDB, o Amazon SimpleDB e o Oracle NoSQL.    O HBASE é orientado a colunas, sendo muitas vezes chamado de “Hadoop Database”, permitindo operações CRUD em tempo real. Em 2010 deixou de ser um sub-projeto do Hadoop, tornando-se um projeto independente (http://hbase.apache.org/). Assim como o Hadoop, roda em plataforma clusterizada e foi projetado para suportar tabelas com bilhões de linhas.    Sua melhor aplicabilidade é quando temos uma quantidade de dados muito grande, aproveitando assim o potencial do cluster Hadoop / HDFS. Com bases de dados
Leia mais

O que é o HDFS ?

Imagem
O HDFS (Hadoop Distributed File System) é um sistema de arquivos distribuído, projetado para armazenar arquivos muito grandes,  com padrão de acesso aos dados streaming , utilizando clusters de servidores facilmente encontrados no mercado e de baixo ou médio custo.  Não deve ser utilizado para aplicações que precisem de acesso rápido a um determinado registro e sim para aplicações nas quais é necessário ler uma quantidade muito grande de dados.  Outra questão que deve ser observada é que não deve ser utilizado para ler muitos arquivos pequenos, tendo em vista o overhead de memória envolvido. O HDFS possui o conceito de blocos, tal como no Unix, mas seus blocos normalmente têm tamanho de 64MB.  Um arquivo muito grande pode ter blocos armazenados em mais de um servidor.   Com este conceito de blocos de tamanho fixo fica mais fácil calcular as necessidades de armazenamento. O HDFS tem 2 tipos de Nós :  Master (ou Namenode) e Worker (ou Datanode).  O Master armazena informações da
Leia mais