Usando Shark na Nuvem da Amazon


No último post falamos sobre utilização e benefícios de computação na nuvem e seus diversos modelos (IAAS, PAAS e SAAS). Neste post de hoje exemplificamos como podemos rapidamente criar um ambiente de Big Data na Nuvem usando o ambiente Hadoop.


Em abril deste ano abordamos o Spark, que é um projeto que foi iniciado na UC Berkley, que permite realizar análises rápidas em quantidades massivas de dados, uma vez que estes são carregados para estruturas de memória compartilhadas integradas ao ambiente Hadoop. 

Para executar estas análises rápidas sobre a plataforma Spark foi criado, também pela UC Berkley, o software Shark (http://shark.cs.berkeley.edu/ ). O Shark é um motor de queries SQL baseado no ambiente Hadoop, que é compatível com o Apache Hive, permitindo assim o uso de instruções HiveQL para acessar e tratar os dados. Como o Shark usa dados que estão em memória os resultados podem ser até 30 vezes mais rápidos que os mesmos utilizando o Hive.  O Shark também suporte características do Hive, tais como uso de metastore, serialização e UDFs.



A Amazon Web Services (AWS) dispõe hoje de um serviço de computação na nuvem chamado de Amazon EMR (Amazon Elastic MapReduce), no qual o cliente pode montar o seu cluster rodando o Hadoop, Hive, Shark, etc e utilizar servidores virtuais Amazon EC2 (Elastic Cluster) rodando diversas distribuições de Linux. Desta forma o cliente pode ter o seu próprio negócio e realizar as suas análises de dados, sem precisar montar um data center físico, pagando apenas pela capacidade necessária, no período em que utilizar.

Caso decida utilizar o Shark, como este utiliza dados em memória, as necessidades de CPU e memória podem variar bastante de uma análise para outra, mas estes fatores podem facilmente serem ajustados, de forma que o cluster tenha sempre a capacidade de acordo com a demanda. 

A figura abaixo mostra uma instância Shark rodando em um cluster Amazon EMR, utilizando servidores virtuais Amazon EC2 e Amazon S3 como solução de armazenamento de dados.



Após configurar o ambiente Shark na nuvem da Amazon, o cliente pode acessá-lo usando a ferramenta popular de Telnet Putty, criar e popular as suas tabelas e executar suas queries usando HiveQL. 

Também é possível monitorar o seu ambiente usando o Amazon CloudWatch. 




Ao finalizar as suas análises, o cliente pode "terminar" seu cluster, realizando o “shut down” e deletar os dados armazenados no Amazon S3.

A computação na nuvem é uma realidade que está reduzindo o tempo para disponibilização de soluções de TI para os negócios e simplificando a manutenção destas soluções. As organizações devem estar atentas a este novo paradigma e procurar aproveitar os seus benefícios. 

No próximo post vamos falar sobre SAAS e como podemos relacioná-lo com a plataforma Big Data.

Bem, até o próximo post !  





 

 

Comentários

Postar um comentário

Postagens mais visitadas deste blog

Hive, o que é ?

Imagem
Após uma semana voltada para a Jornada Mundial da Juventude no Rio de Janeiro, que foi bastante recompensadora, voltamos ao nosso dia a dia no mundo da tecnologia e falamos sobre o Hive.  O Hive é um framework para soluções de Data Warehousing, que executa no ambiente do Hadoop, construído inicialmente pelo time de desenvolvimento do Facebook em 2007.   Ele nasceu a partir da necessidade de gerenciar, analisar e aprender sobre o comportamento dos usuários a partir dos imensos volumes de dados gerados a cada dia no Facebook.  A escolha pelo Hadoop foi incentivada pelo baixo custo, escalabilidade e evitar a dependência sobre custos de licenças e manutenção anual que são comuns nos bancos de dados do mercado.  Outro ponto também que levou ao desenvolvimento do Hive foi o baixo desempenho das soluções de mercado para realizar operações de Full Scan em grandes volumes de dados.  O Hive foi criado também visando aproveitar os "skills" de uso do SQL dos analistas e de
Leia mais

O que é o HBASE ?

Imagem
   O HBASE é um banco de dados do tipo NoSQL, não aderente ao modelo relacional, que não provê acesso SQL aos dados armazenados. Os bancos de dados que estão sob este rótulo NoSQL não podem exigir esquemas de tabela fixa e, geralmente, não suportam instruções e operações de junção SQL, assim como não dispõem de colunas com tipos de dados definidos, triggers, etc. Como exemplos de NoSQL, além do HBASE, temos o MongoDB, o Amazon SimpleDB e o Oracle NoSQL.    O HBASE é orientado a colunas, sendo muitas vezes chamado de “Hadoop Database”, permitindo operações CRUD em tempo real. Em 2010 deixou de ser um sub-projeto do Hadoop, tornando-se um projeto independente (http://hbase.apache.org/). Assim como o Hadoop, roda em plataforma clusterizada e foi projetado para suportar tabelas com bilhões de linhas.    Sua melhor aplicabilidade é quando temos uma quantidade de dados muito grande, aproveitando assim o potencial do cluster Hadoop / HDFS. Com bases de dados
Leia mais

O que é o HDFS ?

Imagem
O HDFS (Hadoop Distributed File System) é um sistema de arquivos distribuído, projetado para armazenar arquivos muito grandes,  com padrão de acesso aos dados streaming , utilizando clusters de servidores facilmente encontrados no mercado e de baixo ou médio custo.  Não deve ser utilizado para aplicações que precisem de acesso rápido a um determinado registro e sim para aplicações nas quais é necessário ler uma quantidade muito grande de dados.  Outra questão que deve ser observada é que não deve ser utilizado para ler muitos arquivos pequenos, tendo em vista o overhead de memória envolvido. O HDFS possui o conceito de blocos, tal como no Unix, mas seus blocos normalmente têm tamanho de 64MB.  Um arquivo muito grande pode ter blocos armazenados em mais de um servidor.   Com este conceito de blocos de tamanho fixo fica mais fácil calcular as necessidades de armazenamento. O HDFS tem 2 tipos de Nós :  Master (ou Namenode) e Worker (ou Datanode).  O Master armazena informações da
Leia mais