Usando o Cloudera Hadoop

Uma das lacunas que existe na plataforma de software Hadoop, que também existe em outros softwares livres, está relacionada ao serviço de suporte e manutenção. A medida que as empresas passam a utilizar um software livre, muitas destas não dispõem de pessoas com competências técnicas para suportar este tipo de software e precisam de respostas rápidas para possíveis problemas que aconteçam no seu uso diário. De uma forma geral estas empresas não podem basear o suporte aos seus serviços em mensagens trocadas em grupos de usuários, o que pode representar um sério risco. Uma outra lacuna que também existe na plataforma Hadoop está relacionada às ferramentas para gerenciamento do ambiente como um todo.



A partir destas necessidades do mercado, algumas empresas começaram a trabalhar a partir da distribuição Hadoop da Apache Foundation para gerar as suas próprias distribuições, com suporte e atualizações pagas, assim como também desenvolvendo ferramentas de administração que facilitam o gerenciamento do ambiente Hadoop.

Uma das distribuições do Hadoop existentes no mercado é a da empresa Cloudera (www.cloudera.com), que além de fornecer a sua distribuição do software Apache Hadoop, chamada Cloudera Hadoop, fornece também suporte, treinamento e serviços profissionais.

Para aqueles que desejam aprender Hadoop, MapReduce, Hive, Hbase, fazer o download da versão de demo Cloudera QuickStart VM é uma das opções mais rápidas. O link para o download da versão é http://www.cloudera.com/content/support/en/downloads/download-components/download-products.html?productID=F6mO278Rvo . Neste pacote estão disponíveis o CentOS 6.2, o CDH4.3 (Cloudera Hadoop), o Cloudera Manager 4.6, o Cloudera Impala 1.0.1 e o Cloudera Search .9 Beta.



Após instalar o ambiente de máquina virtual ( VMWARE, KVM ou Virtual Box ) em seu Windows, basta importar rapidamente a VM e iniciar a utilização.



 
Um dos diferenciais da distribuição da Cloudera é o Cloudera Manager. Com o Cloudera Manager é possível administrar facilmente via interface web todo o ambiente Hadoop. Os diversos pacotes (MapReduce, Hive, HBASE, Impala, etc) podem ser iniciados e parados usando um console web bastante simples.




 
Outra vantagem de utilizar uma versão com suporte pago é o acesso a atualizações do produto. No caso da Cloudera, normalmente a cada 4 meses são lançadas correções para bugs e novas features para os usuários.

O pacote Cloudera Quickstart VM Demo traz um ambiente de desenvolvimento pronto, incluindo a ferramenta Eclipse, o que torna o aprendizado do Hadoop, MapReduce, Hive, etc mais rápido e evita que o desenvolvedor tenha que focar em configurações de arquivos e variáveis de ambiente.



Após a instalação da VM e configuração dos diretórios compartilhados, em menos de 1 hora é possível ver o resultado de um Job MapReduce. 



  Bem, até o próximo post !!!

Comentários

Postar um comentário

Postagens mais visitadas deste blog

Hive, o que é ?

Imagem
Após uma semana voltada para a Jornada Mundial da Juventude no Rio de Janeiro, que foi bastante recompensadora, voltamos ao nosso dia a dia no mundo da tecnologia e falamos sobre o Hive.  O Hive é um framework para soluções de Data Warehousing, que executa no ambiente do Hadoop, construído inicialmente pelo time de desenvolvimento do Facebook em 2007.   Ele nasceu a partir da necessidade de gerenciar, analisar e aprender sobre o comportamento dos usuários a partir dos imensos volumes de dados gerados a cada dia no Facebook.  A escolha pelo Hadoop foi incentivada pelo baixo custo, escalabilidade e evitar a dependência sobre custos de licenças e manutenção anual que são comuns nos bancos de dados do mercado.  Outro ponto também que levou ao desenvolvimento do Hive foi o baixo desempenho das soluções de mercado para realizar operações de Full Scan em grandes volumes de dados.  O Hive foi criado também visando aproveitar os "skills" de uso do SQL...
Leia mais

O que é o HBASE ?

Imagem
   O HBASE é um banco de dados do tipo NoSQL, não aderente ao modelo relacional, que não provê acesso SQL aos dados armazenados. Os bancos de dados que estão sob este rótulo NoSQL não podem exigir esquemas de tabela fixa e, geralmente, não suportam instruções e operações de junção SQL, assim como não dispõem de colunas com tipos de dados definidos, triggers, etc. Como exemplos de NoSQL, além do HBASE, temos o MongoDB, o Amazon SimpleDB e o Oracle NoSQL.    O HBASE é orientado a colunas, sendo muitas vezes chamado de “Hadoop Database”, permitindo operações CRUD em tempo real. Em 2010 deixou de ser um sub-projeto do Hadoop, tornando-se um projeto independente (http://hbase.apache.org/). Assim como o Hadoop, roda em plataforma clusterizada e foi projetado para suportar tabelas com bilhões de linhas.    Sua melhor aplicabilidade é quando temos uma quantidade de dados muito grande, aproveitando assim o potencial do cluster Hadoo...
Leia mais

Utilizando o HBASE

Imagem
O HBASE é uma ferramenta do ambiente Hadoop para armazenamento de dados, não relacional, distribuída, orientada a colunas, que permite a gravação e leitura de dados, sem a necessidade de definir previamente schemas, o que lhe garante flexibilidade. Ele foi desenhado para ter escalabilidade, tanto em termos de linhas e colunas, como em termos de nós utilizados, sendo particionável automaticamente, com uma arquitetura que garante tolerância a falhas e tem seu ambiente controlado pelo Zookeeper. Outra característica importante do HBASE é que ele foi projetado para utilização em clusters de servidores do tipo commodity.   Quando citamos servidores tipo commodity devemos focar em hardware de marcas padrão de mercado (Dell, HP, Lenovo, etc), com qualidade e bom MTBF, mas que não são os servidores de alto custo normalmente necessários para os atuais sistemas de banco de dados. O HBASE não utiliza índices, permite acesso via linha de comandos e possui uma API Java que permite importar...
Leia mais