O que é o HDFS ?

O HDFS (Hadoop Distributed File System) é um sistema de arquivos distribuído, projetado para armazenar arquivos muito grandes,  com padrão de acesso aos dados streaming , utilizando clusters de servidores facilmente encontrados no mercado e de baixo ou médio custo.  Não deve ser utilizado para aplicações que precisem de acesso rápido a um determinado registro e sim para aplicações nas quais é necessário ler uma quantidade muito grande de dados.  Outra questão que deve ser observada é que não deve ser utilizado para ler muitos arquivos pequenos, tendo em vista o overhead de memória envolvido.

O HDFS possui o conceito de blocos, tal como no Unix, mas seus blocos normalmente têm tamanho de 64MB.  Um arquivo muito grande pode ter blocos armazenados em mais de um servidor.   Com este conceito de blocos de tamanho fixo fica mais fácil calcular as necessidades de armazenamento.

O HDFS tem 2 tipos de Nós :  Master (ou Namenode) e Worker (ou Datanode).  O Master armazena informações da distribuição de arquivos e metadados. Já o Worker armazena os dados propriamente ditos.  Logo o Master precisa sempre estar disponível.  Para garantir a disponibilidade podemos ter um backup ( similar ao Cold Failover ) ou termos um Master Secundário em um outro servidor.  Nesta segunda opção, em caso de falha do primário, o secundário pode assumir o controle muito rapidamente.

Tal como um sistema Unix, é possível utilizar o HDFS via  linha de comando.  Para saber a lista de comandos digite hadoop fs -help. É possível criar diretórios (mkdir), listar diretório (ls) , copiar arquivos (copyFromLocal, copyToLocal), permissionamento de arquivos e diretórios, etc.

A classe java abstrata org.apache.hadoop.fs.Filesystem pode ser implementada de forma concreta usando o HDFS, FTP,  S3 (Amazon Native), S3 (block-based), etc.  Utilizando programas simples em java também é possível listar arquivos, diretórios, copiar arquivos, ler dados, gravar dados, etc.

A figura abaixo, extraída do livro Hadoop The Definitive Guide de Tom White, mostra como é realizada a leitura de um arquivo no HDFS.




Como vimos no post anterior do dia  09 de Julho é possível, ao invés de armazenar os dados em um HDFS na própria empresa ou residência, armazenar na nuvem em um provedor que possa ter a melhor relação custo benefício e maior disponibilidade possível, tal como a Amazon Web Services  (aws.amazon.com). 

 A AWS oferece um conjunto completo de serviços de aplicativos e  infraestrutura que permitem que você execute praticamente tudo na nuvem: desde aplicativos empresariais e projetos de Big Data a jogos sociais e aplicativos móveis. 

Grandes empresas como SAP,  Adobe, Netflix e Nasdaq já usam os serviços de computação na nuvem da Amazon.

A Netflix mantém um blog de tecnologia ( techblog.netflix.com ), no qual explica com detalhes como utiliza o Hadoop, tendo como meio de armazenamento o Amazon Simple Storage Service.

http://techblog.netflix.com/2013/01/hadoop-platform-as-service-in-cloud.html

  
  No próximo post vamos abordar o Hive.



Comentários

Postar um comentário

Postagens mais visitadas deste blog

Hive, o que é ?

Imagem
Após uma semana voltada para a Jornada Mundial da Juventude no Rio de Janeiro, que foi bastante recompensadora, voltamos ao nosso dia a dia no mundo da tecnologia e falamos sobre o Hive.  O Hive é um framework para soluções de Data Warehousing, que executa no ambiente do Hadoop, construído inicialmente pelo time de desenvolvimento do Facebook em 2007.   Ele nasceu a partir da necessidade de gerenciar, analisar e aprender sobre o comportamento dos usuários a partir dos imensos volumes de dados gerados a cada dia no Facebook.  A escolha pelo Hadoop foi incentivada pelo baixo custo, escalabilidade e evitar a dependência sobre custos de licenças e manutenção anual que são comuns nos bancos de dados do mercado.  Outro ponto também que levou ao desenvolvimento do Hive foi o baixo desempenho das soluções de mercado para realizar operações de Full Scan em grandes volumes de dados.  O Hive foi criado também visando aproveitar os "skills" de uso do SQL...
Leia mais

O que é o HBASE ?

Imagem
   O HBASE é um banco de dados do tipo NoSQL, não aderente ao modelo relacional, que não provê acesso SQL aos dados armazenados. Os bancos de dados que estão sob este rótulo NoSQL não podem exigir esquemas de tabela fixa e, geralmente, não suportam instruções e operações de junção SQL, assim como não dispõem de colunas com tipos de dados definidos, triggers, etc. Como exemplos de NoSQL, além do HBASE, temos o MongoDB, o Amazon SimpleDB e o Oracle NoSQL.    O HBASE é orientado a colunas, sendo muitas vezes chamado de “Hadoop Database”, permitindo operações CRUD em tempo real. Em 2010 deixou de ser um sub-projeto do Hadoop, tornando-se um projeto independente (http://hbase.apache.org/). Assim como o Hadoop, roda em plataforma clusterizada e foi projetado para suportar tabelas com bilhões de linhas.    Sua melhor aplicabilidade é quando temos uma quantidade de dados muito grande, aproveitando assim o potencial do cluster Hadoo...
Leia mais

Utilizando o HBASE

Imagem
O HBASE é uma ferramenta do ambiente Hadoop para armazenamento de dados, não relacional, distribuída, orientada a colunas, que permite a gravação e leitura de dados, sem a necessidade de definir previamente schemas, o que lhe garante flexibilidade. Ele foi desenhado para ter escalabilidade, tanto em termos de linhas e colunas, como em termos de nós utilizados, sendo particionável automaticamente, com uma arquitetura que garante tolerância a falhas e tem seu ambiente controlado pelo Zookeeper. Outra característica importante do HBASE é que ele foi projetado para utilização em clusters de servidores do tipo commodity.   Quando citamos servidores tipo commodity devemos focar em hardware de marcas padrão de mercado (Dell, HP, Lenovo, etc), com qualidade e bom MTBF, mas que não são os servidores de alto custo normalmente necessários para os atuais sistemas de banco de dados. O HBASE não utiliza índices, permite acesso via linha de comandos e possui uma API Java que permite importar...
Leia mais