Big Data Brazil Blog

No post de 26 de agosto de 2013, falamos sobre os bancos de dados NoSQL (Not Only SQL), mais especificamente sobre o HBase, que é orientado a colunas. Além dos bancos NoSQL orientados a colunas, existem outros tipos de bancos NoSQL orientados a documentos, grafos, chave-valor, objetos, etc.  Os bancos NoSQL orientados a documentos foram projetados para facilitar a armazenagem e recuperação de grandes volumes de documentos e são muito empregados em aplicações que requerem gerenciamento de grandes volumes de conteúdo digital, gerenciamento de dados de usuários, infraestrutura social e mobile, etc. O MongoDB ( www.mongodb.org ) é um dos principais bancos NoSQL orientado a documentos, existente no mercado. Como exemplo de empresas que usam o MongoDB temos a Forbes, o Foursquare, a Leroy Merlin, o CERN, etc. Com o MongoDB podemos armazenar documentos usando padrão BSON, criar índices para tornar buscas mais rápidas e gerenciar réplicas do ambiente provendo assim ...

A plataforma Hadoop consegue realizar o processamento distribuído de informações de origens diversas, que podem ser estruturadas ou não, possibilitando o desenvolvimento de novas aplicações e novas formas de analisar os negócios.  Atualmente grande parte das informações estruturadas das companhias está armazenada em bancos de dados relacionais e precisam ser integradas com informações não estruturadas no ambiente Hadoop. Para realizar a importação e exportação de dados entre bancos de dados relacionais e o Hadoop foi criada a ferramenta Sqoop (http://sqoop.apache.org), também da Fundação Apache. O pacote Sqoop obtido no site da Fundação Apache fornece conectores específicos para MySQL, PostGreSQL, Oracle, SQL Server e DB2, assim como tem também um conector genérico para JDBC (Java Database Connectivity), que pode ser usado para conexão com qualquer banco de dados ou ferramenta que suporte JDBC. Existem também no mercado outros conectores para Netezza, Teradata...

   O HBASE é um banco de dados do tipo NoSQL, não aderente ao modelo relacional, que não provê acesso SQL aos dados armazenados. Os bancos de dados que estão sob este rótulo NoSQL não podem exigir esquemas de tabela fixa e, geralmente, não suportam instruções e operações de junção SQL, assim como não dispõem de colunas com tipos de dados definidos, triggers, etc. Como exemplos de NoSQL, além do HBASE, temos o MongoDB, o Amazon SimpleDB e o Oracle NoSQL.    O HBASE é orientado a colunas, sendo muitas vezes chamado de “Hadoop Database”, permitindo operações CRUD em tempo real. Em 2010 deixou de ser um sub-projeto do Hadoop, tornando-se um projeto independente (http://hbase.apache.org/). Assim como o Hadoop, roda em plataforma clusterizada e foi projetado para suportar tabelas com bilhões de linhas.    Sua melhor aplicabilidade é quando temos uma quantidade de dados muito grande, aproveitando assim o potencial do cluster Hadoo...