Importando e exportando dados com Sqoop


A plataforma Hadoop consegue realizar o processamento distribuído de informações de origens diversas, que podem ser estruturadas ou não, possibilitando o desenvolvimento de novas aplicações e novas formas de analisar os negócios. 

Atualmente grande parte das informações estruturadas das companhias está armazenada em bancos de dados relacionais e precisam ser integradas com informações não estruturadas no ambiente Hadoop. Para realizar a importação e exportação de dados entre bancos de dados relacionais e o Hadoop foi criada a ferramenta Sqoop (http://sqoop.apache.org), também da Fundação Apache.

O pacote Sqoop obtido no site da Fundação Apache fornece conectores específicos para MySQL, PostGreSQL, Oracle, SQL Server e DB2, assim como tem também um conector genérico para JDBC (Java Database Connectivity), que pode ser usado para conexão com qualquer banco de dados ou ferramenta que suporte JDBC. Existem também no mercado outros conectores para Netezza, Teradata, NoSQL, etc, fornecidos por empresas diversas que podem ser adquiridos e integrados ao Sqoop.

Ao realizar um import o Sqoop executa jobs MapReduce que lêem uma tabela do banco de dados e gravam os dados no HDFS. Tal como o Hadoop, o Sqoop também é escrito em Java e utiliza a API JDBC para acessar bancos de dados. Na operação de importação, os dados retornados no cursor são gravados em um arquivo sequencial no HDFS.

A figura abaixo, extraída do livro Hadoop – The Definitive Guide, de Tom White, ilustra o processo de importação usado pelo Sqoop.


Como esta é uma plataforma utilizada para processamento de grandes quantidades de dados, o Sqoop pode utilizar a primary key da tabela para particionar o trabalho total em mais de um job MapReduce, conseguindo assim paralelizar o processamento e obter melhor performance.
O Sqoop também pode ser utilizado para criar tabelas no Hive a partir de tabelas existentes em um ambiente de banco de dados relacional.
Também é possível utilizar o Sqoop para exportar dados do HDFS para uma tabela existente em um banco de dados relacional. Este processo utiliza jobs MapReduce que vão ler os dados no HDFS e acessar a tabela no banco de dados relacional usando JDBC para inserir os dados na mesma.

Pensando na utilização do Sqoop na indústria de Óleo & Gás, existem muitos logs de operações de produção de petróleo e gás, dados de sensores de poços (temperatura, volume e pressão), que estão armazenados em sistemas historiadores operacionais (OSIsoft PI, GE Proficy Historian, etc) que possuem acesso via JDBC e podem ser importados para a plataforma Hadoop, permitindo criar uma série de novos relatórios analíticos operacionais voltados para otimização da produção e redução de custos. 

Podemos chamar esta utilização de “Real-time operational intelligence”, que é uma disciplina emergente, baseada na transformação da vasta quantidade de dados existentes atualmente nos sistemas de produção em informações que tenham valor para o negócio. 

No próximo post vou abordar a distribuição Cloudera do Hadoop.






Comentários

Postar um comentário

Postagens mais visitadas deste blog

Hive, o que é ?

Imagem
Após uma semana voltada para a Jornada Mundial da Juventude no Rio de Janeiro, que foi bastante recompensadora, voltamos ao nosso dia a dia no mundo da tecnologia e falamos sobre o Hive.  O Hive é um framework para soluções de Data Warehousing, que executa no ambiente do Hadoop, construído inicialmente pelo time de desenvolvimento do Facebook em 2007.   Ele nasceu a partir da necessidade de gerenciar, analisar e aprender sobre o comportamento dos usuários a partir dos imensos volumes de dados gerados a cada dia no Facebook.  A escolha pelo Hadoop foi incentivada pelo baixo custo, escalabilidade e evitar a dependência sobre custos de licenças e manutenção anual que são comuns nos bancos de dados do mercado.  Outro ponto também que levou ao desenvolvimento do Hive foi o baixo desempenho das soluções de mercado para realizar operações de Full Scan em grandes volumes de dados.  O Hive foi criado também visando aproveitar os "skills" de uso do SQL dos analistas e de
Leia mais

O que é o HBASE ?

Imagem
   O HBASE é um banco de dados do tipo NoSQL, não aderente ao modelo relacional, que não provê acesso SQL aos dados armazenados. Os bancos de dados que estão sob este rótulo NoSQL não podem exigir esquemas de tabela fixa e, geralmente, não suportam instruções e operações de junção SQL, assim como não dispõem de colunas com tipos de dados definidos, triggers, etc. Como exemplos de NoSQL, além do HBASE, temos o MongoDB, o Amazon SimpleDB e o Oracle NoSQL.    O HBASE é orientado a colunas, sendo muitas vezes chamado de “Hadoop Database”, permitindo operações CRUD em tempo real. Em 2010 deixou de ser um sub-projeto do Hadoop, tornando-se um projeto independente (http://hbase.apache.org/). Assim como o Hadoop, roda em plataforma clusterizada e foi projetado para suportar tabelas com bilhões de linhas.    Sua melhor aplicabilidade é quando temos uma quantidade de dados muito grande, aproveitando assim o potencial do cluster Hadoop / HDFS. Com bases de dados
Leia mais

O que é o HDFS ?

Imagem
O HDFS (Hadoop Distributed File System) é um sistema de arquivos distribuído, projetado para armazenar arquivos muito grandes,  com padrão de acesso aos dados streaming , utilizando clusters de servidores facilmente encontrados no mercado e de baixo ou médio custo.  Não deve ser utilizado para aplicações que precisem de acesso rápido a um determinado registro e sim para aplicações nas quais é necessário ler uma quantidade muito grande de dados.  Outra questão que deve ser observada é que não deve ser utilizado para ler muitos arquivos pequenos, tendo em vista o overhead de memória envolvido. O HDFS possui o conceito de blocos, tal como no Unix, mas seus blocos normalmente têm tamanho de 64MB.  Um arquivo muito grande pode ter blocos armazenados em mais de um servidor.   Com este conceito de blocos de tamanho fixo fica mais fácil calcular as necessidades de armazenamento. O HDFS tem 2 tipos de Nós :  Master (ou Namenode) e Worker (ou Datanode).  O Master armazena informações da
Leia mais