Main( )

Este Blog é dedicado a artigos que envolvam Big Data, Analytics, Hadoop, MapReduce, HDFS e tecnologias relacionadas. Já trabalhei com diversas tecnologias e linguagens de programação (Cobol, Pascal, C, Forms, Reports, SQLPLUS, Java, Oracle Database, Weblogic, etc), o que facilita a análise de temas técnicos. Em breve faço a primeira postagem.

Comentários

Postar um comentário

Postagens mais visitadas deste blog

Hive, o que é ?

Imagem
Após uma semana voltada para a Jornada Mundial da Juventude no Rio de Janeiro, que foi bastante recompensadora, voltamos ao nosso dia a dia no mundo da tecnologia e falamos sobre o Hive.  O Hive é um framework para soluções de Data Warehousing, que executa no ambiente do Hadoop, construído inicialmente pelo time de desenvolvimento do Facebook em 2007.   Ele nasceu a partir da necessidade de gerenciar, analisar e aprender sobre o comportamento dos usuários a partir dos imensos volumes de dados gerados a cada dia no Facebook.  A escolha pelo Hadoop foi incentivada pelo baixo custo, escalabilidade e evitar a dependência sobre custos de licenças e manutenção anual que são comuns nos bancos de dados do mercado.  Outro ponto também que levou ao desenvolvimento do Hive foi o baixo desempenho das soluções de mercado para realizar operações de Full Scan em grandes volumes de dados.  O Hive foi criado também visando aproveitar os "skills" de uso do SQL...
Leia mais

Supply Chain and the New Silk Route

Imagem
In these pandemic days 2 words went to the list of the most important words and you are going to hear a lot about them. The 2 words are Supply Chain.   When we talked about Supply Chain, this concept goes from manufacturing and logistic processes ranging from the sourcing of the raw material components until the delivery of the finished products to the customer. After the event of globalization, lots of goods, spare parts, components and any kind of material started to be produced at China, South Corea, Japan, Vietnam, etc. As an example, a lot of our clothes are coming from the Southeast of Asia. We saw that much that was produced in the West migrated to the East, usually ocasioned by production and labor costs, intalled capacity, etc.  As the production migrated to the East, it turned vital to build routes to link those products to West. Guarantee that raw components or finished products are reaching their buyers in the expected date is much important for those s...
Leia mais

Importando e exportando dados com Sqoop

Imagem
A plataforma Hadoop consegue realizar o processamento distribuído de informações de origens diversas, que podem ser estruturadas ou não, possibilitando o desenvolvimento de novas aplicações e novas formas de analisar os negócios.  Atualmente grande parte das informações estruturadas das companhias está armazenada em bancos de dados relacionais e precisam ser integradas com informações não estruturadas no ambiente Hadoop. Para realizar a importação e exportação de dados entre bancos de dados relacionais e o Hadoop foi criada a ferramenta Sqoop (http://sqoop.apache.org), também da Fundação Apache. O pacote Sqoop obtido no site da Fundação Apache fornece conectores específicos para MySQL, PostGreSQL, Oracle, SQL Server e DB2, assim como tem também um conector genérico para JDBC (Java Database Connectivity), que pode ser usado para conexão com qualquer banco de dados ou ferramenta que suporte JDBC. Existem também no mercado outros conectores para Netezza, Teradata...
Leia mais