Big Data Brazil Blog

A medida que o uso de ambientes Big Data se consolida nas organizações, novos casos de uso e novos tipos de análises passam a ser requeridas pelos clientes. Além do uso de análises descritivas ou históricas, que relatam a performance dos negócios no passado, análises que visam prever comportamentos e tendências podem também ser realizadas, a medida que podemos combinar novas fontes de informações, que até então não conseguiam ser reunidas facilmente. Como exemplos de uso destas análises no dia a dia das companhias temos aplicações para detecção de fraudes, classificação de e-mails, previsões de venda, detecção de mudança de comportamento de clientes, previsões de defeitos, previsões de produção, etc. Nestes tipos de análises preditivas, os algorítimos mais empregados são os que envolvem regressão linear e cluster. Na regressão linear estimamos o valor de uma variável y, modificando os valores de uma variável x. Na análise de cluster procuramos agrupar os objetos que são similares...

O relatório sobre integração do Hadoop com ambientes de Business Intelligence e Data Warehouse corporativos ( TDWI_BPReport_Q213_IntegratingHadoopBIDW_rev.pdf ), publicado pela TDWI ( www.tdwi.org ) no final do primeiro semestre de 2013, indica que a maioria das empresas consultadas veem o Hadoop e seu ecossistema de produtos e parceiros como uma oportunidade para complementar os seus ambientes de BI e Data Warehouse, possibilitando o desenvolvimento de novos tipos de relatórios analíticos,  originados de fontes não estruturadas, gerados por máquinas, navegação em servidores web, dados de sensores, RFID, georeferenciamento, etc.  Como já falamos em posts anteriores, o Hadoop tem como sistema de arquivos padrão o HDFS, que permite adicionar mais processamento e área de armazenamento ao cluster Hadoop a partir do uso de equipamentos de baixo custo e facilmente encontrados no mercado. Desta forma ao adicionar o Hadoop ao ambiente de BI e DW,  podemos utilizar...