Big Data Brazil Blog

A medida que o uso de ambientes Big Data se consolida nas organizações, novos casos de uso e novos tipos de análises passam a ser requeridas pelos clientes. Além do uso de análises descritivas ou históricas, que relatam a performance dos negócios no passado, análises que visam prever comportamentos e tendências podem também ser realizadas, a medida que podemos combinar novas fontes de informações, que até então não conseguiam ser reunidas facilmente. Como exemplos de uso destas análises no dia a dia das companhias temos aplicações para detecção de fraudes, classificação de e-mails, previsões de venda, detecção de mudança de comportamento de clientes, previsões de defeitos, previsões de produção, etc. Nestes tipos de análises preditivas, os algorítimos mais empregados são os que envolvem regressão linear e cluster. Na regressão linear estimamos o valor de uma variável y, modificando os valores de uma variável x. Na análise de cluster procuramos agrupar os objetos que são similares...

Nos posts anteriores vimos que um dos grandes diferenciais da plataforma Hadoop é a sua capacidade de armazenar e tratar enormes quantidades de dados estruturados e não estruturados, mas para que estes dados tenham valor precisam ser refinados e analisados de acordo com as necessidades da companhia. Como opções para processamento de dados nesta plataforma, já abordamos o MapReduce, o Hive, o HBase, etc, cada um tendo um perfil de uso específico e necessitando de competências diferenciadas por parte da equipe de desenvolvimento e suporte. No caso da utilização do MapReduce, muitas vezes existe um certo grau de dificuldade por parte dos desenvolvedores para traduzir os requisitos de negócios da empresa para programas em MapReduce, que trabalham tipicamente com chaves e valores e dois tipos básicos de lógica (mapear e reduzir). Visando criar um novo nível de abstração e facilitar o processamento de dados no ambiente Hadoop, foi criado o framework Cascading ( http://www.casc...