Big Data Brazil Blog

No ano passado o Big Data passou por uma fase de "Hype", tal como uma super valorização, na qual  segundo uma pesquisa do Gartner Group, 64% dos entrevistados planejavam investir em Big Data, mas apenas 8% dos entrevistados tinham projetos de Big Data em produção. Uma das dificuldades existentes para uso do ambiente Big Data, com o Hadoop, nas grandes companhias, que utilizam storage centralizado, era de certa forma ter de voltar ao modelo anterior de  CPU + Storage Local  para conseguir obter a melhor performance da plataforma Hadoop. Há muito tempo as grandes companhias já não utilizam este modelo de hardware e armazenamento, preferindo utilizar grandes ambientes virtualizados, alocando os recursos de processamento, memória e storage conforme a necessidade.  A EMC se tornou o primeiro player de Storage a identificar esta necessidade dos clientes e passou a oferecer integração nativa HDFS em sua linha de storage Isilon. Desta forma, utilizando o storage Isilon...

  Existem hoje no mercado diversas opções para montar um ambiente   para processamento de grandes quantidades de dados utilizando a plataforma Big Data (Hadoop, HDFS, Hive, HBASE, Pig, etc).      Uma das opções iniciais é montar seu próprio cluster com máquinas servidoras de baixo custo existentes no mercado,   fazer o download dos softwares do site da Fundação Apache, realizar as instalações e configurações necessárias para utilizá-lo da maneira mais rápida possível, sem pagamento de licenças ou mensalidades de manutenção de software. Caso não tenha os recursos necessários é possível com apenas uma máquina   configurar e testar o ambiente do Hadoop.     Normalmente este é o caminho utilizado durante o aprendizado ou por pequenas empresas,   que ainda não podem arcar com custos adicionais. Nestes casos o suporte e resolução de problemas é feito por buscas na internet, buscas em comunidades ou com o auxílio de profissi...