Cenário para Big Data em 2014

No ano passado o Big Data passou por uma fase de "Hype", tal como uma super valorização, na qual  segundo uma pesquisa do Gartner Group, 64% dos entrevistados planejavam investir em Big Data, mas apenas 8% dos entrevistados tinham projetos de Big Data em produção.

Uma das dificuldades existentes para uso do ambiente Big Data, com o Hadoop, nas grandes companhias, que utilizam storage centralizado, era de certa forma ter de voltar ao modelo anterior de  CPU + Storage Local  para conseguir obter a melhor performance da plataforma Hadoop. Há muito tempo as grandes companhias já não utilizam este modelo de hardware e armazenamento, preferindo utilizar grandes ambientes virtualizados, alocando os recursos de processamento, memória e storage conforme a necessidade. 

A EMC se tornou o primeiro player de Storage a identificar esta necessidade dos clientes e passou a oferecer integração nativa HDFS em sua linha de storage Isilon. Desta forma, utilizando o storage Isilon habilitado para HDFS, a organização elimina a necessidade de duplicar e transportar grandes quantidades de dados em suas redes, além de manter os fluxos de trabalho, operação e manutenção padronizados. 

A economia obtida quando utilizamos ambientes padronizados em TI é grande e envolve a escala na compra dos equipamentos utilizados, contratos de manutenção, treinamento do pessoal, serviços profissionais, procedimentos e operação padronizados. 

Outra dificuldade que vimos foi quanto a definição de projetos utilizando Big Data, que pudessem trazer ganhos para as companhias, assim como também definir quais softwares utilizar: Apache Hadoop, Cloudera, Hortonworks, Pivotal, MapReduce, Hive, MongoDB, HBase, Sqoop, Fiume, etc. 

Muitas companhias optaram por simplemesmente usar o ambiente Hadoop apenas como repositório de Datawarehouse, aproveitando assim para conhecer um pouco melhor este tipo de ambiente.  Outras companhias realizaram provas de conceito e pilotos de aplicações usando o Hadoop.  

Ao realizar uma prova de conceito de uma determinada tecnologia a empresa consegue identificar os pontos fortes, pontos fracos, riscos, determinar como aquela tecnologia poderá ser empregada de maneira eficiente para resolver os problemas do negócio, assim como definir as competências de TI necessárias.

No contexto econômico para 2014,  nos  Estados Unidos a economia continua a crescer ( apesar de Dezembro não ter sido muito bom),  na Europa esperamos que a Espanha e a Itália consigam melhorar o seu desempenho e reduzir índices de desemprego, Portugal deve sair da Troica e quanto ao Brasil existe a previsão inicial de crescimento do PIB em torno de 2%.  

Para a indústria de Óleo e Gás no Brasil  podemos dizer que 2013 foi um ano de preparação, no qual tivemos o retorno das rodadas de leilões da ANP e o esperado leilão do pré-sal de Libra. Logo 2014 deve ser um ano de  início de muitos contratos e investimentos em tecnologia. Novas plataformas da Petrobras entrarão em produção, gerando mais receita para a empresa e também mais dados para serem analisados.

O ano de 2014 está apenas começando, vimos que as empresas estão aderindo cada vez mais à Computação na Nuvem, tanto em nuvem pública como nuvem privada, e o cenário é positivo para os projetos de Big Data que devem ganhar mais atenção e recursos durante este ano.  

 

This challenge is what led Isilon to become the first industry player to offer native HDFS integration. By using a single scalable storage platform that’s HDFS enabled, organizations eliminate the need to duplicate and transport large quantities of data around their networks. Customers are now able to bring Hadoop to their Big Data, rather than having to take the data to Hadoop.   - See more at: http://reflectionsblog.emc.com/2013/12/tech-predictions-for-2014-bringing-hadoop-to-your-big-data.html#sthash.CYXAGo31.dpuf