Terá o Data Warehouse futuro?

Por velocidade de informação entenda-se, não a velocidade da ligação de rede nem a velocidade da capacidade de ter acesso a locais distantes de forma mais rápida e fiável, mas sim a rapidez em que as notícias surgem e são publicadas. Sempre que uma decisão de negócio é comunicada nos meios de comunicação, todos os setores e/ou empresas que dependem deste são afetados por essas mesmas decisões. As conjunturas económicas alteram-se de forma muito rápida e a viabilidade da informação é sempre muito fugaz e muito volátil.

Se uma empresa depender muito de um sistema de reporting atualizado, então precisa que este possa mudar de forma muito célere para cumprir com as suas necessidades.

Durante cerca de 20 anos as empresas investiram na construção de Data Warehouses, que lhes permitiram alicerçar todo o sistema de reporting para as ajudar a tomar as melhores decisões na gestão dos seus negócios e estratégias.

Contudo, os Data Warehouses são estruturas que implicam alteração à forma de extrair, transformar e carregar informação. Após tudo isto é necessário fazer o deployment das alterações sem comprometer o que já existe, o que resulta numa inércia substancial e que leva muitas vezes as empresas a falharem o time-to-market por não conseguirem ter a informação para tomar as melhores decisões.

Neste contexto, e também decorrente de uma maior evolução e facilidade do uso das ferramentas tecnológicas, tem-se assistido ao crescimento do “Shadow IT”, onde já é habitual ver as áreas de negócio elaborarem os seus próprios relatórios fora do ecossistema de Data Warehouse.

Quando o “Shadow IT” começa a crescer numa organização, passa a existir uma linha ténue entre a velocidade de entrega de nova informação com o total descontrolo na perfusão de novos indicadores e de novos entendimentos, pelo que esta linha é frequentemente ultrapassada.
Os sistemas de alto débito de Big Data (por permitirem uma maior flexibilidade na construção rápida de nova informação sem passar pelo processo lento do upgrade dos Data Marts), começaram a ser pensados como alternativa e rapidamente se começou a configurar como plausível, pelo menos para alguns stakeholders, que os Data Warehouses rapidamente seriam substituídos por sistemas de Big Data.

Ao contrário dos Data Warehouses, que são apoiados em Bases de Dados robustas e em que os dados precisam primeiro de ser modelados para depois serem escritos no disco (Schema On Write), os sistemas de Big Data primeiro escrevem os dados em disco e só depois se montam os modelos através das ferramentas disponíveis nas frameworks: Cloudera, Hortonworks, MapR (Schema on Read).

Quer com isto dizer que o Data Warehouse passa a ser uma tecnologia e um conceito a descontinuar porque é claramente substituída pelo Big Data? A resposta é não.

Nem tudo necessita de ser colocado em Big Data e só é preciso trabalhar no que realmente tem uma velocidade de atualização da sua estrutura de dados, ou que nunca ficou bem definida, com muito volume e com muito detalhe. Se as fontes tiverem sempre os dados bem estruturados (Bases de Dados e ficheiros de texto), em que há uma correcta normalização de dados, então o Data Warehouse continuará a ser uma boa solução. Além disso, mapear data sources e processos em Big Data também requer o seu tempo e o seu esforço.

Ou seja, fazer o shift total de um Data Warehouse existente para Big Data é um esforço considerável e se calhar desnecessário. Mesmo criar um Data Warehouse de raiz em Big Data poderá nem sempre ser a melhor abordagem porque a intenção de ambos é diferente: enquanto o Big Data pretende ser uma solução para guardar dados detalhados, o Data Warehouse tende a ser uma solução para guardar dados agregados.

Assim, as organizações têm sempre de pensar em ambos como sistemas complementares e não redundantes. Os Data Warehouses terão de se movimentar um pouco na cadeia de workflow de informação, passando a estar também dependentes dos sistemas de Big Data. Os sistemas de Big Data, à parte de poderem ser uma fonte de relatórios rápidos e das análises à informação mais recente, também deverão passar a ser considerados como fonte do Data Warehouse corporativo da empresa.

Concluindo, temos de pensar que o Data Warehouse continuará a ter um papel muito seguro nas novas arquiteturas. Como solução de consolidação e de centralizador de informação este permite aferir a qualidade da informação. Obviamente que, no que concerne à rápida mudança da informação, esse papel dificilmente lhe poderá ser atribuído, mas isso também nunca foi.

por João Moura, Business Analytics Specialist Consultant da Mind Source