Como é que o Data Governance se tornou o tema quente da década

Na década de 1980, a tónica era colocada no armazenamento de dados em bases de dados relacionais e armazéns de dados. Na década de 1990, as organizações tentaram obter informações a partir dos seus dados, tirando partido dos sistemas OLAP e Business Intelligence. Na década de 2000, reconheceu-se que era necessário lidar com grandes volumes de dados e na década de 2010, a palavra de ordem era a ciência dos dados e IA. No entanto, tivemos de esperar pela década de 2020 para ver ênfase no governance e na ética dos dados.

De facto, as organizações que começaram a elaborar a sua própria estratégia de dados depressa se aperceberam de que os benefícios eram difíceis de alcançar e que os dados continuavam a ser tratados de forma ineficaz.

Em termos práticos, as equipas de dados adotaram e desenvolveram resultados com base em novas tecnologias, como os dashboards do Power BI e modelos complexos de ciência de dados, mas as empresas continuaram a tomar decisões com base apenas na experiência do dia a dia e o Excel continuou a ser a tecnologia de referência.  A partir deste momento, tornou-se claro que uma estratégia de dados tinha de permitir que a empresa utilizasse os seus próprios dados e que a empresa tinha de ser responsável por ela.

Outro fator importante que afetou a popularidade do Data Governance foi a explosão de regulamentos de proteção de dados nos últimos anos. Por exemplo, em 2018, o Regulamento Geral sobre a Proteção de Dados afetou a Europa e o Reino Unido e a nova Lei Federal Suíça sobre a Proteção de Dados (nFADP) entrou em vigor a 1 de setembro de 2023. Além disso, os regulamentos específicos do setor exigiram que as empresas mantivessem o controlo dos seus próprios dados.

Outros fatores importantes que levaram os CIO a desenvolver o Data Governance incluíram também a necessidade de melhorar a experiência do cliente e a confiança dos utilizadores nos dados, bem como de reduzir os custos e melhorar a eficiência operacional.

Nos últimos dois anos, assistimos ao boom da IA generativa. Este boom foi a cereja no topo do bolo do debate internacional sobre IA e ética. Além disso, já há alguns anos que os legisladores de todo o mundo debatem o tema e concordam que é necessário algum tipo de governance da IA. A Comissão Europeia decidiu desempenhar um papel de liderança neste domínio, propondo o primeiro quadro jurídico de sempre sobre a IA, que visa abordar os riscos da IA. A proposta regulamentar visa fornecer aos criadores, implantadores e utilizadores de IA requisitos e obrigações claros relativamente a utilizações específicas da IA. Na sequência da proposta da Comissão em abril de 2021, o regulamento poderia entrar em vigor até ao final de 2023, durante um período transitório. Ao longo deste período, seriam necessárias e formuladas normas e seriam estabelecidas as estruturas de governação operacional. O regulamento poderá ser aplicável aos operadores já na segunda metade de 2024, quando as normas estiverem em vigor e as avaliações de conformidade iniciais tiverem sido realizadas. 

Para completar o cenário que explica por que razão o Data Governance se tornou o tema quente da década de 2020, temos também de considerar como os catálogos de dados evoluíram. Os catálogos de dados tornaram-se cada vez mais populares desde 2015, quando a Alation introduziu a primeira tecnologia que permitia aos utilizadores finais selecionar metadados empresariais e encontrar ativos de dados (como definições empresariais ou tabelas SQL) tão facilmente como os utilizadores da Internet procuram artigos na Amazon.com.

As organizações, com o impulso adicional dos fornecedores de tecnologia, também descobriram o valor dos catálogos de dados como ferramentas que facilitam a democratização dos dados e, em última análise, geram eficiência. Para explicar melhor com um exemplo, a IBM afirmou que as organizações podem gastar até 80% do seu tempo a procurar e a preparar os dados. Isto significa que as organizações pagam um salário muito elevado aos cientistas de dados, principalmente para descobrirem onde estão os dados e apenas 20% do tempo é utilizado para gerar a perceção real. Além disso, os catálogos de dados oferecem uma nova oportunidade para as organizações com menor maturidade reformularem o papel das TI, que historicamente eram consideradas as proprietárias dos dados da organização.

Os catálogos de dados são tecnologias que estão a ser continuamente desenvolvidas para cumprir os requisitos de governação empresarial, bem como os requisitos de Data Governance. Acredita-se que a IA generativa removerá algumas barreiras significativas à adoção de uma empresa, assumindo uma boa parte do trabalho pesado que as empresas normalmente rejeitam devido à falta de tempo. Além disso, vários fornecedores estão a ajustar os preços dos catálogos de dados às condições do mercado, o que apoiará a proliferação desta tecnologia juntamente com boas práticas de Data Governance.

Embora o Data Governance não seja um conceito novo, ganhou mais atenção e importância na década de 2020 devido a vários fatores. Estes fatores incluem a rápida evolução das tecnologias de dados, uma procura crescente de informações baseadas em dados, uma sensibilização crescente para a ética e regulamentação dos dados e o surgimento de IA generativa e catálogos de dados.

O Data Governance pode ajudar as organizações a gerir eficazmente os seus ativos de dados, a garantir a qualidade e a segurança dos dados, a promover a cultura e a literacia dos dados e a tirar partido dos dados para a inovação e a criação de valor. Por conseguinte, o Data Governance não é apenas uma necessidade, mas também uma oportunidade para as organizações obterem uma vantagem competitiva nesta era digital.