Desafios de governança no uso de inteligência artificial pelas organizações

As inúmeras possibilidades de uso da inteligência artificial fazem com que a temática esteja presente em diversas pautas corporativas, e pesquisas recentes estimam que os investimentos em IA a nível global podem chegar a 200 bilhões de dólares até 2025. 

As organizações estão incorporando inteligência artificial em seus processos de forma acelerada e contínua. De acordo com uma pesquisa relacionada à adoção da inteligência artificial para negócios na América Latina, grandes empresas (+1.000 funcionários) aceleraram a implementação de IA em 67% nos últimos dois anos. Além disso, 45% das empresas já estão explorando a inteligência artificial generativa (GenAI).

Original de Alex Lelis Borges na DeloitteBR

Segundo o Deloitte’s State of Generative AI in the Enterprise – relatório que faz parte de uma série do Deloitte AI Institute para ajudar lideranças a rastrear o ritmo rápido da mudança e adoção da GenAI –, apesar do crescimento no uso de inteligência artificial, a falta de confiança continua sendo uma grande barreira para a adoção e implantação de IA generativa em larga escala. Dois aspectos principais observados foram: (1) confiança na qualidade e confiabilidade da produção da GenAI e (2) confiança dos trabalhadores de que a tecnologia tornará seus trabalhos mais fáceis sem substituí-los.

Estabelecer controles para governar a incorporação da inteligência artificial na empresa é um meio para gerar maior confiança entre os executivos dos negócios, investidores e colaboradores. Tais controles são necessários para fortalecer um ambiente corporativo seguro e ético para adoção da IA, e devem ser estabelecidos observando sempre a consistência com as práticas já existentes da organização, a fim de ser um processo incremental, equilibrando a gestão de riscos com a inovação.

As temáticas relacionadas à privacidade de dados, segurança, transparência e facilidade de compreensão dos modelos de inteligência artificial devem ser observadas na concepção dos controles para a governança da IA. De acordo com a pesquisa AI Adoption Index, os profissionais de TI das organizações pesquisadas que não exploram ou implementam GenAI relataram que preocupações com privacidade de dados (57%) e confiança e transparência (43%) são seus maiores inibidores.

Riscos relacionados à adoção da inteligência artificial

É natural que o surgimento de uma tecnologia disruptiva que entrega tantos resultados e evolui continuamente gere uma sensação de desconforto e/ou não-confiança das empresas à primeira vista. A inteligência artificial é considerada por alguns pesquisadores como uma tecnologia de propósito geral – ou seja, que muda a lógica de funcionamento da economia e da sociedade.
Semelhante às preparações de novos controles e adaptações de ambientes corporativos que foram necessárias para incorporação de tecnologias de big data, a implementação da IA também deve ser assistida e gerenciada por meio de uma série de ações a fim de mitigar os riscos que acompanham a adoção dessa tecnologia.

Como forma de mitigar os riscos e orientar as empresas na adoção da IA, uma série de boas práticas e padrões globais sobre tecnologias e sistemas de inteligência artificial foram criados para garantir o comportamento ético, a transparência e usabilidade desses sistemas.

A Organização para a Cooperação e Desenvolvimento Econômico (OCDE) estabeleceu princípios para uma inteligência artificial confiável, considerando crescimento inclusivo, centralização no ser humano, segurança e robustez, transparência, usabilidade e responsabilidade como pilares para serem observados na implementação da IA. Já a temática com foco em ética na IA ganhou ainda mais força com a publicação das recomendações para um desenvolvimento ético feita pela Unesco. O Instituto Nacional de Padrões e Tecnologia dos Estados Unidos (NIST, na sigla em inglês) também publicou um guia sobre Gerenciamento de Risco em IA (AI RMF 1.0), com orientações sobre uma abordagem de implementação de IA priorizando o levantamento e endereçamento dos riscos em todo o ciclo de vida da IA.

Mas, afinal, quais são os principais riscos que preocupam a todos?  

Essa resposta varia de acordo com o cenário de implementação da IA, a depender do objetivo do uso, do ambiente e dos dados necessários para a construção da solução. Contudo, existem riscos relacionados aos aspectos abaixo, como por exemplo, que são comuns e devem ser considerados no escopo da governança da IA:

Alinhamento estratégico
  • A implementação de IA não coordenada com as ações estratégicas, sistemas de valores e apetite de risco da empresa leva a modelos ineficazes ou até mesmo maliciosos/antiéticos. As diretrizes devem ser claras e alinhadas com o plano estratégico das organizações.
Financeiro
  • Decisões e recomendações inadequadas e incorretas devido a modelos de IA inconsistentes resultam em perdas diretas, indiretas ou ameaças à organização, cliente e marca. A materialização desse risco pode levar a perdas financeiras e de reputação, além de desperdício de recursos.
Dados
  • A indisponibilidade de dados precisos, rotulados, relevantes e imparciais para desenvolver, treinar e implantar modelos que atendam aos propósitos pretendidos pode gerar modelos tendenciosos; O acesso não autorizado aos dados desintegra o alinhamento da solução com os objetivos de negócios;
  • A utilização dos dados de testes diferentes dos dados de produção podem resultar em modelos imprecisos e em salvaguardas inadequadas.
Tecnologia
  • A tecnologia escolhida para o desenvolvimento e implementação dos modelos de IA deve possibilitar a auditabilidade, escalabilidade e monitoramento do modelo;
  • Restrições tecnológicas limitam a auditabilidade e os logs de auditoria, dificultando a transparência;
  • A falta de monitoramento e loops de feedback atrasam as correções para discrepâncias do modelo;
  • Modelos não certificados expõem as organizações a riscos de resultados contendo copyright e linguagem antiética;
  • Pontos únicos de falha na implantação sem redundância e tecnologia inflexível limitam a escalabilidade à medida que a organização cresce.
Cyber
  • Não identificar, rotular, armazenar e proteger Informações de Identificação Pessoal (PII, na sigla em inglês) pode resultar em violações de privacidade de dados, levando a reações reputacionais e repercussões regulatórias;
  • A falta de controles de acesso adequados para proteger infraestrutura, aplicativo, modelo e código subjacente pode expor a organização a ataques cibernéticos e vazamento de informações.
Pessoas
  • A falta de pessoas qualificadas em cada estágio do ciclo de vida da IA somada à falta de segregação clara de papéis e responsabilidades geram acúmulo de atividades e perda de qualidade do entregável;
  • A cultura de talentos da empresa pode ser impactada devido à implementação da IA, que pode levar ao ressentimento dos funcionários quando não há uma orientação e comunicação clara sobre o novo formato de trabalho “Age of with” – interação homem-máquina.
Regulatório
  • O não atendimento aos requisitos regulatórios e de conformidade geográficos ou setoriais com relação aos modelos de IA resultam em litígios e multas;
  • A falta de clareza sobre os regulamentos e suas mudanças em torno da privacidade e segurança de dados leva à criação de modelos ambíguos e penalidades financeiras.
Terceiros
  • O envolvimento de terceiros no ciclo de vida da implantação de IA pode levar à dependência tecnológica e perda de propriedade intelectual;
  • Termos vagos de contrato e controles inadequados desafiam o gerenciamento de risco da implementação.
Social
  • Decisões e recomendações incorretas, inconsistentes e tendenciosas feitas pelo modelo de IA podem ocasionar problemas como perda de empregos e exclusão de serviços, causando disparidade socioeconômica.

Governança da IA

Estabelecer uma estrutura de governança para o efetivo controle da IA é necessário para dar luz aos riscos associados e confiança ao processo de adoção corporativa. As mudanças impulsionadas pela evolução exigem a reinvenção dos processos, mecanismos e controles operacionais de governança, adicionando algumas responsabilidades frente às três linhas de defesas:

Operações (1ª linha de defesa):
  •  Incentivar testes de qualidade de modelos de IA usando melhores práticas como testes de estresse e testes contínuos para validar e monitorar performance e resultados;
  • Estabelecer limites (regras) e identificar os aspectos-chave para definir os parâmetros e refinar os processos de desenvolvimento de modelos de IA.
Compliance (2ª linha de defesa):
  • Revisar a documentação detalhada do modelo e ter visões gerais de alto nível de todos os modelos por meio do desenvolvimento de painéis dedicados à governança;
  • Estabelecer uma estratégia de risco de inteligência artificial, incluindo taxonomias de risco com visão de futuro, definindo o apetite de risco de IA, identificando KPIs e formulando estratégias de testes.
Auditoria (3ª linha de defesa):
  • Promover a transparência e a responsabilidade por meio do compartilhamento de resultados de modelos e pontos de atenção;
  • Estabelecer trilhas de auditoria, habilitando opções de aprovação e gerenciamento de feedback para modelos em implantação e gerando relatórios sobre soluções de IA.

As linhas de defesas devem promover em conjunto o equilíbrio entre a confiança na atribuição e a supervisão humana para gerenciar as implicações legais e de reputação para a empresa, os padrões para criar e manter documentação onipresente, disponível para todos os usuários e, por fim, uma cultura empresarial de aprendizagem e educação contínuas para estimular o uso responsável da IA.

Dessa forma, para um ambiente ético, seguro e controlado, é minimamente necessário que as temáticas abaixo sejam contempladas nos planos de ações de governança das empresas que já implementaram ou pretendem implementar a inteligência artificial em seus processos:

  • Adoção de IA alinhada às ações estratégicas, considerando a incorporação da ferramenta em processos estratégicos com análise de riscos, impactos e estimativa de retorno de investimento;
  • Criação de diretriz interna para definição de papéis e responsabilidades entre as áreas, determinação de frameworks que contemplem boas práticas para um desenvolvimento seguro, definição de parâmetros de qualidades, controles e salvaguardas necessários;
  • Curadoria dos modelos de IA para monitorar resultados e parâmetros aplicados, com o objetivo de compreender a evolução da assertividade e realizar a manutenção para ajustar possíveis desvios;
  • Auditoria dos resultados da inteligência artificial e do processo de desenvolvimento para garantir o cumprimento das diretrizes estabelecidas e mitigar os riscos associados.

Diante dos desafios éticos e dos potenciais impactos (materialização dos riscos) da IA, é necessário um compromisso das lideranças com a governança, garantindo que a inteligência artificial seja desenvolvida de forma responsável, protegendo os direitos, garantindo a usabilidade e a transparência, e promovendo um ambiente ético e seguro para toda a empresa.

Cursos relacionados:
Planejamento Estratégico
Governança Corporativa ou Pública
Governança de TI
Governança de Contratações
ESG e Sustentabilidade
Pesquisas de Satisfação de Clientes
Gestão da estratégia com OKRs  

Conte com a ProValore e consultoria de excelência em gestão para a transformação digital

Junte-se aos nossos 1.146 assinantes e receba semanalmente os nossos conteúdos sobre governança e gestão, estratégia e liderança, gestão e transformação de processos e gestão de projetos e transformação digital.
Você vai receber o nosso guia exclusivo para assinantes:

ROADMAP EXECUTIVO DA TRANSFORMAÇÃO DIGITAL

Posts Similares

  • Transformação cultural nas organizações: 6 dicas para liderá-la

    A cultura de uma organização é todo aquele conjunto de valores que norteia desde as decisões mais importantes até as mais corriqueiras do negócio. Em muitos casos, ela é definida pelas próprias pessoas que fazem parte da organização e, quando não é bem gerenciada, pode acabar por tomar rumos insatisfatórios, tornando necessária a transformação cultural…

  • Falta de tempo ou desculpa?

    “Quem quer faz, quem não quer arruma uma desculpa”. É com essa frase que o consultor Christian Barbosa, especialista em gestão do tempo, define aqueles que sempre encontram uma justificava para ações não realizadas. Seja adiar o projeto de melhorar a fluência no inglês ou aquele antigo sonho de entrar na academia. Será mesmo que…

  • |

    Curso Transformação Digital

    ObjetivosCompreender as vantagens e a necessidade de realizar a transformação digital nas organizações.Entender as necessidades, desejos e preferências dos clientes e facilitar ao máximo a sua experiência de uso.Compreender a necessidade de agilizar processos por meio da simplificação, automação e inteligência artificial.Compreender as vantagens do autosserviço com redução de custos para a organização e facilidade…

  • 5 sinais de que um chefe é tóxico, segundo especialista em liderança

    Alguns perfis de gestores causam um impacto negativo na equipe. Saiba como identificar Nem sempre uma pessoa com boas habilidades operacionais será a melhor opção na gestão de pessoas. Marcel Schwantes, especialista em liderança, já viveu isso na prática. Há alguns anos, contratou um profissional para um alto cargo que, durante a entrevista de emprego,…

  • |

    Curso Desenvolvimento Gerencial

    ObjetivosFormar gestores nas competências gerenciais necessárias ao exercício de cargo ou função gerencial.Desenvolver as competências críticas de comunicação, negociação, planejamento e estratégia, gestão de pessoas e de desempenho.Cumprir a legislação que obriga a participação dos servidores públicos designados para o exercício de função comissionada de natureza gerencial em curso de desenvolvimento gerencial, quando da investidura e a…

  • Liderança adaptativa: conheça o novo jeito de liderar na Era da Inteligência Artificial

    Diante das transformações impulsionadas pela IA, líderes devem adotar abordagem centrada no ser humano, mentalidade ágil, flexível e orientada à experimentação A Inteligência Artificial (IA) está no limiar de uma transformação sem precedentes na liderança organizacional. Conforme nos aventuramos neste novo território, os líderes devem adotar uma abordagem centrada no ser humano, dominando tanto a estratégia adaptativa…