O que deveria acontecer antes de uma organização automatizar uma decisão?

Uma organização decide utilizar inteligência artificial para apoiar determinado processo.

Pode ser a classificação de candidatos a vagas, a análise de solicitações de clientes ou a identificação de situações que exigem atenção especial.

Antes da implementação, a discussão tende a se concentrar no desempenho técnico: qual sistema apresenta resultados melhores, quanto custa a operação e quais atividades poderão ser automatizadas?

Essas perguntas são necessárias, mas não esgotam a decisão.

Uma aplicação pode apresentar indicadores satisfatórios e ainda produzir consequências indesejadas quando inserida em determinado contexto.

Por isso, a governança de inteligência artificial precisa começar antes da contratação ou da implementação da tecnologia.

O que significa governança de IA?

Governança de IA reúne estruturas, procedimentos e responsabilidades utilizados para orientar o desenvolvimento e a utilização desses sistemas.

Seu objetivo é estabelecer condições para que as organizações compreendam os riscos, acompanhem os resultados e respondam pelas consequências das aplicações.

Isso inclui decisões sobre dados, segurança, confiabilidade, supervisão e mecanismos de revisão.

A governança também deve considerar os objetivos organizacionais que justificam a utilização da tecnologia.

Um sistema tecnicamente eficiente pode ser inadequado caso esteja orientado por critérios que não correspondam às prioridades ou responsabilidades da instituição.

Por que avaliar riscos antes de implementar IA?

A avaliação antecipada permite identificar problemas que seriam mais difíceis de corrigir depois que um sistema já estiver incorporado às atividades.

Em 2023, o National Institute of Standards and Technology, dos Estados Unidos, publicou o AI Risk Management Framework, que propõe uma estrutura para orientar a gestão de riscos de inteligência artificial.

O modelo organiza atividades em torno de quatro funções: governar, mapear, medir e gerenciar.

Em 2024, o instituto publicou também um perfil específico para sistemas de IA generativa, abordando riscos associados a essas tecnologias.

Essas referências ajudam organizações a examinar aplicações de maneira sistemática, considerando seu contexto de utilização e possíveis consequências.

Quais riscos precisam ser considerados?

Os riscos variam conforme a finalidade da aplicação.

Qualidade dos dados e confiabilidade

A organização precisa compreender quais informações serão utilizadas e se apresentam condições adequadas para o objetivo pretendido.

Dados incompletos ou desatualizados podem comprometer os resultados.

Também é importante avaliar o desempenho do sistema em situações distintas das utilizadas durante seu desenvolvimento.

Vieses e impactos sobre pessoas

Determinadas aplicações podem produzir resultados diferentes para grupos de usuários.

Em decisões que afetam oportunidades ou acesso a serviços, essas diferenças exigem análise cuidadosa.

A avaliação deve considerar o contexto social e institucional em que a ferramenta será utilizada.

Segurança e privacidade

Sistemas de IA podem processar informações sensíveis e integrar diferentes plataformas.

É necessário estabelecer critérios de acesso, proteção e armazenamento de dados, além de verificar as obrigações legais aplicáveis.

Dependência tecnológica

A contratação de sistemas externos pode criar dependências relacionadas a custos, infraestrutura e condições de utilização.

Uma estratégia de governança precisa considerar a continuidade dos serviços e a capacidade de substituir ou modificar ferramentas.

Como estabelecer supervisão humana efetiva?

A participação de uma pessoa não garante, por si só, que a decisão seja adequadamente supervisionada.

É necessário definir o que será avaliado, quais informações estarão disponíveis e em que situações uma recomendação poderá ser contestada.

Definir responsabilidades

A organização deve identificar quem aprova a aplicação, acompanha os resultados e responde por eventuais falhas.

Criar mecanismos de revisão

Decisões com consequências relevantes precisam contar com possibilidades proporcionais de revisão e contestação.

Preservar competências de avaliação

As pessoas responsáveis pela supervisão devem possuir conhecimentos suficientes para compreender o contexto e reconhecer limitações da tecnologia.

Essa discussão se relaciona a onde termina a recomendação da IA e começa o julgamento humano.

Governança de IA pode favorecer a inovação?

A existência de critérios claros pode ampliar a confiança das equipes e oferecer condições mais previsíveis para experimentar novas aplicações.

Isso não significa eliminar todos os riscos. Significa compreender quais riscos são aceitáveis, quais precisam ser mitigados e quando uma aplicação não deve avançar.

A governança também permite acompanhar mudanças no desempenho dos sistemas e revisar decisões conforme novas informações se tornam disponíveis.

Em organizações que utilizam inteligência artificial em diferentes áreas, esses mecanismos ajudam a evitar que cada equipe desenvolva práticas isoladas de contratação, avaliação e supervisão.

Como Iona Szkurnik pode contribuir para discussões sobre governança e liderança?

A adoção responsável de IA exige repertório para compreender os impactos da tecnologia sobre estratégia, decisões e desenvolvimento de pessoas.

Iona Szkurnik atua com lideranças e organizações em projetos de consultoria estratégica, formação corporativa e conversas executivas que ajudam a estruturar essas discussões.

Conheça os serviços de Iona Szkurnik para líderes e organizações

O que deve ser decidido antes da automação?

Antes de implementar um sistema, uma organização precisa compreender quais problemas pretende resolver, quais critérios orientarão a tecnologia e quem será responsável por seus resultados.

Também precisa identificar pessoas potencialmente afetadas e definir mecanismos de acompanhamento e revisão.

Essas decisões estabelecem as condições nas quais a inteligência artificial poderá contribuir para os objetivos organizacionais.

Quanto maior a capacidade tecnológica de participar das decisões, mais importante se torna a capacidade institucional de justificar como, quando e por que ela será utilizada.