Quais são os pesadelos da sua empresa em relação à IA?

Antes de a IA generativa surgir em cena no final de 2022, as empresas adotavam uma abordagem mais ou menos padronizada para gerenciar os riscos introduzidos pela IA: desenvolviam programas de risco ético em IA (também conhecidos como IA Responsável ou Governança de IA). Esses programas eram elaborados por executivos e se concentravam principalmente na elaboração e implementação de políticas de IA em toda a empresa, destinadas a explicar como a organização cumprirá seus valores éticos em IA (ou princípios ou pilares, como também são chamados). Quando a IA generativa surgiu, as organizações atualizaram seus programas para acomodar a nova tecnologia. Agora que os agentes de IA estão ganhando força, a maioria provavelmente tentará atualizá-los mais uma vez. Isso seria um erro. A abordagem padrão para a IA Responsável está fundamentalmente falha. Não chego a essa conclusão levianamente. Ela é resultado, em primeiro lugar, de observar como o panorama da IA evoluiu de maneiras que criam um cenário de riscos diabolicamente complexo e, em segundo lugar, de passar quase uma década trabalhando com empresas da Fortune 500 nos setores de saúde, farmacêutico, seguros, serviços financeiros, entretenimento e outros, para projetar e implementar programas de risco ético em IA. Também atuei como consultor em três das maiores empresas de consultoria do mundo. Tive inúmeras conversas a portas fechadas com outros líderes na área de governança de IA. A abordagem padrão é muito lenta, muito vaga e muito difícil de comunicar. Em vez de se concentrarem em valores e políticas, as empresas teriam mais sucesso se se concentrassem nos seus piores cenários possíveis — seus pesadelos éticos em relação à IA. Isso porque esse foco lhes permite aplicar uma abordagem inovadora e de rápida implementação, que funciona para tudo, desde a IA estreita até a governança de agentes de IA. Três falhas da abordagem padrão A abordagem padrão para a IA Responsável funciona mais ou menos assim. Primeiro, a organização define seus valores éticos em relação à IA — geralmente uma combinação de equidade, privacidade, transparência, responsabilidade e segurança. Em seguida, traduz esses valores em procedimentos para toda a empresa, como a verificação de preconceitos ou a filtragem de dados confidenciais. Esses procedimentos são consagrados em uma política, que é então implementada em toda a organização. Por fim, cria-se um conselho de IA Responsável ao qual casos de IA de alto risco possam ser encaminhados, ou atribuem-se responsabilidades relacionadas à IA a um conselho de risco já existente. Tudo isso parece uma maneira razoável de proceder. Pela minha experiência, há três problemas principais com essa abordagem. Falha nº 1: É muito lenta para ser eficaz. Para grandes organizações, o processo desde o início até a aprovação da política pelo conselho leva no mínimo um ano. Por exemplo, meu trabalho com uma empresa de bens de consumo embalados (CPG) da Fortune 500, iniciado em julho de 2023, atingiu um marco importante quando o conselho aprovou a política de riscos de IA… em maio de 2024. E isso foi rápido em comparação com nossos outros clientes. Começamos a implementar a política nos dois departamentos que os líderes da organização identificaram como de maior risco. Apenas cinco meses depois, a política ficou desatualizada quando a OpenAI introduziu a IA agentiva. Esse padrão se repetiu dezenas de vezes. Não me interpretem mal: as políticas aplicáveis a toda a empresa são uma ferramenta útil. Mas, quando se trata de gerenciar os riscos de uma tecnologia que muda a cada mês, uma política de IA não é a ferramenta mais eficiente nem a mais eficaz à disposição de uma organização. A lição: precisamos de uma abordagem para governar a IA que não seja limitada pela alta administração e pelo conselho; a governança da IA precisa avançar na mesma velocidade em que a IA é desenvolvida e implantada. Falha nº 2: ela não oferece uma visão clara do que é o sucesso. Traduzir valores em procedimentos é extremamente difícil. É muito bom afirmar que se está comprometido com a justiça ou o respeito à privacidade, mas como isso se traduz na prática? Um dos problemas de reduzir valores a procedimentos é que, muitas vezes, não fica claro o que se entende por sucesso. Os programas de RAI costumam enfatizar a conformidade, mas não definem o resultado que pretendem alcançar, a não ser que se remetam ao valor original. Será que um procedimento realmente conduz a resultados justos, que respeitem a privacidade e sejam transparentes? Sem métricas específicas e mensuráveis, simplesmente não há como saber. O segundo problema diz respeito ao fato de se partir dos valores em primeiro lugar. De modo geral, o objetivo de um programa de governança de IA é prevenir desastres — éticos, de reputação e legais. Se for esse o caso, os valores não são o ponto de partida correto. Se o foco é evitar resultados negativos, o natural é especificar os próprios resultados negativos. Lição: Precisamos de uma abordagem orientada para os resultados: o sucesso consiste em evitar os resultados negativos, enquanto o fracasso consiste em concretizar esses resultados negativos. Falha nº 3: É difícil comunicar. As políticas de risco de IA geralmente não são redigidas na linguagem das pessoas que precisam implementá-las e/ou cumpri-las. Isso significa que é necessário um trabalho enorme para traduzir a política de forma que os funcionários possam entender o que ela diz, por que é relevante para o seu trabalho e como integrá-la aos seus fluxos de trabalho. Esse trabalho de tradução leva muito tempo (ver falha nº 1). Mas, mais importante ainda, dificulta a comunicação entre pessoas de diferentes departamentos e, consequentemente, a colaboração na identificação e gestão dos riscos da IA. Isso ocorre por diversos motivos, incluindo o fato de que muitas pessoas não leem a política (afinal, elas são bastante enfadonhas), não compreendem como ela se aplica às pessoas com quem precisam colaborar e porque traduções diferentes feitas por pessoas diferentes levam a que as pessoas falem sem se entenderem. A colaboração em torno da torre de Babel é impossível. Na era da IA autônoma, isso representa uma falha catastrófica. Para que os agentes de IA funcionem, os cientistas de dados precisam colaborar com os profissionais de marketing, RH e operações, e todos os responsáveis pela criação e/ou supervisão desses agentes precisam falar a mesma língua. Limitar a colaboração para evitar desastres éticos, de reputação e legais por meio de uma política desatualizada e incompreensível é uma ideia inviável. Lição: Articule os resultados negativos de uma forma que seja facilmente compreensível para qualquer pessoa. Neil, o cientista de dados; Sarah, do marketing; Sanjay, de RH; Hannah, da área de produtos; Sage, da Geração Z, em análise de clientes; William, o octogenário membro do Conselho administrativo — todos eles entendem. Não é necessária tradução. Quando se combinam essas três lições, chega-se a uma conclusão que, em retrospecto, parece óbvia: precisamos de uma abordagem que possa ser implementada rapidamente para evitar desastres relacionados à IA e que aborde explicitamente esses desastres de uma forma que todos possam compreender facilmente. Ao longo do último ano, desenvolvi uma abordagem que leva em conta essas lições: o Desafio do Pesadelo Ético. Ela parte da premissa de que os programas de risco de IA devem identificar e prevenir nossos cenários de pesadelo — as coisas que, de forma absoluta e inequívoca, não queremos que aconteçam. Essa estrutura pode ser rapidamente testada e ampliada, e pode ser integrada aos programas de risco de IA já existentes. Veja como funciona. Vamos falar sobre pesadelos “Pesadelo ético” não faz parte do vocabulário corporativo padrão. As empresas gostam de otimismo. Iniciar uma reunião perguntando: “Quais são os nossos piores cenários possíveis?” pode deixar os executivos desconfortáveis. Na verdade, em alguns casos, executivos me disseram que temem que esse tipo de linguagem possa ser muito desanimadora ou “negativa” para os colegas. Mas, como observou recentemente um profissional de riscos de IA de um banco da Fortune 500 em uma sessão a portas fechadas: “Se você não começa identificando os desastres potenciais, não sei o que está fazendo.” Isso não é nenhum experimento social estranho. Iniciar discussões sobre riscos de IA falando sobre pesadelos é uma maneira de abordar diretamente as falhas mencionadas acima, além de trazer outros benefícios. Em primeiro lugar, define-se o sucesso e o fracasso em termos de resultados. Os pesadelos são resultados negativos. Se você estiver implementando IA em grande escala e não estiver enfrentando pesadelos éticos, então, mantendo-se tudo o resto igual, você está tendo sucesso. Se estiver enfrentando esses pesadelos, você está fracassando. Em segundo lugar, comunica esses resultados de forma que todos possam compreender. Os funcionários de toda a empresa — cientistas de dados, profissionais de marketing, pessoal de RH, executivos seniores — devem ser capazes de compreender prontamente o que constitui um pesadelo ético e de reputação para a organização. Além disso, falar na linguagem familiar dos pesadelos permite que alguém em uma função não técnica diga a um cientista de dados de IA: “Veja, é assim que se apresenta um desastre para nós; como você pode desenvolver a IA de forma a evitar esses pesadelos, e como podemos ajudar?” Em terceiro lugar, os pesadelos são motivadores de uma forma que os valores abstratos não são. É fácil falar da boca para fora sobre justiça e responsabilidade e depois seguir com o seu dia. Mas um pesadelo — um cenário com consequências reais, pessoas reais afetadas, riscos reais à reputação e legais — gera um senso de urgência que nenhuma declaração de ética jamais conseguiu produzir. Já vi executivos que assistiram a workshops sobre valores sem mudar um único comportamento saírem de uma sessão de identificação de pesadelos perguntando: “O que realmente fazemos a respeito disso?” Em quarto lugar, os pesadelos promovem o alinhamento. O CEO e o CHRO podem discordar sobre o que a justiça exige. Mas praticamente ninguém em nenhuma organização — sejam diretores do conselho administrativo, cientistas de dados ou gerentes de marketing — deseja que sua empresa discrimine grupos protegidos em grande escala, gere conteúdo fantasioso em documentos destinados aos clientes ou manipule os clientes para que realizem compras indesejadas. Em quinto lugar, a descrição de um pesadelo organizacional inclui uma explicação de como esse pesadelo surgiu. Compreendemos como acabamos criando uma IA que discrimina com base na raça e no gênero, como a empresa de consultoria passou a entregar relatórios aos seus clientes contendo material alucinado pela IA, e assim por diante. E, como sabemos como esses pesadelos acontecem, podemos criar estratégias e táticas que nos impeçam de seguir por esses caminhos traiçoeiros. Talvez o mais importante seja que, ao focar nos pesadelos em vez de nos valores, você consegue agir rapidamente. Como evitar rapidamente pesadelos éticos relacionados à IA Essa abordagem pode ser incorporada a uma estrutura, que pode então ser rapidamente implementada em toda a organização e integrada às práticas organizacionais existentes. O Enquadramento O Desafio do Pesadelo Ético faz três perguntas: Quais são os pesadelos éticos da sua organização no que diz respeito à IA? Que recursos você criará para evitar esses pesadelos? Como você treinará sua equipe para usar esses recursos de forma eficaz? Um dos maiores pontos fortes deste quadro é a sua portabilidade. Qualquer pessoa na organização, seja da diretoria executiva ou do conselho, líder de um departamento ou divisão, ou líder de projeto, pode fazer essas perguntas no que se refere às suas respectivas funções. A diretoria executiva e o conselho administrativo perguntam sobre os pesadelos da empresa como um todo, o diretor de RH ou da divisão de marketing pergunta sobre sua área de atuação, e o líder de produto de IA pergunta sobre sua solução específica de IA. Na verdade, o líder de qualquer projeto pode fazer essas perguntas quando se trata de IA. Se, por exemplo, você for uma grande consultoria e estiver entregando um relatório a um órgão governamental, você poderia perguntar: “Quais são os riscos éticos e de reputação associados ao uso da IA neste projeto?” É provável que, nesse caso, a possibilidade de“entregar material gerado por IA”venha à mente logo nos primeiros minutos. Implementação da Estrutura Uma vez identificados os seus “pesadelos”, é hora de passar à implementação. Isso é feito através da criação de equipes do “Ethical Nightmare Challenge” (ENC). Essas equipes podem ser criadas em qualquer nível da organização e em qualquer prazo, e são pequenas (digamos, de cinco a oito pessoas) e multifuncionais (com pelo menos um especialista em tecnologia). É importante ressaltar que elas devem ser ágeis. Nossos clientes estão testando a estrutura em um período de seis a dez semanas, com a prevenção dos pesadelos ocorrendo durante a fase piloto, e não após uma fase de projeto prolongada. Então, o que exatamente essas equipes fazem? A missão central de cada equipe ENC é trabalhar com base nessas três perguntas. Elas estão empenhadas na resolução colaborativa de problemas relacionados aos possíveis cenários catastróficos da IA que identificaram. Em um nível macro, elas representam a capacidade organizacional de evitar esses cenários catastróficos da IA. Quando as três questões são repetidas de forma consistente em todos os níveis de uma organização — conselho, diretoria, departamento, equipe de projeto, colaborador individual —, elas criam uma linguagem comum que torna possível a comunicação e a colaboração entre todos esses níveis. A interdisciplinaridade dessas equipes é essencial para o seu sucesso. Um cientista de dados pode identificar fontes técnicas de problemas que um profissional de marketing jamais perceberia. Um profissional de marketing compreende o comportamento do consumidor de maneiras que tornam legíveis certos problemas técnicos que os engenheiros poderiam deixar passar. Um designer de produto consegue perceber maneiras pelas quais as coisas podem dar errado que são invisíveis para o departamento jurídico. E como todas essas pessoas falam a mesma língua e respondem às mesmas perguntas, elas são capazes de se envolver na resolução colaborativa de problemas, em vez de um impasse entre departamentos. Integrando a Estrutura Se a sua organização já possui um programa de IA Responsável, nada disso significa que você deva descartá-lo. As políticas, os comitês de risco e as estruturas de governança existentes não desaparecem com a abordagem ENC — eles se tornam recursos aos quais as equipes ENC podem recorrer. Uma política empresarial de ética em IA, por exemplo, pode especificar certas categorias de uso de IA que são proibidas; essas proibições podem ser tratadas simplesmente como barreiras de proteção para evitar situações indesejáveis, dentro das quais todas as equipes ENC devem operar. Um conselho de risco de IA já existente, em vez de ser a primeira linha de defesa para todos os casos de uso de IA de alto risco, passa a ser a exceção, sendo acionado quando uma equipe de ENC (Engenharia de Conformidade) em nível de projeto identifica um problema grave que não consegue mitigar adequadamente, ou quando os riscos são altos o suficiente para justificar uma análise por parte da alta administração. Isso é crucial do ponto de vista operacional: à medida que a adoção da IA aumenta, os casos de alto risco também aumentam, transformando o conselho de risco em um gargalo para a inovação, já que as equipes ficam à espera de uma análise e de orientações. A solução é criar uma primeira linha de defesa mais capacitada por meio do treinamento em ENC. O Desafio do Pesadelo Ético não é uma solução milagrosa. Desenvolver os recursos e a capacitação necessários para evitar pesadelos específicos exige um trabalho árduo. Mas é um trabalho que pode começar imediatamente, em qualquer nível da organização, sem esperar pela aprovação do Conselho administrativo ou por uma fase de planejamento de dois anos. É um trabalho compreensível para todos, desde os membros do Conselho administrativo até os colaboradores individuais. E é um trabalho que produz uma resposta clara e verificável à pergunta que todo líder deveria estar fazendo sobre seus programas de IA: não “temos uma política?”, mas “conhecemos nossos pesadelos e estamos preparados para enfrentá-los?”.

Quais são os pesadelos da sua empresa em relação à IA?

Resumo.

Partner Center