Rafael Colombo (3:18)

Rafael Colombo é... E a... E o colapso do que parece real. Neste episódio, eu converso com o Rony Domingos, repórter do Fato ou Fake do G1, e com o David Nemer, antropólogo da tecnologia e professor da Universidade de Virginia, nos Estados Unidos. Segunda-feira, 2 de fevereiro. Davi, é impressionante a quantidade de vídeos feitos por inteligência artificial e que fazem parte do nosso dia a dia, são distribuídos nas redes sociais, cada vez mais críveis, voz, imagem. Quando é que isso escalou para essa qualidade do que é produzido, daquilo que é oferecido às pessoas e que sugere uma realidade absoluta e nos obriga a cada vez ter mais instrumentos para conseguir separar no virtual o que é real do que é falso. Quando é que aconteceu o tal do pulo do gato, Davi?

David Nemer (4:18)

O salto aconteceu entre 2023 e 2024 com o ápice, claro, em 2025, né? E o motivo técnico foi a transição dos modelos de difusão simples para modelos que combinam transformadores, ou seja, modelos transformadores que a mesma arquitetura que o chat GPT usa com as redes de difusão. Ou seja, houve aí um grande avanço tecnológico. Antes, a IA entendia a imagem, mas não a física do movimento. Modelos como SORA e VIEW passaram a treinar em volumes massivos de dados audiovisuais e da própria integração entre modelos de texto, imagens, som. Então, realmente, a IA aprendeu como, por exemplo, a luz reflete, como a gravidade atua. E o volume desses vídeos explodiu porque o custo computacional caiu e o acesso também foi muito democratizado nesse sentido, né? Muitas APIs e muitas ferramentas de acesso. E as plataformas, claro, jogam aqui um papel importante porque elas recompensam. esses tipos de conteúdos chamativos, né? Absurdos, emocionais, que é o IA Scope. Então, ele encaixa perfeitamente nesse ecossistema, né? Para capturar essa economia da atenção, para capturar a atenção do usuário, que eles são perfeitos para rolar feed, girar clique, engajamento, e não necessariamente para informar. Então, não é só que a tecnologia melhorou, mas que ela ficou barata, rápida e também perfeitamente ajustada para a lógica das plataformas.

Rafael Colombo (5:55)

Isso se transforma em algo popular. De que maneira, Davi? Quais os grupos, em que segmentos esse instrumento começou a ser utilizado ao ponto de as pessoas perceberem que ali tinha alguma coisa interessante para elas também começarem a usar e a partir daí houve uma progressão absolutamente enlouquecida disso.

David Nemer (6:19)

Olha, Rafael, eu não tenho um único vilão, mas dentro da minha pesquisa, eu consegui identificar três grupos principais. O primeiro são as fazendas de conteúdo, que buscam monetizar rápido via as redes sociais, via as plataformas, elas criam vídeos bizarros, que são os slots. pra prender a atenção, gerar seguidores e gerar receita publicitária. Eles também fazem isso pra começar contas com muitos seguidores, que depois eles eventualmente vendem essas contas pra algum interessado. Isso é principalmente importante, acontece exatamente nesse momento, porque a gente está em momento eleitoral. Então, com certeza, eles tentam ter uma vantagem, vender essas contas para alguém ter a vantagem eleitoral. O segundo grupo são os operadores políticos e a campanha de influência. que entram vídeos manipuladores pra atacar adversário, inflamar a polarização, desacreditar instituições ou espalhar a boa e velha desinformação. E o terceiro grupo são os cibercriminosos, né, que eles ficam mais focados em golpes financeiros e extorsão, principalmente fazendo vídeos, né, eislopes de fakes pornográficos, né, vídeos falsos pornográficos, para fazer o que a gente chama de sex-extorsão, que é fazer extorsão por gerar vídeo pornográfico. Então a pessoa consegue pegar uma foto, uma foto que a gente posta na rede social, pedir para a inteligência artificial tirar a roupa dessa pessoa, colocar um biquíni, e aí não é só das mulheres, é das mulheres e das crianças, o que é ainda mais perigoso. tem se tornado cada vez mais comum. As grandes empresas de tecnologia têm cada vez menos uma preocupação em proteger os seus usuários e cada vez mais uma preocupação em treinar esses grandes modelos de inteligência artificial para fazer todo tipo de coisa. E aí a segurança vai embora, a privacidade vai embora e tudo que a gente posta na internet fica sob risco de ser usado para fazer esses treinamentos.

Rafael Colombo (8:29)

Davi, eu quero perguntar a você sobre o que parece inofensivo, se de fato é inofensivo. Todos nós já nos deparamos, já recebemos, muitos de nós já compartilhamos. Um vídeo criado por inteligência artificial com um animalzinho de estimação, um cachorrinho ou um gatinho fazendo alguma graça, alguma criança bonitinha fazendo alguma coisa que todo mundo acha maravilhoso. Tem os vídeos ligados ao humor também. E a gente olha, acha curioso, acha engraçado, acha bonitinho, compartilha. Compartilha para 5, depois para 10, para 15, para 20. Isso é de fato inofensivo? A gente está só passando tempo ali compartilhando alguma coisa que a gente acha bonitinha e quer que a nossa família conheça também? Ou tem algum mecanismo por trás disso, movimentando alguma outra engenharia que a gente não sabe exatamente qual é, mas boa coisa não é?

David Nemer (9:24)

Pode haver diversas intenções por trás disso, né? Por exemplo, se a gente compartilhar um vídeo, por exemplo, por WhatsApp, e é só o arquivo do vídeo, ou seja, ele não é um link, não vai pra uma conta numa rede social, o perigo disso é estar normalizando o consumo desse tipo de conteúdo. E ao normalizar o consumo desse conteúdo, onde não há qualquer informação sobre fonte, não há qualquer informação sobre verificação se o que está sendo falado ali é real ou não, E aí quando for compartilhado um link com esse conteúdo já normalizado, as pessoas recebem esse link e começam a seguir essas contas, começam a acreditar no conteúdo que rola nessas contas, e aí sim, no futuro próximo, começar a consumir o conteúdo dessa conta, que não necessariamente vai ser um gato fofinho, mas pode vir com uma conotação política, ou com uma própria desinformação para um certo ganho. E aí, como essa conta já está aceita, já está confiada, as pessoas começam a confiar em qualquer tipo de conteúdo ali compartilhado. Esse é o grande perigo.

Rafael Colombo (10:35)

Tem o reforço do estereótipo também, não é, Davi? Há um tempo atrás, eu acho que essa onda passou. Mas ela é relativamente recente. Foram feitos vários vídeos com referências a idosos. Então, era idoso caindo num buraco, era idoso dizendo que ia gastar o dinheiro da aposentadoria no jogo do tigrinho, dizendo que ia comprar cachaça em circunstâncias variadas, na academia, enfim. Esse tipo de piada reforça algo que a sociedade tem tentado vencer, que são exatamente esses estereótipos.

David Nemer (11:10)

E aí, os estereótipos nunca são bem-vindos, né? Recentemente, nós tivemos o caso da própria Casa Branca compartilhar uma foto de uma pessoa negra, uma mulher negra, e utilizou a AI para reforçar os estereótipos que eram reforçados na época do blackface, né? Do Jim Crow nos Estados Unidos. Eu amo a AI, acho que vai ser muito útil. Muitas coisas estão acontecendo com ela. mostrando aí um claro ato de racismo, porque traz, através da AIA, o reforço de estereótipos, quando no blackface forçava que as pessoas negras eram só emoção, não agiam com racionalidade, emoções fortes, sempre chorando, sempre muito rindo, e isso de fato vem de contra todo o processo educacional para evitar não só a questão do estereótipo, mas também como a utilização maléfica da I.A. para esses fins.

Rafael Colombo (12:13)

Davi, quem tem a imagem de alguma maneira desvirtuada por inteligência artificial, tem algo a fazer?

David Nemer (12:20)

Sim, rapaz, é importante trazer esse ponto aqui à toa. Porque recentemente a gente teve esse debate sobre ferramentas de I.A. alterando imagens reais de pessoas, especialmente para fins sexualizados, o que cria aí um risco concreto da violação de direitos fundamentais. E no Brasil, Há um amplo amparo legal, claro. Por exemplo, a gente tem o artigo 5º da Constituição, que garante a inviolabilidade da intimidade e da imagem. Os artigos 139 e 140 do Código Penal, que prevê crimes como injúria e difamação. Em casos de relações íntimas, também pode se encaixar aí na questão da Lei Maria da Penha, que reconhece esse tipo de prática. como forma de violência doméstica, moral e psicológica. O próprio marco civil da internet, que é uma lei específica para a internet que nós temos no Brasil, também é central aqui. Ele garante às vítimas o direito de exigir a remoção imediata de conteúdos íntimos, divulgados, sem qualquer tipo de consentimento. Pode chegar até a responsabilizar as plataformas caso não haja a remoção. E, claro, também que isso some-se à Lei Geral de Proteção de Dados, a Lei de EPD, que exige base legal e consentimento para o uso de dados pessoais e biométricos, ou seja, o rosto da pessoa. Então, é preciso ter muita cautela ao utilizar essas imagens das pessoas, porque, apesar de não termos ainda uma lei específica para regular o uso da IA, Nós temos leis já que protegem as pessoas dessas violações.

Rafael Colombo (14:06)

E invariavelmente as mulheres são as principais vítimas.

David Nemer (14:08)

Exato.

Rafael Colombo (14:09)

Davi, eu não posso deixar de abordar aqui na nossa conversa a eleição. Semana que passou, a ministra Carmen Lúcia, presidente da Justiça Eleitoral, fez um discurso projetando As eleições agora em outubro são eleições gerais, presidência, senado, governos estaduais, câmara. E ela manifestou ali claramente a preocupação com o avanço, o aprimoramento da inteligência artificial utilizada para desvirtuar disputas, para enganar eleitores, porque o tempo é muito curto. Entre o espalhamento de um vídeo falso e a confirmação de que aquele vídeo é falso, de que o candidato não falou, que dizem que ele falou, que aquilo nunca existiu, muitas vezes acabou a campanha eleitoral. Nós estamos preparados para lidar com isso? O que é que você prevê para esse ano aqui do ponto de vista eleitoral?

David Nemer (15:00)

Olha, Fél, é preparado? Eu acredito que não, porque o volume de vídeos de IA ou de desinformação que é criado, o nosso sistema judiciário e nem as plataformas conseguem conter. O TSE já passou 12 resoluções em que tenta regular a utilização de IA nas eleições, por exemplo, não é permitida a utilização de deepfakes, pelas campanhas eleitorais. Todo o material utilizado com o IA deve vir com o selo advertendo quem está ali exposto a esse conteúdo, porém isso é para as campanhas oficiais e para quem não está envolvido nessa campanha oficial fica com essa certa sensação de liberdade que pode fazer o que quiser. Infelizmente, a justiça não consegue atender à demanda devido à facilidade e à popularização dessas ferramentas, assim como não há qualquer tipo de interesse das próprias plataformas que pertencem às grandes empresas de tecnologia, acontecer esse tipo de conteúdo, porque é o que gera mais cliques, é o que mais gera engajamento, é o que mais prende as pessoas nas suas plataformas, porque aí sim elas vão ficar expostas aos anúncios, que é o que realmente traz dinheiro pras plataformas. Então, é... Preciso que tenhamos aí uma colaboração dessas plataformas, como eu falei, acho difícil, um TCE proativo, assim como uma campanha de conscientização sobre as problemáticas de utilizar essas ferramentas.

Rafael Colombo (16:43)

Para encerrar nosso papo aqui, quando a gente fala do cotidiano, do dia a dia. O que essas empresas poderiam fazer que elas não estão fazendo para tentar diminuir o impacto negativo da utilização indevida dessa tecnologia?

David Nemer (16:55)

Primeiramente, ter um entendimento de quem são donos dessas contas que estão compartilhando esses conteúdos. É um conteúdo que utiliza imagem de terceiros? Tem autorização? Não tem autorização? eles não conseguem nem mesmo, por exemplo, atender os seus próprios termos de utilização da plataforma que eles têm, eles não conseguem atender. A gente sabe que não é possível compartilhar vídeos com violência animal, por exemplo, suicídio, porém, infelizmente, esses vídeos acabam aparecendo no feed das pessoas. Existem, inclusive, ferramentas de inteligência artificial que hoje estão conectadas diretamente a redes sociais, que acabam facilitando e ajudando. Se a pessoa tiver com uma intenção ruim ali, ela tem uma facilidade muito grande, né? Isso tem se tornado cada vez mais comum. Das redes sociais, todas elas têm um.

Rafael Colombo (17:49)

Marcador já ali que aquele conteúdo foi gerado com o IA. Mas eu acho que ele é muito.

David Nemer (17:53)

Discreto, a maioria das pessoas não consegue perceber isso. o que acaba acontecendo é que as pessoas que utilizam essas plataformas e acessam esses conteúdos, que precisam fazer algo para que essa desinformação não se espalhe, né? Por exemplo, é sempre importante desconfiar de vídeos que causam choque imediato, ou seja, emoção forte, sinal clássico de manipulação. É sempre importante a pessoa procurar a fonte original, quem postou primeiro é confiável, se há outras imagens de um evento, fazer o que vocês jornalistas fazem bem e bastante, que é triangulação de fontes, ou seja, se há um vídeo do evento, vai ter outros dados, vai ter outras informações, será que elas realmente se encaixam? E também desconfiar de cenas perfeitas demais. E o contexto aqui vai importar muito. Ou seja, quando os olhos não conseguem mais identificar a imperfeição, o contexto vai ditar o que é real e o que não é. Então, no mundo desses vídeos sintéticos, a confiança, desde que está na imagem, ela volta a estar nas instituições, nos jornalistas, nos processos de aplicação. Ou seja, as plataformas podem ajudar a dar preferência ao jornalismo sério para que justamente venha o evento reportado de maneira correta e não cheia de desinformação. Acho que dá para começar por aí.

Rafael Colombo (19:24)

Davi, muito obrigado pela sua participação aqui no assunto e até a próxima.

David Nemer (19:28)

Obrigado, Rafael.

Rafael Colombo (19:31)

Espera um pouquinho que eu já volto para falar com o Rony Domingos. Rony, queria aproveitar para prestar um serviço para todo mundo que está nos acompanhando aqui no assunto e começar com a sua experiência nesse trabalho de identificar o que é verdade, o que não é verdade. Você está no Fatou Fake, que é o serviço de checagem aqui do Grupo Globo, desde o início, julho de 2018. Eu queria que você fizesse um paralelo para a gente, Rony, sobre o material que vocês checavam àquela altura do campeonato. e o material que vocês checam atualmente. O nível de sofisticação do que é checado por vocês aumentou muito? O volume aumentou muito? Eu queria que você nos fizesse esse paralelo entre 18 e agora.

Rony Domingos (20:22)

No início a gente recebia muitos vídeos que eram adulterados, encenados ou tirados de contexto. De 2023 para cá a gente começou a receber cada vez mais vídeos produzidos com inteligência artificial. e o grau de sofisticação e o volume aumentaram exponencialmente nesses anos com a entrada de novos geradores de vídeo né que aumentou bastante essa produção e naturalmente o tráfego também desse material Essa sofisticação.

Rafael Colombo (20:55)

Rony, ela fez inclusive com que nós que trabalhamos com notícia cotidianamente sejamos obrigados a sermos mais atentos com vídeo, áudio, porque de fato o nível de sofisticação atingiu o grau que beira a perfeição, né? Infelizmente muitas vezes utilizada para o mal, né? E só olhando ou ouvindo Não é possível dizer se um vídeo ou um áudio é falso ou verdadeiro. Então, eu queria que você contasse para quem está nos acompanhando quais são as ferramentas que vocês usam para identificar a veracidade ou não de um determinado material que vendo ou ouvindo parece verdadeiro, mas não necessariamente é.

Rony Domingos (21:41)

Existe uma corrida, a gente está sempre buscando ferramentas novas e elas vão aparecendo na medida em que a tecnologia vai avançando. E essas ferramentas são capazes de identificar alguns sinais de que aquele material foi produzido com inteligência artificial. Só que a gente precisa checar também se a ferramenta acertou. Então a gente tem que sempre consultar diversas ferramentas, um mesmo vídeo em diversas ferramentas, para ver se os resultados são convergentes, se todas elas apontam que aquele material foi produzido com IA. Depois disso, a gente também sempre cerca tudo isso com uma apuração jornalística clássica, consultando fontes para saber se aquelas imagens têm uma coerência, se elas têm nexo com a realidade. Então, um especialista pode explicar se aquilo que está sendo visto ali tem algum vínculo com o real. E aí, muitas vezes, nessa apuração jornalística, a gente começa a ter cada vez mais certeza de que aquele material não poderia, aquela imagem não poderia ter acontecido. Aquele material é falso, é um material produzido por IA. Daí a importância de a gente consultar sempre especialistas e fontes oficiais.

Rafael Colombo (22:53)

Muita coisa roda o tempo todo, especialmente em redes sociais, não é, Rony? Muita gente compartilha, recebe vídeo, áudio e fica na dúvida. Isso aconteceu, não aconteceu e não tem a condição de fazer a peneira, né? Avaliar. se aquilo de fato aconteceu ou não com todos esses instrumentos que nós temos aqui. Existem dicas que as pessoas podem utilizar para saber se receberam um vídeo verdadeiro ou produzido por inteligência artificial, se aquilo de fato aconteceu conforme está descrito no vídeo recebido ou se é... alguma mentira compartilhada milhares de vezes, o que você pode dizer para quem está nos acompanhando?

Rony Domingos (23:34)

A IA, a Inteligência Artificial, ela sempre deixa, ainda deixa alguns rastros, né? Então, ainda é possível perceber algum sinalzinho ali, vale sempre a pena ficar bem atento aos detalhes, porque esses rastros podem denunciar ali aquele material falso. Uma outra coisa que a gente sempre faz também é checar os comentários daquela publicação, porque muitas vezes os comentários ajudam a esclarecer um ponto que à primeira vista não ficou evidente. Também o perfil de quem publicou, porque se for a publicação original, muitas vezes o próprio perfil diz que ele é especialista em produzir aquele tipo de conteúdo, que o conteúdo é por IA. E, eventualmente, até a plataforma sinaliza que aquilo ali é um material sintético. Então, vale a pena sempre dar uma investigada nesses sinais iniciais. Depois, se esse material, se essas imagens forem surreais demais, se estiverem mostrando alguma coisa que nunca foi vista ou que seria muito difícil ver, então vale a pena sempre colocar cautela na mesma proporção do quanto aquilo é inusitado. E aí, outra dica que vale sempre é ter cuidado com as emoções. Alguma coisa que fica inspirando medo, que fica inspirando ódio, ou que busca atingir a imagem ou a reputação de alguém, precisa ser olhado com bastante cautela antes de ser compartilhado ou antes de a gente acreditar naquilo. Também vale muito quando alguém utiliza determinada imagem sintética para vender algum produto milagroso. Então, se aquele discurso que está vindo junto com a imagem está tentando vender alguma coisa que nunca foi vista antes, também vale a pena levar em consideração, ou seja, analisar com bastante cautela, não consumir aquele conteúdo de uma maneira imediata.

Rafael Colombo (25:37)

Rony, muito obrigado pela participação e volte sempre aqui ao assunto.

Rony Domingos (25:41)

Obrigado, foi um prazer.

Rafael Colombo (25:45)

Este foi o Assunto, o podcast diário disponível no G1, no YouTube ou na sua plataforma de áudio preferida. Comigo na equipe do Assunto estão Mônica Mariotti, Amanda Polato, Sara Rezende, Luiz Felipe Silva, Carlos Catellan e Luiz Gabriel Franco. Neste episódio colaborou também Paula Paiva Paulo. Eu sou Rafael Colombo e fico por aqui. Até o próximo assunto.