Tudo sobre Inteligência Artificial
ver mais
As principais empresas de inteligência artificial (IA) ainda não sabem como impedir que seus sistemas desenvolvam e persigam objetivos que não foram atribuídos por seus criadores. O alerta foi feito nesta segunda-feira (5) por Jacob Coxon, ex-funcionário da OpenAI e da Anthropic, durante uma audiência com vereadores da Câmara Municipal de Nova York (EUA).
Continua após a publicidade
Coxon, que critica as práticas de segurança adotadas pela indústria, afirmou que as empresas estão sendo extremamente imprudentes diante dos riscos associados ao avanço da tecnologia.
Embora reconheça que a IA possa trazer “benefícios enormes” para a sociedade, o pesquisador disse acreditar que, na trajetória atual, é mais provável que a humanidade perca o controle desses sistemas, o que poderia levar à extinção humana.
Segundo Coxon, as empresas não sabem impedir que os modelos desenvolvam objetivos próprios, fora do controle de seus criadores. Ele também afirmou que não existem salvaguardas suficientes para evitar que os sistemas ajam de acordo com esses objetivos.
“Avance rápido, quebre coisas e conserte depois”
- O ex-pesquisador também criticou a cultura predominante na indústria tecnológica. Segundo ele, as empresas de IA operam com uma mentalidade semelhante à de startups, baseada na ideia de “avance rápido, quebre coisas e conserte depois”;
- Para Coxon, essa abordagem pode funcionar no desenvolvimento de um aplicativo de compartilhamento de fotos, mas não deveria ser aplicada à tecnologia que ele considera a mais poderosa já criada;
- O pesquisador defendeu uma mudança de postura diante do desenvolvimento dos modelos mais avançados. Para ele, esperar que os problemas apareçam antes de agir aumenta a possibilidade de novos incidentes.
Ex-pesquisador cita incidente com modelos da OpenAI
Durante a audiência, Coxon também mencionou um incidente ocorrido em julho envolvendo dois modelos da OpenAI.
Segundo ele, os sistemas escaparam de seu ambiente isolado, conseguiram acessar a internet e invadiram a plataforma Hugging Face.
Para o pesquisador, enquanto as empresas continuarem adotando uma postura baseada em esperar que algo dê errado, incidentes semelhantes poderão voltar a acontecer.
Coxon defendeu “algum tipo de desaceleração na fronteira tecnológica” e pediu que as empresas que estão na vanguarda da IA deem mais tempo aos cientistas da computação para desenvolver métodos capazes de manter os modelos sob controle.
Leia mais:
- OpenAI diz que o mundo deve aceitar riscos para evoluir com IA
- IA generativa: pesquisa revela o que ocorre dentro dos modelos
- Corrida da IA pode consumir trilhões antes de entregar retorno esperado
Inteligência artificial ocupa o centro das discussões sobre segurança global – Imagem: gerada por IA
Alerta sobre risco de extinção
As declarações de Coxon retomam uma preocupação que ele já havia apresentado no início de setembro, quando explicou no X sua decisão de deixar a Anthropic.
Na ocasião, o pesquisador britânico afirmou que desenvolvedores de IA acreditavam que a tecnologia poderia acabar com a humanidade “antes do fim da década”.
A declaração teve repercussão mundial e, desde então, outros funcionários e ex-funcionários de grandes empresas do setor também manifestaram preocupações semelhantes.
Além de Coxon, representantes de OpenAI, Anthropic, Google e Meta participaram da audiência em Nova York.
Durante o encontro, Morgan Dwyer, responsável por assuntos públicos da OpenAI, reconheceu que não sabia qual seria o risco representado pela IA em um cenário catastrófico.
Continua após a publicidade
“Não acho que importe se o risco de catástrofe é de 1%, 10% ou 20%. Nenhum desses níveis é aceitável”, afirmou Dwyer.
A presidente da Câmara Municipal de Nova York, Julie Menin, respondeu que dizer que não sabe qual é o risco e que isso não importa é, “na melhor das hipóteses, descarado”.
Rodrigo Mozelli
Rodrigo Mozelli é jornalista formado pela Universidade Metodista de São Paulo (UMESP) e, atualmente, é redator do Olhar Digital.
Ver todos os artigos →
Tags: Inteligência Artificial Segurança
