A ByteDance criou uma equipe dedicada à segurança da inteligência artificial em sua unidade de pesquisa Seed. A empresa abriu uma seleção global para contratar dez pesquisadores e ampliar os estudos sobre os riscos de seus modelos mais avançados.
As vagas estão distribuídas entre Pequim e Xangai, na China, e San José, na Califórnia. A iniciativa ocorre em meio à preocupação crescente com agentes de IA capazes de acessar a internet e executar tarefas com autonomia.
O que a nova equipe vai pesquisar
Batizada de Alignment & Preparedness (Alinhamento e Preparação), a equipe trabalhará para garantir que os sistemas de IA sigam objetivos humanos e requisitos de segurança, inclusive na execução de tarefas complexas com várias etapas.
Em um anúncio publicado na quarta-feira em sua conta oficial no WeChat, a Seed afirmou que segurança e alinhamento deixaram de ser apenas medidas de proteção contra riscos. Segundo a unidade, essas capacidades serão determinantes para que os modelos possam ser utilizados em larga escala.
A criação do departamento também chama a atenção por ser uma iniciativa pública pouco comum entre grandes desenvolvedoras chinesas. Segundo o jornal estatal The Paper, a Seed foi o primeiro laboratório chinês de IA de ponta a estabelecer uma equipe independente dedicada à segurança e ao alinhamento.
Recursos e frentes de pesquisa
A Seed informou que disponibilizará à nova equipe capacidade computacional e recursos de pesquisa comparáveis aos oferecidos aos grupos que desenvolvem seus modelos mais avançados. O trabalho será distribuído entre diferentes áreas:
- Treinamento de segurança: desenvolvimento de métodos para reduzir riscos durante a formação dos modelos;
- Testes automatizados: criação de ferramentas para detectar falhas e vulnerabilidades;
- Monitoramento e explicabilidade: análise do comportamento dos sistemas e dos fatores que influenciam suas respostas;
- Ambientes de simulação: avaliação de agentes autônomos em cenários controlados;
- Riscos emergentes: investigação de ameaças que podem surgir com o avanço da tecnologia.
A empresa também pretende buscar avaliações independentes e estabelecer parcerias com universidades e instituições de pesquisa. Os resultados deverão ser incorporados ao treinamento, à avaliação e à implantação dos modelos.
Segurança em meio à disputa entre China e EUA
O anúncio ocorre enquanto China e Estados Unidos discutem medidas de proteção para a inteligência artificial e formas de comunicação sobre incidentes graves envolvendo sistemas avançados. Os dois países disputam a liderança tecnológica, mas também enfrentam desafios para acompanhar os riscos associados à evolução desses modelos.
Agentes capazes de acessar serviços na internet e executar várias ações em sequência ampliam as possibilidades de uso da IA. Ao mesmo tempo, exigem métodos de avaliação que ajudem a identificar falhas e comportamentos inesperados.
Com a nova equipe, a Seed pretende concentrar esforços de segurança em diferentes etapas do desenvolvimento dos modelos, do treinamento aos testes e à implantação.
O post Dona do TikTok, ByteDance cria time global focado em conter riscos da IA apareceu primeiro em Olhar Digital.