Laboratórios de IA intensificam busca por “ambientes” de reforço para treinar agentes autônomos

Grandes empresas e investidores de tecnologia estão direcionando recursos a uma nova peça da engrenagem de inteligência artificial: os chamados ambientes de aprendizado por reforço, espaços simulados onde agentes de IA podem praticar tarefas complexas em etapas até dominá-las. A estratégia, apontada por pesquisadores como o próximo passo para superar limitações dos chatbots atuais, movimenta startups, fornecedores de dados e os principais laboratórios de pesquisa.

No cerne da iniciativa estão simulações que reproduzem o uso de softwares, navegadores ou sistemas corporativos. Nesses cenários, o agente recebe recompensas ou penalidades conforme se aproxima do objetivo. Um exemplo é a tarefa de comprar um par de meias em um navegador simulado: a IA deve navegar, escolher o produto correto e concluir a compra sem erros. A construção de um ambiente flexível o bastante para lidar com rotas inesperadas, porém, exige mais esforço do que preparar conjuntos de dados estáticos.

Jennifer Li, sócia do fundo Andreessen Horowitz, afirma que “todos os grandes laboratórios de IA” mantêm equipes internas dedicadas a criar ambientes, mas procuram fornecedores externos para acelerar o processo. O interesse tem impulsionado empresas como Mechanize Work e Prime Intellect, fundadas recentemente com capital de risco significativo. As gigantes de rotulagem de dados Scale AI, Surge e Mercor, que ajudaram a treinar a geração atual de modelos de linguagem, agora adaptam estruturas para atender à procura por simulações interativas.

A demanda revela números expressivos. Segundo reportagem do The Information, líderes da Anthropic discutem investir mais de US$ 1 bilhão em ambientes de reforço no próximo ano. A Surge, que registrou receita estimada em US$ 1,2 bilhão em 2023 prestando serviços a OpenAI, Google, Anthropic e Meta, criou uma divisão exclusiva para o novo formato. Já a Mercor, avaliada em US$ 10 bilhões, apresenta a investidores planos de produzir ambientes voltados a setores como programação, saúde e direito.

Startups especializadas também tentam se posicionar. Fundada há cerca de seis meses, a Mechanize Work busca oferecer um número reduzido de ambientes altamente sofisticados, começando por cenários para agentes de código. Para atrair talentos, a companhia anuncia salários de US$ 500 mil a engenheiros de software focados na construção dessas simulações. Fontes ligadas ao projeto indicam colaboração com a Anthropic, embora as partes não comentem.

A Prime Intellect segue abordagem distinta: disponibiliza um repositório público de ambientes, inspirado no modelo da plataforma Hugging Face, voltado a desenvolvedores independentes. Financiada por nomes como Andrej Karpathy, Founders Fund e Menlo Ventures, a empresa oferece acesso pago a capacidade computacional — passo considerado indispensável, já que treinar agentes em simulações extensas demanda maior poder de GPU que métodos anteriores.

A aposta não é totalmente nova. Em 2016, a OpenAI criou o RL Gym para experimentos semelhantes, enquanto o Google DeepMind utilizou reforço para treinar o AlphaGo, sistema que venceu campeões de Go. A diferença atual é a integração de grandes modelos transformadores, capazes de atuar em domínios gerais e, portanto, suscetíveis a falhas mais variadas. O desafio é garantir que as recompensas produzam comportamentos alinhados, evitando “hacks” em que a IA atinge pontuações altas sem cumprir a tarefa subjacente.

O ceticismo acompanha o entusiasmo. Ross Taylor, ex-pesquisador da Meta, argumenta que muitos ambientes exigem ajustes pesados antes de funcionarem adequadamente, além de serem vulneráveis a explorações de recompensa. Sherwin Wu, chefe de engenharia da OpenAI para APIs, disse em podcast recente que o setor é competitivo e muda rápido demais para alguns fornecedores acompanharem. O próprio Karpathy, embora acredite no potencial de interações agentivas, pondera que o reforço pode não sustentar ganhos indefinidamente.

Ainda assim, a técnica responde a um problema premente: os retornos de estratégias baseadas apenas em grandes volumes de texto começam a se reduzir. Modelos como o OpenAI o1 e o Claude Opus 4, da Anthropic, sinalizaram avanços atribuídos a esquemas de reforço mais robustos. Se o formato escalar conforme previsto, “ambientes” poderão desempenhar papel semelhante ao que conjuntos rotulados tiveram no salto anterior da IA — e definir quais empresas liderarão a próxima fase do setor.