CEO da OpenAI diz que a era dos modelos gigantes de IA já acabou

AS CAPACIDADES IMPRESSIONANTESdo  ChatGPT , o chatbot da startup OpenAI, desencadeou uma onda de novos interesses e investimentos em  inteligência artificial. Mas no final da semana passada, o CEO da OpenAI alertou que a estratégia de pesquisa que deu origem ao bot acabou. Não está claro exatamente de onde virão os avanços futuros.

A OpenAI apresentou uma série de avanços impressionantes em IA que trabalha com linguagem nos últimos anos, pegando os algoritmos de aprendizado de máquina existentes e ampliando-os para um tamanho inimaginável. O GPT-4, o mais recente desses projetos, provavelmente foi treinado usando trilhões de palavras de texto e muitos milhares de poderosos chips de computador. O processo custou mais de US$ 100 milhões.

Mas o CEO da empresa, Sam Altman, diz que mais progresso não virá de modelos maiores. “Acho que estamos no fim da era em que serão modelos gigantes”, disse ele a uma platéia em um evento realizado no MIT na semana passada. “Vamos torná-los melhores de outras maneiras.”

A declaração de Altman sugere uma reviravolta inesperada na corrida para desenvolver e implantar novos algoritmos de IA. Desde que a OpenAI lançou o ChatGPT em novembro, a Microsoft usou a tecnologia subjacente para adicionar um chatbot ao seu mecanismo de busca Bing , e o Google lançou um chatbot rival chamado Bard. Muitas pessoas correram para experimentar o uso da nova geração de chatbot para ajudar no trabalho ou em tarefas pessoais.

Enquanto isso, várias startups bem financiadas, incluindo  Anthropic ,  AI21 ,  Cohere e  Character.AI , estão investindo enormes recursos na construção de algoritmos cada vez maiores em um esforço para alcançar a tecnologia da OpenAI. A versão inicial do ChatGPT foi baseada em uma versão ligeiramente atualizada do GPT-3, mas os usuários agora também podem acessar uma versão desenvolvida pelo GPT-4, mais capaz.

A declaração de Altman sugere que o GPT-4 pode ser o último grande avanço a emergir da estratégia da OpenAI de tornar os modelos maiores e alimentá-los com mais dados. Ele não disse que tipo de estratégias ou técnicas de pesquisa podem substituí-lo. No artigo que descreve o GPT-4 , a OpenAI diz que suas estimativas sugerem retornos decrescentes ao aumentar o tamanho do modelo. Altman disse que também há limites físicos para quantos data centers a empresa pode construir e com que rapidez ela pode construí-los.

Nick Frosst, cofundador da Cohere, que trabalhou anteriormente em IA no Google, diz que a sensação de Altman de que crescer não funcionará indefinidamente parece verdadeira. Ele também acredita que o progresso nos transformadores, o tipo de modelo de aprendizado de máquina no coração do GPT-4 e seus rivais, está além da escala. “Existem muitas maneiras de tornar os transformadores muito, muito melhores e mais úteis, e muitas delas não envolvem a adição de parâmetros ao modelo”, diz ele. Frosst diz que novos designs de modelos de IA, ou arquiteturas, e ajustes adicionais com base no feedback humano são direções promissoras que muitos pesquisadores já estão explorando.

Cada versão da influente família de algoritmos de linguagem da OpenAI consiste em uma rede neural artificial, software vagamente inspirado na maneira como os neurônios trabalham juntos, que é treinado para prever as palavras que devem seguir uma determinada sequência de texto.

O primeiro desses modelos de linguagem, GPT-2, foi  anunciado em 2019 . Em sua forma maior, tinha 1,5 bilhão de parâmetros, uma medida do número de conexões ajustáveis ​​entre seus neurônios artificiais rudimentares.

Na época, isso era extremamente grande em comparação com os sistemas anteriores, em parte graças à descoberta dos pesquisadores da OpenAI de que a ampliação tornava o modelo mais coerente. E a empresa fez o sucessor do GPT-2, o GPT-3,  anunciado em 2020 , ainda maior, com colossais 175 bilhões de parâmetros. As amplas habilidades desse sistema para gerar poemas, e-mails e outros textos ajudaram a convencer outras empresas e instituições de pesquisa a levar seus próprios modelos de IA a um tamanho semelhante e ainda maior.

Depois que o ChatGPT estreou em novembro,  criadores de memes e  especialistas em tecnologia especularam que o GPT-4, quando chegasse, seria um modelo de tamanho e complexidade vertiginosos. No entanto, quando  a OpenAI finalmente anunciou o novo modelo de inteligência artificial , a empresa não revelou seu tamanho – talvez porque o tamanho não seja mais o que importa. No evento do MIT, Altman foi questionado se o treinamento GPT-4 custou $ 100 milhões; ele respondeu: “É mais do que isso.”

Embora a OpenAI esteja mantendo o tamanho e o funcionamento interno do GPT-4 em segredo, é provável que parte de sua inteligência já venha de olhar além da escala. A possibilidade é que ele tenha usado um método chamado aprendizado por reforço com feedback humano, que foi usado para aprimorar o ChatGPT. Envolve que os humanos julguem a qualidade das respostas do modelo para orientá-lo a fornecer respostas com maior probabilidade de serem julgadas como de alta qualidade.

As capacidades notáveis ​​do GPT-4 surpreenderam alguns especialistas e provocaram debates sobre o potencial da IA ​​para transformar a economia, mas também espalhar a desinformação e eliminar empregos. Alguns especialistas em IA, empreendedores de tecnologia, incluindo Elon Musk, e cientistas escreveram recentemente uma carta aberta pedindo uma pausa de seis meses no desenvolvimento de algo mais poderoso que o GPT-4.

No MIT na semana passada, Altman confirmou que sua empresa não está desenvolvendo o GPT-5. “Uma versão anterior da carta afirmava que a OpenAI está treinando GPT-5 agora”, disse ele. “Não estamos, e não o faremos por algum tempo.”

Fonte: Wired