A era dos modelos gigantes de IA já acabou?

O CEO da OpenAI, Sam Altman, advertiu que a estratégia de investigação utilizada para o criar já está ultrapassada. Em declarações num evento recente do MIT, Altman sugeriu que o progresso futuro não derivaria de “modelos gigantes, gigantes”.

O treino de grandes modelos linguísticos requer despesas exorbitantes (e possivelmente insustentáveis). Por exemplo, o ChatGPT necessitou de mais de dez mil GPU durante o processo de formação do modelo de linguagem de grande dimensão (LLM, na sigla em inglês) e exige ainda mais recursos para funcionar continuamente.

GPT dependem de GPU

“Parece que toda a gente está a comprar GPU atualmente”, observou Elon Musk, indicando que os preços podem estar a subir em flecha, enquanto os benefícios podem ter estabilizado; pelo menos para a OpenAI. A economia de escala pode ter-se virado contra o desenvolvimento de modelos de redes neurais GPT cada vez maiores.

No entanto, nem toda a gente acredita que a equação custo-benefício esteja no centro das aparentes mudanças de tom da OpenAI. É digno de nota o facto de o CEO do Twitter, Elon Musk, ter revelado recentemente planos para criar o "TruthGPT", um modelo de IA que fornece o nível “máximo” de verdade sobre um determinado tópico, enfatizando assim a importância da qualidade dos resultados da IA sobre a escala do modelo de linguagem.

TruthGPT pode estar para chegar

Ainda não foram divulgadas informações sobre se o “TruthGPT”vai mesmo ser real. No entanto, em março deste ano, Musk fundou discretamente uma nova empresa de IA, chamada X.AI. 

Numa entrevista à Fox News, o empresário compartilhou preocupações sobre como as grandes empresas de IA podem acidentalmente perpetuar preconceitos e desinformação por meio de chatbots. Também comentou a possibilidade de um apocalipse da IA; um evento em que a IA poderia ganhar controlo sobre as nossas vidas diárias.

Uma pausa acidental de seis meses

A 22 de março, o Future for Life Institute, uma organização sem fins lucrativos, publicou uma carta aberta assinada por mais de 1000 líderes tecnológicos mundiais a pedir uma "pausa urgente" no desenvolvimento de tecnologias mais poderosas do que a GPT-4.

Embora o CEO da OpenAI, Sam Altman, tenha afirmado que a carta “carecia de nuances técnicas sobre onde precisamos de fazer uma pausa”, a transição da empresa para o desenvolvimento da tecnologia GPT-4 indica que a OpenAI levou a carta a sério.

A OpenAI não está atualmente a desenvolver a GPT-5. Há muitos desafios a serem resolvidos nos modelos GPT-4; desde preocupações com a privacidade, potencialidades de propagação de malware e questões relacionadas com roubo de identidade.