A IA especializada entra na via rápida

Antes de implementar a IA, as organizações devem determinar qual o modelo que melhor corresponde aos seus objetivos. Os LLMs são projetados para ser universais e com um conhecimento amplo, mas reduzido em cada vetor em particular, como tal, não oferecem respostas particularmente específicas e introduzem o risco de alucinações difíceis de mitigar. Por outro lado, os SLMs são versões menores e especializadas, treinadas com conjuntos de dados reduzidos e delimitados/direcionados para sectores ou temas específicos (como o sector da saúde).

Trabalhar com modelos pequenos permite uma adaptação dinâmica, integração contínua de dados e ciclos de treino muito mais rápidos. Além disso, geram uma economia de custos significativamente mais vantajosa quando comparados com os “investimentos milionários” exigidos pelos LLMs. Neste contexto, “pequeno” significa: específico para cada necessidade, rápido e permutável. O uso de SLMs reduz a dependência de grandes fornecedores opacos e distanciados da privacidade dos dados de cada organização, catalisando assim o processo de “own your stack and own your data”, por outras palavras: permite alcançar a soberania digital.

Da melhoria de respostas às chamadas de funções externas

Até mesmo os grandes fornecedores já oferecem modelos pequenos que otimizam os LLMs base, por meio de duas abordagens:

• RAG (Geração Aumentada com Recuperação de Informação): Complementa os dados do LLM com fontes de conhecimento externas (repositórios ou documentação) indexadas numa base de dados vetorial, por forma a fornecer respostas mais precisas e reduzir alucinações.
• MCP (Protocolo de Contexto de Modelo): Um padrão aberto com uma interface padronizada para a troca de dados entre LLMs e sistemas externos. O MCP permite que os agentes de IA realizem ações diretas e interajam com APIs e/ ou com interfaces M2M (machine to machine), possibilitando assim todo o tipo de atividades (ex. Interagir com uma base de dados para atualizar registos, executar comandos num sistema, ChatOps, etc.)

vLLM e llm-d como blocos de construção modernos

O dinamismo atual do setor de IA destaca dois desenvolvimentos da comunidade open source:

• vLLM: Uma biblioteca e servidor de inferência de código aberto, que otimiza o uso da memória GPU para acelerar o rendimento da GenAI, reduzindo consideravelmente o estrangular técnico e financeiro da inferência.

• llm-d: Fornece capacidades de inferência distribuídas e avançadas sobre a Infra corporativa existente. Inclui duas inovações: a desagregação, esta, separa o processamento de prompts da geração de tokens em pods independentes, isto permite dimensionar os dois estágios de forma completamente diferenciada.

A segunda inovação é uma camada de agendamento inteligente que amplia a API do Kubernetes Gateway para rotear as solicitações em tempo real para a instância com a performance ideal.

A cloud híbrida como base da infraestrutura

Para evitar a dependência de um único fornecedor (vendor lock-in), recomenda-se uma plataforma de código aberto, híbrida e flexível. Esta arquitetura permite treinar e ajustar modelos nos hyperscalers “GPU farms”) e depois implementar os mesmos para uso produtivo, em ambientes locais (on-premise) ou no perímetro (Edge), conciliando assim a segurança de dados locais com o minimizar do uso da dispendiosa potência de cálculo nas clouds.

Eliminar as limitações de infraestruturas isoladas, permite usar qualquer modelo em qualquer acelerador e cloud, sem custos exorbitantes e sem limitações técnicas intransponíveis. Neste cenário, uma abordagem de IA em “swarm AI”, baseada na conexão de múltiplos modelos pequenos para tarefas específicas, perfila-se como a alternativa de futuro mais promissora e independente para o trabalho diário das empresas.

Conteúdo co-produzido pela MediaNext e pela Red Hat