MaioLabs: Corremos 84% da nossa inferência de IA em hardware próprio

Os custos de inferência cresciam com a utilização, havia dados sensíveis a circular por APIs externas e o ritmo a que surgem novos modelos tornava arriscada qualquer aposta num único fornecedor. Decidimos resolver o problema internamente antes de o resolver para os nossos clientes.

A abordagem

Primeiro veio o método. Antes de decidir a tecnologia, separámos três camadas: o que é regra pertence à automação determinística; o que exige julgamento e contexto cabe a um agente; quando a consequência ou a ambiguidade é demasiado elevada, a decisão permanece com uma pessoa, tendo o agente como assistente (human-in-the-loop). Só depois desta análise escolhemos a abordagem mais adequada. E, por vezes, a conclusão é que determinados casos não precisam de agentes nem sequer de IA.

A infraestrutura seguiu a mesma lógica, com hardware próprio desde o início. Um NVIDIA DGX Spark e um Mac Studio M3, equipamento de referência na comunidade de IA local, executam modelos open source das famílias Qwen e Google Gemma.

Cada pedido passa pelo Brain, uma gateway de IA desenvolvida internamente sobre tecnologia open source. Routers de classificação de complexidade e pequenos modelos treinados por nós avaliam cada prompt e encaminham os pedidos para diferentes modelos, incluindo opções chinesas como o MiniMax, selecionadas em função da melhor relação entre custo e desempenho para cada tarefa.

Servidores locais com modelos Mixture-of-Experts dão suporte às equipas de desenvolvimento sem exporem informação a serviços externos e funcionam como sub-agents dos modelos de fronteira, absorvendo o trabalho de base do dia a dia. O mesmo hardware foi utilizado para realizar fine-tuning completo de modelos RT-DETR de deteção em tempo real para a indústria metalúrgica.

Os resultados

Ao fim de alguns meses, 84% dos pedidos internos — entre apoio ao desenvolvimento, triagem e análise de dados operacionais — são executados localmente. Os custos tornaram-se previsíveis, os dados sensíveis permanecem dentro da organização e a adoção de um novo modelo passou a resumir-se a uma alteração de configuração na gateway.

A equipa foi também reorganizada em função desta forma de trabalhar. Os papéis internos passaram a distribuir-se pelas diferentes fases da vida de um produto: prototipar, construir, escalar, manter e aperfeiçoar. O trabalho de suporte — atualizar tickets, resumir progresso, triar pedidos recebidos e preparar pontos de situação de projetos de clientes — é entregue a agentes, permitindo que as pessoas se concentrem nas tarefas em que acrescentam maior valor. A regra continua a ser a mesma: questionar e simplificar antes de construir; automatizar apenas no fim.

Há um benefício que não surge na fatura. Muitas destas tarefas dependem de contexto operacional: a forma como um pedido é analisado ou a importância atribuída a uma exceção vivem nos registos, nos precedentes e nas pessoas que conhecem a operação melhor do que qualquer algoritmo. Executar os modelos próximo de onde esse conhecimento é produzido ajuda a mantê-lo dentro da organização.

Se a sua empresa utiliza quase exclusivamente ferramentas comerciais como o ChatGPT ou o Claude, e os seus cinco principais concorrentes fazem exatamente o mesmo, aquilo que a diferencia pode estar a sair da empresa em cada prompt. Como garante a proteção da sua propriedade intelectual e da sua vantagem competitiva?