O Fabricio Bloisi postou sobre como eles cortaram 90% dos custos de IA dentro da Prosus, que é o grupo que tem o iFood.

Dicas do post deles:

  • Nem todos os problemas precisam do melhor modelo. Conseguir selecionar o modelo certo, e mais barato, ajuda a diminuir custo sem perder precisão.

  • Metade da memória, o dobro da capacidade. Entender bem o que precisa ser enviado pro agente pode fazer a diferença no custo final. Em conversas mais longas, descartar informação que o modelo não precisa mais, e trazer o dado somente quando o modelo realmente precisa faz diferença.

  • GPUs que estão paradas também tem custo. Diminuir o “custo” de cada chamada dá mais fôlego aos requests dos usuários. Você também não precisa competir o trabalho do humano, que trabalha em horários específicos, com batch jobs que podem trabalhar de madrugada quando as GPUs estão livres.

  • Crie modelos especialistas. Modelos destilados, que focam em tarefas específicas, são menores e por consequência mais baratos de serem servidos.

Em termos da redução de custo de cada uma dessas iniciativas, eles reportaram:

  • Encaminhamento de tarefas para o modelo adequado: 50%
  • Redução da carga de cada solicitação: 20%
  • Destilação de modelos especializados para tarefas repetitivas: 20%
  • Utilização de GPU e balanceamento de carga: 10%

Referências