O Boris Cherny (dev na Anthropic, criador do Claude) fez um tweet interessante sobre a qualidade do código gerada pelas LLMs. Segundo ele, os LLMs ainda produzem bugs, mas esses bugs são diferentes dos que costumavam ser. Não se trata mais dos off-by-one errors (aqueles erros onde você trocou um maior por um maior-ou-igual), mas sim de arquitetura, usabilidade da interface do usuário, e decisões erradas por falta de um contexto mais amplo.

Sinto algo parecido. Do ponto de vista algorítmico e lógico, a velocidade com que os modelos melhoraram no último ano é absurdo. Lembro-me de usar o Haiku e ele já errar pouco, agora com Sol e Astra (aqui na Alura, usamos Codex), raramente vejo erro de lógica.

O desafio agora é continuar adicionando guardrails para que as LLMs entendam mais do produto que queremos construir.

Referências