04 · Tema 4 de 7 · máx. 36,6k views morno (calor 2 de 5; máx. 36,6k views)

OpenCode 2 sobe em comparação após mudança na integração

Calor: o quanto o assunto está em alta no mercado agora, não opinião da redação.

Cena do vídeo de @joelniklaus: OpenCode 2 sobe em comparação após mudança na integração
Quadro do vídeo · @joelniklaus

Joël Niklaus publicou em 09/11, às 12h59 BRT, uma atualização da comparação de assistentes de programação hospedada pela Hugging Face. Segundo ele, OpenCode 2 passou de uma posição próxima ao fim da tabela para um empate na liderança com as três IAs avaliadas, enquanto o custo por tarefa resolvida caiu de $3.35 para $0.45. O autor explica que a configuração anterior descartava silenciosamente o raciocínio produzido em etapas anteriores, o que prejudicava o resultado. A mudança mostra como a integração pode afetar uma comparação; metodologia e resultados completos não foram confirmados na página do ranking.

Cena do vídeo de @joelniklaus: OpenCode 2 melhora resultados após mudança de integração
Quadro do vídeo · @joelniklaus

Post âncora

BUILDERJoël Niklaus — autor da atualização da avaliação

OpenCode 2 melhora resultados após mudança de integração

Joël Niklaus relata que OpenCode 2 empatou na liderança nas três IAs avaliadas e reduziu o custo por tarefa resolvida de $3.35 para $0.45. Ele explica que a configuração anterior descartava silenciosamente o raciocínio de etapas anteriores.

OpenCode 2 supera de longe OpenCode 1.19: passou de 8º entre 9 harnesses para um empate em primeiro lugar nos três modelos.

Ele substitui a versão 1.19 no @huggingface Harness Leaderboard, que compara agentes de programação nos mesmos modelos. Como a maioria dos harnesses ali, agora usa diretamente a Chat Completions API, tornando a comparação mais equivalente.

Com esforço alto, resolve 65.7% das tarefas em vez de 43.3% no GLM-5.3-Flash e 69.4% em vez de 57.0% no DeepSeek-V4.1-Flash. No Flint, 22.9% em vez de 7.1%.

O custo por tarefa resolvida caiu de $3.35 para $0.45.

Parte da diferença anterior estava na configuração. O caminho padrão do Harbor para OpenCode 1.19 é a Responses API da OpenAI, que traduzi para Chat Completions para funcionar com Hugging Face Inference Providers.

Funcionava sem erros, mas descartava silenciosamente o raciocínio anterior do modelo. Obrigado a @thdxr e @rekram11 da @opencode por identificarem isso!

Ranking:

Ver original (texto do post como foi publicado)

OpenCode 2 far outscores OpenCode 1.19: from 8th of 9 harnesses to tied for first on all three models.

It replaces 1.19 in the @huggingface Harness Leaderboard, which compares coding agents on the same models. Like most harnesses there, it now uses the Chat Completions API directly, so it's more comparable.

At high effort it solves 65.7% of tasks instead of 43.3% on GLM-5.3-Flash and 69.4% instead of 57.0% on DeepSeek-V4.1-Flash. On Flint, 22.9% instead of 7.1%.

Cost per solved task fell from $3.35 to $0.45.

Part of the old gap was the setup. Harbor's standard route for OpenCode 1.19 is OpenAI's Responses API, which I translated to Chat Completions so it works with Hugging Face Inference Providers.

It ran without errors but silently dropped the model's earlier reasoning. Thanks to @thdxr and @rekram11 from @opencode for spotting it!

Leaderboard: