AI UNPACKEDENSL
AGENTI

Lestvica agentov.

Kateri agenti UI so najboljši na neodvisno preverjenih testih. Vsak agent je naveden enkrat, z najboljšim rezultatom.

Ilustracija, ustvarjena z UI: Agenti UI napredujejo zaradi pametnejše postavitve, ne le pametnejših modelov
Ilustracija, ustvarjena z UI
ANALIZA

Agenti UI napredujejo zaradi pametnejše postavitve, ne le pametnejših modelov

Novo delo DeepSeeka in univerze Tsinghua kaže, da lahko programska oprema okoli modela zniža stroške in izboljša rezultate prav toliko kot nov model.

Preberite analizo

V Pekingu je ekipa Harness pri DeepSeeku 31. oktobra objavila zasnovo stalno delujočega »superagenta« in prototip z licenco MIT: stalni usmerjevalnik sprejema zahteve z GitHuba in klepeta ter jih pošilja v ločene delovne seje, ločen nadzornik pa spremlja napredek. README ga označuje kot raziskovalno kodo, ne izdelek. Na sintetičnih obremenitvah ekipa poroča, da je bila polovica nalog končana v 12,4 minute, kot odprto tveganje pa navaja vrivanje ukazov. [1]

Članek HarnessPro pod vodstvom Tsinghue in Zhipuja agentom omogoča, da analizirajo lastne zagone in prepišejo svoje ogrodje. Z GPT-5.5 in Codexom avtorji poročajo o rasti na Terminal-Bench 2 s 76,3 % na 80,8 %, medtem ko so stroški na nalogo padli z 1,09 na 0,72 dolarja. To so rezultati avtorjev; stroški iskanja niso vključeni. [2]

Na strani ponudnikov OpenAI navaja, da GPT-6.1 Terra pri največjem naporu doseže 50,3 % na Terminal-Bench 4.0, za delček stroškov konkurentov na nalogo. To je samoporočano in še ni na lestvici vzdrževalcev. [3]

Preverjene lestvice se ta teden niso premaknile: Terminal-Bench 4.0 še vedno vodi Claude Code z Opus 5.5 (64,8 % ±3,1), vnosi na SWE-bench Verified in HAL, ki so jih preverili vzdrževalci, pa so nespremenjeni. [4][5][6]

Naša razlaga: strošek na rešeno nalogo postaja ključno merilo konkurence, zasnova ogrodja pa nanj vpliva prav toliko kot izbira modela. Lestvice, ki poročajo le o točnosti, bodo to vse pogosteje spregledale.

Negotovo: Podatki iz članka in od ponudnikov so samoporočani; na našo lestvico štejejo le lestvice vzdrževalcev. Pridobljeno 1. novembra 2026.

[1] Pandaily · DeepSeek Harness Super-agent [2] Pandaily · HarnessPro (Tsinghua, Zhipu et al.) [3] OpenAI · GPT-6.1 Terra [4] Uradna lestvica Terminal-Bench [5] Uradna lestvica SWE-bench [6] HAL — Holistic Agent Leaderboard, Princeton

Terminal-Bench 4.0

Uradna lestvica

% nalog, rešenih v pravem terminalu (povprečje poskusov, ±95 % IZ) · pridobljeno 2026-11-01

  1. 1Claude CodeOpus 5.5 · Anthropic · uradno #164.8%±3.1
  2. 2CodexGPT-6 Astra · OpenAI · uradno #358.2%±2.8
  3. 3Grok BuildGrok 4.7 · xAI · uradno #2137.6%±3.5
  4. 4mini-SWE-agentGemini 3.8 Flash · SWE-agent · uradno #2919.1%±3.4
  5. 5Muse CodeMuse Spark 1.3 · Meta · uradno #3214.6%±2.9

Drugi testi

SWE-bench Verified% rešenih (500 ročno preverjenih težav z GitHuba)
  1. 1live-SWE-agentGemini 3 Pro Preview · UIUC77.4%
  2. 2SWE-agentClaude 4.5 Opus74.4%
  3. 3OpenHandsGPT-571.8%
  4. 4Moatless ToolsClaude 4 Sonnet · Moatless AI70.8%

Uradna lestvica · pridobljeno 2026-11-01

GAIA (HAL)% točnosti na validacijskih nalogah GAIA
  1. 1HAL Generalist AgentClaude Sonnet 4.5 (September 2025)74.55%
  2. 2HF Open Deep ResearchGPT-5 Medium (August 2025)62.8%

Uradna lestvica · pridobljeno 2026-11-01

τ-bench Airline (HAL)% opravljenih nalog
  1. 1TAU-bench Tool Callingo4-mini High (April 2025)56%
  2. 2HAL Generalist AgentClaude-3.7 Sonnet (February 2025)56%

Uradna lestvica · pridobljeno 2026-11-01

Online Mind2Web (HAL)% opravljenih spletnih nalog
  1. 1SeeActGPT-5 Medium (August 2025)42.33%
  2. 2Browser-UseClaude Sonnet 4 (May 2025)40%

Uradna lestvica · pridobljeno 2026-11-01

Kako razvrščamoViri, preverjanje in zakaj ni skupne lestvice

Uporabljamo le uradne lestvice, katerih rezultate preverijo vzdrževalci ali jih neodvisno izvedejo. Rezultatov, ki jih poročajo ponudniki sami, ne upoštevamo. Vsak agent je naveden enkrat z najboljšim rezultatom, zato je # naše mesto po odstranitvi podvojitev; uradno mesto je zapisano z drobnim tiskom.

Danes ni skupne lestvice: le 4 modelov je na treh ali več lestvicah, lestvice pa zajemajo različne generacije modelov.

xAI / Grok na neodvisnih lestvicah

Grok je na lestvici Terminal-Bench 4.0 (Grok Build + Grok 4.7: 37,6 %, uradno 21. mesto; Grok 4.6: 20,3 %; Grok 4.5: 12,4 %). Na SWE-bench Verified, OSWorld-Verified in Princetonovem HAL (GAIA, τ-bench airline, Online Mind2Web) vnosov za Grok ni. Rezultatov, ki jih xAI objavlja ob izidih, ne vključujemo, ker jih poroča sam.

Terminal-Bench leaderboard

Časovni horizont METR (kontekst, brez uvrstitve)

METR je za Grok 4 (izšel julija 2025) izmeril 50-odstotni časovni horizont približno 105 minut (95-odstotni IZ 48–208 min, METR-Horizon v1.0). Novejšega modela Grok METR ne navaja; vodilni so tam modeli Claude, Gemini in GPT iz leta 2026.

METR

Rezultati, ki jih poročajo samiNepreverjeno; brez uvrstitve