Ce arată rezultatele din lucrare la sarcini vizuale simple
Există un contrast izbitor între ceea ce cred utilizatorii despre modelele multimodale și capacitatea lor reală de a procesa secvențe temporale. Un model precum GPT-5.4 sau Gemini-3.1 Pro poate sintetiza un tratat de biochimie, poate genera cod în Rust și poate rezolva probleme de matematică de nivel universitar.
Arată-i o animație de cinci secunde în care un disc roșu acoperă câteva cruciulițe sau un pahar își schimbă locul cu altul, iar performanța scade mult sub nivelul uman raportat în lucrare. Pe întregul set de date Video-MME-Logical, GPT-5.4 a atins o acuratețe de 22,7%, iar Gemini-3.1 Pro 28,6%. Lucrarea amestecă formate cu alegere multiplă și răspunsuri structurate exacte, așa că pagina nu transformă aceste procente într-un singur nivel al ghicirii la întâmplare.
Autorii arată că adunarea mai multor cadre nu înseamnă, prin ea însăși, un raționament logic de-a lungul timpului: în sarcinile din lucrare, urmărirea unei bile ascunse prin ocluziune rămâne o operație la care modelele evaluate greșesc des (Kwan și colaboratorii, Video-MME-Logical, EMNLP 2026). Exemplul cu copilul din introducerea lucrării este ilustrația motivațională a autorilor; lucrarea nu raportează un eșantion de copii.
Rezultatele oficiale ale benchmarkului Video-MME-Logical
Autorii au evaluat cele mai puternice modele proprietare și cu sursă deschisă pe 25 de categorii de sarcini vizuale generate algoritmic. Nivelurile de dificultate sunt controlate matematic prin durata orizontului temporal și numărul de stări intermediare.
| Model / Evaluator | General (%) | Ușor (%) | Mediu (%) | Dificil (%) |
|---|---|---|---|---|
| Nivel uman (evaluatori independenți) | 95,9 | 98,4 | 95,9 | 93,4 |
| Gemini-3.1 Pro (Google DeepMind) | 28,6 | 33,1 | 24,1 | 20,6 |
| GPT-5.4 (OpenAI) | 22,7 | 31,7 | 20,3 | 16,1 |
| Qwen2.5-VL-72B-Instruct | 12,5 | 15,2 | 13,1 | 9,1 |
| InternVL3.5-8B-Instruct | 12,1 | 13,8 | 13,5 | 8,9 |
| Qwen3-VL-8B-Instruct | 11,9 | 13,4 | 12,8 | 9,6 |
| KimiVL-16B-A3B-Think | 7,6 | 10,2 | 6,8 | 5,8 |
| LLaVA-Video-72B-Qwen2 | 2,4 | 4,7 | 1,9 | 0,7 |
Ce cer cinci tipuri de sarcini și ce s-a observat la modelele evaluate
Lucrarea descrie cinci operații pe care sarcinile le cer. Pentru fiecare, textul de mai jos spune ce cere sarcina și ce s-a observat în rezultatele modelelor evaluate, fără a transforma observația într-o imposibilitate valabilă pentru orice arhitectură:
1. Urmărirea schimbărilor dintre cadrele eșantionate
Sarcina cere urmărirea schimbărilor dintre cadre. În protocolul lucrării, modelele au primit cadre eșantionate la 2 FPS; o permutare sau o cotitură dintre două cadre eșantionate lipsește din intrare, iar răspunsurile raportate greșesc tocmai la aceste treceri.
2. Numărarea obiectelor după ce sunt acoperite
Sarcina cere numărarea obiectelor și după ce un disc le acoperă. În rezultatele raportate, modelele evaluate au numărat greșit cruciulițele după ocluziune, ca și cum registrul celor acoperite nu ar fi fost păstrat pe durata sarcinii.
3. Deducerea structurii unui corp din rotația lui
Sarcina cere deducerea structurii unui corp din rotația lui (aici, 3 × 2 × 1 cuburi). În rezultatele raportate, modelele evaluate au răspuns greșit la numărarea cuburilor când fețele deveneau vizibile pe rând; observația privește aceste modele și acest protocol.
4. Refacerea formei din ricoșeuri, fără contur desenat
Sarcina cere refacerea formei unei incinte din punctele de impact și unghiurile de reflexie, fără contur desenat. În rezultatele raportate, modelele evaluate au identificat greșit forma în aceste condiții.
5. Stabilirea ordinii evenimentelor discrete
Sarcina cere ordinea exactă a evenimentelor discrete (aici, prima tastă aprinsă: M, apoi I, W, R). În rezultatele raportate, modelele evaluate au numit tastele aprinse, dar au stabilit greșit care a fost prima.
Protocolul de testare umană
Pentru a stabili o linie de referință riguroasă, autorii au eșantionat 3.750 de exemple din setul Video-MME-Logical și le-au supus evaluării de către trei evaluatori umani remunerați. Aceștia au primit exact aceleași videoclipuri și întrebări ca și modelele, fără acces la metadate sau răspunsuri prestabilite. Lucrarea nu descrie un eșantion de copii și nu raportează vârste pentru evaluatori; comparația de pe această pagină privește evaluatorii din lucrare.
Rezultatul uman obținut a fost de 95,9% pe întregul benchmark (98,4% la nivelul ușor, 95,9% la mediu și 93,4% la dificil). Acest scor confirmă că sarcinile sunt perfect rezolvabile de către un observator uman atent și că eșecul modelelor reflectă o deficiență reală de raționament temporal.
Metodologie și citare
Setul de date Video-MME-Logical este disponibil public sub licență liberă (CC BY 4.0). Pentru detalii suplimentare despre metodologia de generare procedurală și evaluare automată, consultați lucrarea de cercetare:
Hohin Kwan, Hongyu Li, Ray Zhang, Manyuan Zhang, Xianghao Kong, Anyi Rao, Jiahao Xie, Si Liu. „Video-MME-Logical: A Controlled Diagnostic Benchmark for Video Temporal-Logical Reasoning”, Findings of EMNLP 2026 / arXiv:2606.27828 (versiunea HTML). Rezultatele din tabel sunt cele raportate în lucrare; modelele au primit cadre eșantionate la 2 FPS.
Cele zece clipuri din testul interactiv sunt exerciții create pentru această pagină, inspirate din categoriile benchmarkului. Ele nu sunt itemii oficiali evaluați în lucrare, iar scorul tău din 10 nu măsoară același protocol ca procentele din tabel.