Gemini 4 Argon manterrà le promesse? Se lo chiedono anche in Google

Gemini 4 Argon è stato presentato da Google come il suo nuovo modello di punta, con risultati da primato in diversi benchmark. Eppure, a pochissimo tempo dall’annuncio, i primi dubbi sulle sue reali capacità arriverebbero proprio dall’interno dell’azienda.

I dubbi dei dipendenti di Google su Gemini 4 Argon

Secondo un report di Bloomberg, alcuni dipendenti di Google che hanno già avuto accesso al modello lo avrebbero trovato in difficoltà quando viene messo alla prova su compiti di programmazione reali e nella progettazione dell’interfaccia dei siti web. Una critica che pesa, considerando che proprio la programmazione è uno dei campi su cui Google ha puntato di più per presentare il modello.

I dipendenti non sono stati identificati e non ci sono loro dichiarazioni dirette, ma il quadro che emerge è quello di un modello molto forte nei test, meno convincente nell’uso di tutti i giorni.

Il problema del benchmaxxing

Alla base dei dubbi c’è un fenomeno noto nel settore dell’intelligenza artificiale, il cosiddetto benchmaxxing: ottimizzare un modello perché ottenga ottimi punteggi nei test standard, senza che questo si traduca in prestazioni altrettanto buone nei problemi reali.

Edwin Chen, fondatore di Surge AI, parlando del fenomeno in generale, lo ha paragonato a uno studente che ottiene il massimo dei voti nei test di ammissione all’università senza aver sviluppato le competenze necessarie nel mondo reale.

Al lancio, infatti, Google aveva indicato per Argon il primo posto o risultati top in diversi test, dal 77,9% su DeepSWE v1.1 per la programmazione al primato su AutomationBench, come abbiamo visto nel nostro articolo sul lancio di Gemini 4 Argon.

La risposta di Google

Da parte sua, Google si dice fiduciosa. Koray Kavukcuoglu, che guida le attività quotidiane di Google DeepMind dopo il passaggio di Demis Hassabis al ruolo di presidente, ha espresso fiducia nel lavoro del suo team.

L’azienda rivendica i punti di forza del modello in ambiti come la sicurezza, la difesa informatica, la conversazione naturale e l’estrazione di informazioni dai video. A sostegno della sua posizione, la casa di Mountain View ricorda anche che il suo chatbot consumer e la modalità AI della Ricerca hanno superato entrambi il miliardo di utenti.

Per capire chi ha ragione, però, bisognerà aspettare che Argon arrivi nelle mani di più sviluppatori e utenti, visto che per ora l’accesso resta limitato.

Per tutte le novità sul mondo dell’intelligenza artificiale, trovi i nostri articoli più recenti nella sezione AI di GizChina.it.

Questo articolo Gemini 4 Argon manterrà le promesse? Se lo chiedono anche in Google è stato pubblicato in origine su GizChina.it.