ChatGPT vs. Bard, SFIDA con 20 domande, chi vince ?

Certo, ecco un elenco puntato degli argomenti trattati nel video:

• Scopo e regole della sfida
• Le prime 10 domande
• Le seconde 10 domande
• Conclusioni e invito

Google qualche tempo fa ha migliorato la sua intelligenza artificiale e ha rilasciato Gemini, un modello llm aggiornato che secondo Google porterebbe il suo chatbot Bard a livello di quello di OpenAI, cioè ChatGPT. Sarà vero? Ho messo alla prova i due chatbot, le due AI, in un testa a testa con domande di differente natura, di varia natura, e che ora vi mostro.

Quindi facciamo questo gioco assieme, se avete voglia prendete un foglio, un supporto, insomma quello che volete, e anche voi in base alla risposta che vi darà alla mia domanda potete assegnare un punteggio, così possiamo vedere alla fine come dire valutare anche il vostro giudizio personale e magari potete condividere poi il vostro risultato qui sotto nei commenti.

Dettaglio tecnico: quando ho fatto questa prova Bard con Gemini non era ancora disponibile in Italia, quindi l’ho raggiunto diciamo tramite una VPN e chiaramente ho fatto le domande in inglese. Il ChatGPT invece usato era nel modello 4, ma in realtà ho fatto dei test e su queste domande tra 3.5 e 4 praticamente c’è ben poca differenza, quindi questo per dire che anche voi potete utilizzarlo, potete metterlo al confronto se non volete pagare la versione 4. Quindi si, andiamo.

Iniziamo con una domanda scientifica, chiedendo a entrambe le AI di calcolare il modulo di un numero complesso. E no, non capisco assolutamente niente, cioè ho fregato tutte queste informazioni da un documento universitario, quindi non ho la più pallida idea da dove iniziare se dovessi farlo per i fatti miei, però ho trovato chiaramente un’espressione, i passaggi e i risultati. Quindi Bard fa i passaggi e poi mi dice che il risultato è due, invece ChatGPT dopo la sua spiegazione come Bard dice che è quattro. Entrambi hanno spiegato, ma il risultato corretto secondo i dati che ho trovato è quattro, non due. Quindi qui c’è proprio un errore, quindi Bard parte malissimo. Quindi per me un punto per ChatGPT.

Ho continuato con la matematica, chiedendo a entrambi di provare a risolvere un’equazione impossibile. Quindi ho pescato da una ricerca del tipo “problemi matematici irrisolti” e gli ho fatto la domanda. L’obiettivo era capire se prima di tutto sparavano magari dei risultati e secondo come si approcciavano a una situazione irrisolvibile come questa. ChatGPT ha analizzato e ha spiegato la situazione e poi mi ha fatto fatto una domanda, cioè se avessi degli altri dati o delle altre condizioni da dargli, e in effetti c’erano, appunto, delle condizioni da fornire, intrinseche del problema.

Gli ho fornito le condizioni, è andato avanti ad analizzare il problema e poi mi ha chiesto eh addirittura un ulteriore valore che anche questo è una parte integrante dell’equazione come prerequisito. Dopo avergli fornito il valore è andato ancora avanti e comunque è arrivato come dire a un finale in cui spiegava che non c’era un risultato certo. L’approccio di Bard è stato molto diverso, perché ha subito definito l’equazione non era risolvibile e ha fatto delle supposizioni, però non ha chiesto dei dati aggiuntivi. Io credo che l’approccio di ChatGPT sia stato migliore, perché appunto ha chiesto quei prerequisiti capendo che erano necessari e ha guidato meglio nella spiegazione, quindi mi spiace, 2-0 per ChatGPT.

Facciamo una domanda di conoscenza storica, quindi informazioni storiche. Ho chiesto che cosa ha portato alla distruzione dell’Impero Romano. Bard ha fatto una lista e ha diviso le motivazioni in macro gruppi, come i fattori politici, quelli sociali, quelli economici, eccetera eccetera. ChatGPT in realtà ha fatto lo stesso, anche se ha creato più macro gruppi. Qui vorrei proprio obbligarmi a dare il punto all’uno o all’altro, ma in realtà anche se strutturato in maniera differente i concetti e i motivi espressi sono praticamente gli stessi e il modo di esporli non è più o meno efficace dell’altro, quindi un punto a ciascuno, 3 a 1.

Li ho messi poi alla prova nella scrittura creativa, chiedendo di scrivere una breve storia partendo dalla frase “Era finalmente pronto ad aprire gli occhi e capire la brutalità della vita”. Bard ha iniziato con la stessa identica frase e ha raccontato di un giovane uomo appena maggiorenne rinchiuso in una cella in una prigione, addirittura torturato da giorni. Era lì per un crimine che non aveva commesso e proveniva da una famiglia povera. Inizialmente l’uomo voleva lasciarsi andare, poi ha trovato la forza di resistere, ha iniziato ad allenarsi per fortificare la mente e il corpo, perché sapeva che prima o poi sarebbe uscito dalla prigione.

Questa esperienza gli ha aperto gli occhi, l’ha messo davanti alla brutalità della vita, ma dopo questa esperienza era finalmente pronto ad affrontare nuovamente il mondo. Ecco, questo è un riassunto molto veloce, se volete mettete in pausa il video e leggete tutto. ChatGPT ha iniziato anch’esso con la stessa frase, ma l’ha cambiata leggermente, ha dato un nome al personaggio, l’ha chiamato John, e ha descritto una stanza in cui entrava la prima luce dell’alba, raccontando che John dopo una vita intera si trovava a un bivio della sua esistenza. Ha descritto John, ha descritto il suo passato e poi si è imbarcato in una descrizione quasi filosofica dell’esistenza.

Ecco, i due approcci sono decisamente molto molto differenti, molto più complicato forse quello di ChatGPT, molto aulico, più basilare quello di Bard. Qui siamo nella scelta personale, soggettiva. Ma quando io ho chiesto, ho fatto questa domanda e ho mi sono inventato questa frase, avevo in testa qualcosa di molto più simile a quello creato da ChatGPT piuttosto che del racconto più basilare, pratico, di Bard. Quindi per quanto mi riguarda, altro punto a ChatGPT, 4 a 1.

Ho chiesto a entrambi adesso di scrivere delle battute. Ecco quelle che ha scritto Bard, e da ricordare che sono in inglese, ok, quindi i giochi di parole funzionano in inglese, io li dirò in italiano ma li vedete comunque qua scritti. Primo: come chiami un canguro pigro? La risposta è stata pouch potato. Come chiami un orso senza denti? La risposta è stata un orso di gomma.

Argomenti correlati