Mercoledì, Google ha introdotto PaLM 2, un insieme di modelli linguistici di base paragonabili al GPT-4 di OpenAI. All’evento Google I/O di Mountain View in California, Google ha rivelato di utilizzare già PaLM 2 per alimentare 25 prodotti, incluso l’assistente AI conversazionale Bard. PaLM 2 è il modello linguistico esteso di nuova generazione di Google, che si basa sul patrimonio di ricerca all’avanguardia di Google nell’apprendimento automatico e nell’intelligenza artificiale responsabile.

Eccellono in attività di pensiero avanzate tra cui codifica, matematica, classificazione, risposta a domande, traduzione, multilinguismo e generazione di linguaggio naturale meglio dei precedenti LLM, incluso PALM. Può svolgere queste attività grazie al modo in cui è stato costruito, alla combinazione di scalabilità computazionale ottimale, migliore mescolamento dei set di dati e miglioramenti della struttura del modello.

Secondo Google, PaLM 2 si basa sull’etica dell’azienda di costruire e distribuire l’IA in modo responsabile. È stato accuratamente valutato per i suoi potenziali difetti e pregiudizi, capacità e usi finali nella ricerca e nelle applicazioni in corso. Viene utilizzato in altri modelli leader, come Med-PaLM 2 e Sec-PaLM e, come accennato in precedenza, supporta le funzioni e gli strumenti AI configurabili di Google, come Bard e l’API PaLM.

In quanto famiglia di modelli linguistici di grandi dimensioni (LLM), PaLM 2 viene addestrato su un enorme volume di dati e può prevedere la parola successiva, ovvero produrre il testo più probabile dopo la digitazione richiesta dall’utente. PaLM sta per Pathways Language Model e Pathways è una tecnologia di apprendimento automatico creata da Google. PaLM 2 segue l’originale PaLM, annunciato da Google nell’aprile 2022.

Secondo Google, PaLM 2 supporta più di 100 lingue e può eseguire “ragionamento logico”, generazione di codice e traduzione multilingue. durante la sua presentazione al convegno Conferenza Google I/O del 2023Il CEO di Google Sundar Pichai ha affermato che PaLM 2 è disponibile in quattro dimensioni: Gecko, Otter, Bison e Unicorn. Gecko è il più piccolo e può essere eseguito su un dispositivo mobile. Insieme a Bard, PaLM 2 è l’origine della funzionalità AI in documenti, fogli di calcolo e presentazioni.

Come è stato costruito e valutato il PaLM 2

PaLM 2 sarà eccellente in compiti come ragionamento avanzato, compilazione e generazione di codice grazie al modo in cui è costruito. Migliora il suo predecessore, PaLM, unendo tre distinti progressi nella ricerca sui grandi modelli linguistici:

• Utilizzo del ridimensionamento ottimale: L’idea di base del ridimensionamento computazionalmente ottimale è di ridimensionare la dimensione del modello e la dimensione del set di dati di addestramento in proporzione l’una all’altra. Questa nuova tecnologia rende PaLM 2 più piccolo di PaLM, ma più efficiente con prestazioni complessive migliori, inclusa un’inferenza più rapida, meno parametri di servizio e un costo di servizio inferiore;
• Miscelazione dei dati migliorata: I precedenti LLM, come il PaLM, utilizzavano set di dati pre-formazione costituiti principalmente da testi in lingua inglese. PaLM 2 migliora la sua suite con un mix di pre-formazione multilingue e diversificato, che include centinaia di linguaggi umani, linguaggi di programmazione, equazioni matematiche, articoli scientifici e pagine web;
• Aggiorna l’architettura e l’intento del modello: PaLM 2 ha un’architettura migliorata ed è stato addestrato su una varietà di compiti diversi, consentendo a PaLM 2 di apprendere diversi aspetti della lingua.

PaLM 2 si confronta favorevolmente con GPT-4?

Secondo il rapporto tecnico PaLM 2, PaLM 2 è superiore a GPT-4 in alcune aree come matematica, traduzione e inferenza. Ma i risultati di Google potrebbero non riflettere la realtà. Ethan Mullick, un professore di Wharton specializzato in intelligenza artificiale, ha valutato brevemente la versione PaLM 2 di Bard e ha scoperto che PaLM 2 ha prestazioni peggiori di GPT-4 e Bing in diversi test linguistici informali, che ha condiviso in un thread di Twitter.

La famiglia di modelli linguistici PaLM era un prodotto interno di Google Research senza accesso pubblico fino a poco tempo fa, ma Google ha offerto un accesso API limitato a marzo. Il primo PaLM si è distinto per le sue enormi dimensioni: 540 miliardi di parametri. I parametri sono variabili numeriche che rappresentano la conoscenza appresa dal modello, che gli consente di fare previsioni e generare testo in base all’input che riceve.

fonte : Google

E tu?

Quali sono i pro e i contro dell’utilizzo di PaLM 2 nei prodotti Google?

Secondo lei, quali sono i rischi di PaLM 2 per la società, l’ambiente e l’etica?

Secondo te, quali sono le sfide e i limiti di PaLM 2 e come Google intende superarli?

Fino a che punto può spingersi il confronto tra PaLM 2 e GPT-4?

Guarda anche:

Microsoft annuncia GPT-4, un modello di linguaggio trasformatore generativo pre-addestrato e conferma che non utilizza i dati dei clienti per addestrare i suoi modelli e sarà multimodale

Google I/O 2023: l’intelligenza artificiale è ora onnipresente nei prodotti di punta di Google e l’azienda presenta le sue ultime innovazioni in tecnologia, intelligenza artificiale e cloud computing

Il CEO di IBM afferma che i manager che utilizzano l’AI sostituiranno quelli che non lo fanno

Annunciando la prossima ondata di innovazione AI con Microsoft Bing e Edge

L’intelligenza artificiale causerà danni reali: Microsoft avverte dei rischi del suo utilizzo da parte di attori malintenzionati e chiede una regolamentazione dell’IA in risposta a potenziali rischi

Un ingegnere senior di Google afferma che l’azienda sta perdendo la corsa all’IA a favore della comunità open source e aggiunge che anche OpenAI si trova nella stessa posizione