Esplora il mondo di Orca, il modello di linguaggio di Microsoft che utilizza Chat GPT e GPT-4 per un apprendimento progressivo. L’ LLM Orca sta rivoluzionando il campo dell’intelligenza artificiale.
Ciao amici, oggi vorrei parlarvi di un argomento che sta facendo molto rumore nel mondo dell’intelligenza artificiale: Orca, il nuovo modello di linguaggio presentato da Microsoft. Questo modello ha introdotto un nuovo modo di pensare all’apprendimento e al fine-tuning, utilizzando Chat GPT come un insegnante intermedio.
Ma cosa significa esattamente?
E come può cambiare il nostro modo di vedere l’IA? Andiamo a scoprirlo insieme.
Il Fine Tuning di Orca
Ok, lasciate che vi spieghi un po’ meglio il concetto di fine-tuning e il ruolo di Chat GPT in tutto questo. Vi faccio un esempio:
Immaginate di avere una macchina molto potente, diciamo una Ferrari. Questa Ferrari è fantastica, ma è progettata per essere più duttile possibile, cioè per essere utilizzata in più situazioni, molte diverse tra loro. Ora, supponiamo che vogliate utilizzarla per una gara specifica, diciamo la 24 Ore di Le Mans. Non potete semplicemente prendere la vostra Ferrari e correre, vero? O meglio, potreste farlo, ma non otterreste risultati ottimali.
Avete bisogno di apportare alcune modifiche specifiche, o fine-tuning, per adattare la vostra Ferrari a quella specifica gara.
Ecco, questo è esattamente quello che facciamo con i modelli di linguaggio come Chat GPT. Abbiamo questo modello di linguaggio incredibilmente potente, ma è progettato per essere utilizzato in una vasta gamma di situazioni. Quando vogliamo che il modello esegua un compito specifico, dobbiamo fare un po’ di fine-tuning. Dobbiamo addestrarlo.
Ora, che ruolo ha Chat GPT nel nostro esempio? Bene, pensate a Chat GPT come a un meccanico esperto. È lui che prende la nostra Ferrari e la prepara per la gara. Nel caso del fine-tuning di un modello di linguaggio, Chat GPT agisce come un insegnante intermedio, aiutando il modello a capire meglio come rispondere a specifici prompt o domande.
Ma non finisce qui. C’è un altro concetto interessante che dovremmo esplorare: l’apprendimento progressivo.
L’Apprendimento Progressivo di Orca
Questo è un concetto che Orca di Microsoft ha portato alla ribalta.
Per capire meglio, io ricorro sempre ad esempi, anzi, spesso uso ChatGPT quasi esclusivamente per quello (spiegami come se fossi un bambino di 10 anni lo stoicismo…).
Quindi, visto che quello della Ferrari m’è piaciuto molto, rimaniamo in tema di sport!
Immaginate di voler insegnare a un bambino a giocare a calcio. Non iniziereste subito con le regole più complesse e le strategie avanzate, no? Iniziereste con le basi: come calciare la palla, come correre, come passare. Una volta che il bambino ha imparato queste abilità fondamentali, potrete iniziare a introdurre concetti più avanzati come le tattiche di gioco o le regole più complesse. Questo è essenzialmente ciò che fa l’apprendimento progressivo.
Nel contesto di Orca, l’apprendimento progressivo si svolge in due fasi.
- Nella prima fase, il modello viene addestrato, come abbiamo già visto, da ChatGPT. Potete pensare a ChatGPT come a un insegnante di scuola elementare, che insegna le basi a Orca. Questo include cose come la comprensione del linguaggio naturale e la capacità di rispondere a semplici richieste.
- Una volta che Orca ha imparato da ChatGPT le basi, si passa alla seconda fase, dove viene addestrato da un modello più avanzato, GPT-4. Questo è come passare da un insegnante di scuola elementare a un professore universitario. GPT-4 insegna a Orca concetti più avanzati e complessi, permettendogli di affinare le sue abilità e di diventare un modello di linguaggio molto più potente.
Le Prestazioni di Orca
Ora che è addestrata, come si piazza Orca di Microsoft nei test? Beh, fa assolutamente la sua figura!
Orca, infatti ha mostrato prestazioni straordinarie nei benchmark, superando molti dei suoi concorrenti ed avvicinandosi parecchio a sua mamma e papà. Per esempio, prendiamo Vikuna, un altro modello di linguaggio con 13 miliardi di parametri. Orca ha dimostrato di essere il doppio più efficace di Vikuna nel ragionamento zero-shot complesso. È come se avessimo due macchine da corsa, entrambe con la stessa potenza, ma una riesce a fare il giro del circuito in metà del tempo dell’altra. Questo è il livello di superiorità di cui stiamo parlando.
Ma come fa Orca a ottenere questi risultati? La risposta risiede nel suo processo di apprendimento progressivo. Invece di addestrare il modello in una sola fase, Orca utilizza due livelli di addestramento. È come se un studente imparasse prima da un insegnante intermedio, acquisendo le basi, e poi passasse a un professore esperto per affinare le sue competenze. Questo approccio ha permesso a Orca di non solo imitare, ma anche di ragionare come un modello di linguaggio di grandi dimensioni con un numero di parametri ben più ampio.
Cosa ci Riserva il Futuro?
Ora, pensate alle implicazioni di tutto ciò per l’ecosistema dei modelli di linguaggio open source. Anche se Microsoft non ha rilasciato i pesi del modello, l’approccio di Orca ha ispirato altri nella comunità. È come se Microsoft avesse acceso una torcia e ora altre persone stanno seguendo il percorso illuminato da Microsoft.
Per esempio, sono già emersi modelli open source come Orca Mini 3B (con soli 3 miliardi di parametri invece che 13). È come se avessimo una ricetta segreta per un piatto delizioso, e ora cuochi di tutto il mondo stanno cercando di ricrearla nelle loro cucine. Questo potrebbe portare a una nuova ondata di innovazione nel campo dei modelli di linguaggio.
Ma non fermiamoci qui. Immaginate cosa potrebbe succedere se questo approccio venisse adottato su larga scala. Potremmo vedere una nuova generazione di modelli di linguaggio che non solo imitano, ma ragionano come i modelli di base. E questi modelli costerebbero nettamente di meno sia come gestione che come addestramento, anzi, i costi non sarebbero proprio paragonabili. Questo potrebbe portare a un salto qualitativo nelle prestazioni dei modelli di linguaggio, aprendo nuove possibilità nel campo dell’IA ed un’ulteriore democraticizzazione.
Vedremo!
