E dunque questo DeepSeek?
E insomma il nuovo arrivato questa settimana è DeepSeek, sistema LLM che formalmente è nato come progetto collaterale di un’azienda cinese di asset management, i cui algoritmi (ma non il materiale di addestramento…) sono open source, ha un costo di addestramento che è tra uno e due ordini di grandezza inferiore a quello di OpenAI o1, epperò funziona “good enough”, che era già una volta un mantra per i servizi internet ma ormai è diventata la bibbia – anche perché. diciamocelo, non è per nulla scontato che questi sistemi diano risposte direttamente utilizzabili, anzi.
Anch’io ho provato a usarlo. Chiedendogli chi è Maurizio Codogno, senza dargli nessun contesto, ha tirato fuori qualche frase adulatoria e senza un vero contenuto:
Maurizio Codogno is an Italian mathematician, blogger, and science communicator. He is known for his work in popularizing mathematics and making it accessible to a broader audience. Codogno has written extensively on mathematics, often focusing on its applications and relevance in everyday life. He is also a prolific blogger, contributing to various platforms where he shares insights, explanations, and commentary on mathematical topics.
Codogno has authored several books and articles aimed at demystifying complex mathematical concepts for non-experts. His efforts in science communication have made him a respected figure in the Italian scientific community and beyond. If you have specific questions about his work or contributions, feel free to ask!
(sì, io preferisco usarlo direttamente in inglese per togliere un passaggio). Rispetto ai miei tentativi con il primo ChatGPT ha evitato di parlare del mio omonimo ex calciatore, che è quello che ha la voce su Wikipedia, e soprattutto non si è inventato titoli di libri che non ho mai scritto. Ma quello che mi ha stupito di più è stata la risposta a una variante quesito proposto il mese scorso da Mike Loukides in questo articolo: “Sai dimostrare che se tutte le cifre di un numero primo sono 1 allora il numero di cifre deve essere un numero primo?” Chiunque abbia letto Martin Gardner lo sa, e immagino che nel corpus di addestramento ci sia qualcosa del genere: però la domanda posta così non è immediata. Io ho fatto leggermente di peggio: ho chiesto
A repetitium is a number which is written using a single digit, like 666. Can you find a necessary condition for a repetitium to be a prime number, and explain me which steps you did to arrive at the conclusion?
scegliendo apposta un termine inesistente per definire quelli che in letteratura sono detti repunits, dando come esempio un numero la cui cifra ripetuta non è 1, e chiedendo di trovare una condizione necessaria senza esplicitarla. Potete vedere la risposta di DeepSeek qui. Nulla da eccepire, il che da un certo punto di vista è inquietante: d’altra parte afferma di essere il LLM più performante nel test MATH-500.
Secondo il Financial Times, Deep Seek afferma di essere stato addestrato usando 2048 schede grafiche Nvidia H800, con un costo di 5,6 milioni di dollari e 671 miliardi di parameteri: molto meno dei rivali. Sempre secondo il FT, OpenAI ha accusato DeepSeek di avere usato GPT-4 come punto di partenza per distillare i suoi contenuti… comportamenti illeciti un po’ come le accuse di violazione di copyright nei confronti di OpenAI, insomma. Più che altro, quello che io noto è che la mia preoccupazione riguardo al set di training generato automaticamente non è condivisa, e che in questo modo si arriva a un risultato “good enough” con una frazione del costo di addestramento. (Poi, leggendo qui, c’è anche chi sospetta che quei dati siano appositamente sottostimati).
Ovviamente DeepSeek ha scelto di sparigliare il mercato, che fino a questo momento era tenuto saldamente in mano dai soliti noti. Questo significa tra l’altro che la bolla AI (e quella delle utility energetiche…) potrebbe scoppiare molto prima di quanto si pensasse. Peggio ancora, il Post cita il blog Stratechery, dove Ben Johnson ritiene che in DeepSeek ci siano anche migliorie importanti, almeno rispetto all’efficienza (anche se pensa che o1 sia ancora migliore come capacità). Da questo punto di vista continuo a credere che abbiamo raggiunto un plateau, e per passare dal good enough al “good without ifs and buts” :-) occorrerà qualche nuova idea. Staremo ad aspettare: in fin dei conti se ora è più facile entrare nel mondo LLM magari a qualcuno l’idea arriverà…
Aggiornamento: (9:00): Sicuramente se uno non ha fatto un account DeepSeek non vede nulla, non ho fatto prove con un account diverso. Allego quindi screenshot (cliccabili per ingrandire) della conversazione.
