La Banca d’Italia pubblica oggi “Fine-tuning di Large Language Models per mercati finanziari attraverso il ragionamento ontologico”, il nuovo numero della collana “Mercati, infrastrutture, sistemi di pagamento”.

I Large Language Model (LLM) vengono comunemente sottoposti a un processo di pre-training su ampie raccolte di dati testuali generici, spesso accessibili pubblicamente. Il pre-training consente agli LLM di comprendere la grammatica della lingua, capire il contesto e trasmettere un senso di conoscenza comune. Il pre-training può essere paragonato al training del machine learning: l’LLM viene allenato per prevedere la prossima unità base di testo (ad es. una parola o una sequenza di parole) in base alla sequenza di unità precedentemente osservate. Tuttavia, nonostante le impressionanti capacità di generalizzazione e di interazione simil-umana mostrata nello svolgimento task di Natural Language Processing (NLP), gli LLM pre-allenati mostrano limitazioni significative e…