I’ve never used oobabooga but if you use llama.cpp directly you can specify the number of layers that you want to run on the GPU with the -ngl flag, followed by the number.
So, as an example, a command (on linux) from the directory you have the binary, to run its server would look something like:
./llama-server -m "/path/to/model.gguf" -ngl 10
Another important flag that could interest you is -c for the context size.
This will put 10 layers of the model on the GPU, the rest will be on RAM for the CPU.
I would be surprised if you can’t just connect to the llama.cpp server or just set text-generation-webui to do the same with some setting.
At worst you can consider using ollama, which is a llama.cpp wrapper.
But probably you would want to invest the time to understand how to use llama.cpp directly and put a UI in front of it, Sillytavern is a good one for many usecases, OpenWebUI can be another but - in my experience - it tends to have more half baked features and the development jumps around a lot.
As a more general answer, no, the safetensor format doesn’t directly support quantization, as far as I know
Onestamente, e son solo un ignorante sul web - per risposte vere dovresti cercare un consulto con un professionista - da quel che racconti non sembra collegato al tuo metodo di studio ma sembra esser pura ansia da prestazione.
Più che sullo studio in sé dovresti provare a concentrarti su te stesso: trova modi di metterti in gioco in situazioni fuori dalla tua normale zona di comfort. Parla con persone, entra in qualche gruppo nuovo. Se hai possibilità cerca qualcosa che ti metta di fronte a situazioni che normalmente sarebbero difficili - ma non tanto da farti bloccare - come corsi di discorso pubblico o improv.
Oppure cerca dei gruppi di studio in modo da poterti sentire più sicuro delle tue conoscenze, che sicuramente sono già lì, dietro la nebbia dell’ansia.
Piccoli passi, autostima ed abitudine.
E se è il pensiero delle possibili conseguenze di un fallimento a bloccarti la soluzione è semplice ma difficile: vivi nel momento, senza pensare al dopo o ai perché.
È facile? No. Ma il migliorarsi è una sfida che dura tutta la vita: non bisogna mai darsi per vinti. Mai.