Halli Hallo,
ich bin gerade dabei mich durch verschiedene LLMs durchzutesten mithilfe von OLLAMA und 48GB VRAM.
LLAMA3-70b geht gerade so rein, ist aber relativ langsam.
Welche Models nutzt Ihr so und für welche Bereiche?
Vielleicht kriegen wir ja eine entspannte Aufstellung hin, wofür man was gut gebrauchen kann
MufG
ich bin gerade dabei mich durch verschiedene LLMs durchzutesten mithilfe von OLLAMA und 48GB VRAM.
LLAMA3-70b geht gerade so rein, ist aber relativ langsam.
Welche Models nutzt Ihr so und für welche Bereiche?
Vielleicht kriegen wir ja eine entspannte Aufstellung hin, wofür man was gut gebrauchen kann
MufG