In this short report I summarize my first impressions of using the new Nemotron-3-nano:30b on my laptop. System specifications Installation telzur@TUF:~/science/nemotron-3-nano$ ollama pull nemotron-3-nano:30b pulling manifest pulling a70437c41b3b: 100% ▕████████████████████████████████████████████████████████████████████████████████████████████████▏ 24 GB pulling bca58c750377: 100% ▕████████████████████████████████████████████████████████████████████████████████████████████████▏ 10 KB pulling 12e88b2a8727: 100% ▕████████████████████████████████████████████████████████████████████████████████████████████████▏ 28 B pulling 12bee8c08a36: 100% ▕████████████████████████████████████████████████████████████████████████████████████████████████▏ 488 B verifying sha256 digest writing manifest …
Continue reading “Running a 30B LLM Locally: Nemotron-3-nano on a Laptop”