# 仅仅做推理不做训练的情况下


1、仅仅做推理不做训练的情况下，没有GPU也几乎不行，因为纯靠CPU的打字机速度实在太慢了，不能接受。准备换个电脑再试试。
2、模型越大，吃显存越多。6GB显卡的上限应该是7B模型(官方4.7GB)，再大应该撑不住。
3、0.5B模型占用显存虽然不到1GB，但推理能力同7B没法比。如果7B是正常一点的人，那0.5B就真的是幼儿园了。也就意味着：7B模型才算正常起步。
4、在我的2G内存2核CPU的云服务器上测试0.5B，直接卡死了，想跑最小模型来做演示的想法没法实现了。
5、GPU服务器死贵，一年2万起步差不多，显卡也死贵，3060近2千起步。我的6GB显存的矿渣显卡，100起步，觉得挺香。
6、使用第三方API似乎是一条不错的捷径，特别是有些API只要0.000x起步，当然，这基本只能通用还不能微调的大模型，差点意思。
其他暂且不表，待后续研究后再同步。

#随想


---

> 作者: [RoverTang](https://rovertang.com)  
> URL: https://rovertang.com/thoughts/2024/10/work-note-5/