https://rovertang.com/tags/%E6%9C%AC%E5%9C%B0%E5%A4%A7%E6%A8%A1%E5%9E%8B/罗孚传说记录罗孚在 AI、本地模型、地图、汽车与数字办公中的实践。面对真实问题，分享动手过程、试错经验，以及对技术和工作的独立思考。Hugo 0.167.0 & FixIt v1.0.0-alpha.3zh-CNSun, 13 Sep 2026 00:00:00 +0800https://rovertang.com/llm/dual-v100-local-llm/Sun, 13 Sep 2026 00:00:00 +0800https://rovertang.com/llm/dual-v100-local-llm/本地模型用两块 NVIDIA Tesla V100 SXM2 16GB 显卡、转接主板、8654 交叉线和定制机箱，组装出一块 32GB 的巨大显卡，并在 Ubuntu 24 下以 62 tokens/s 的速度运行 35B 千问模型。文章记录完整的硬件清单、散热与装机过程，也聊聊本地部署的成本、电费和模型选择。https://rovertang.com/llm/v100-sxm2-llm/Sun, 25 May 2025 00:00:00 +0800https://rovertang.com/llm/v100-sxm2-llm/本地模型SXM2版V100显卡非常具有性价比，适合AI大模型，单卡16GB版本一千出头，就能有不错的推理速度体验。但确实非常的折腾，转接卡、散热器、安装过程、系统兼容问题、驱动问题等都有不少的麻烦，坑有点多。只建议动手能力强的朋友入手。https://rovertang.com/llm/mini-pc-server-llm/Mon, 05 May 2025 00:00:00 +0800https://rovertang.com/llm/mini-pc-server-llm/本地模型不管是小主机还是服务器，一般都无法跑超出显存或内存容量的大模型，小主机的内存肯定小于服务器内存，所以小主机基本只剩使用大模型API这一条路，不过小主机外接显卡也是一种可探讨的方案。本文还详细介绍了小主机的优点，同时也认为没有真实性价比。https://rovertang.com/llm/gpu-cpu-llm-speed/Sun, 04 May 2025 00:00:00 +0800https://rovertang.com/llm/gpu-cpu-llm-speed/本地模型通过256GB内存以及2张P106显卡下的多场景测试，证明了一个毋庸置疑的结论：显卡推理完胜纯CPU推理以及混合推理。虽然证明了一个寂寞，但也给低成本多显卡推理带来了一些希望。https://rovertang.com/llm/cpu-671b-llm/Sat, 05 Apr 2025 00:00:00 +0800https://rovertang.com/llm/cpu-671b-llm/本地模型两千元服务器，也能运行671B DeepSeek-R1！虽速度不快，但性价比极高，是理(无)想(奈)的本地部署纯CPU推理方案。本文探讨了部署目的，回顾了翻车原因，进行了速度测试，提供了质量参考，还提出了后续方案，并附上模型文件与测试代码下载链接，欢迎大家沟通交流。https://rovertang.com/llm/cpu-llm-server-failure/Sat, 08 Mar 2025 00:00:00 +0800https://rovertang.com/llm/cpu-llm-server-failure/本地模型花费一两千元使用E5 CPU搭建的纯CPU推理70B大模型服务器翻车了，CPU指令集和DDR4内存带宽是致命问题，以后对于不支持AVX512或AMX指令集的CPU还是不要考虑了吧。https://rovertang.com/llm/cpu-70b-server/Sun, 23 Feb 2025 00:00:00 +0800https://rovertang.com/llm/cpu-70b-server/本地模型通过对比服务器、小主机和工作站的优缺点，我发现一两千元搭建一台使用纯 CPU 推理 70B 大模型的服务器是完全可行的，性能不差，内存充足，总体很强大。https://rovertang.com/llm/llm-token-speed-test/Sun, 16 Feb 2025 00:00:00 +0800https://rovertang.com/llm/llm-token-speed-test/本地模型大模型token输出速度通常用TPS(tokens per second)或tokens/s衡量。我分享了一段测试代码，并附上我的渣渣机跑出来的分数。你也来测试一下你的大模型性能，一起看看不同硬件下的速度表现吧！https://rovertang.com/llm/macbook-ollama-llm/Wed, 12 Feb 2025 00:00:00 +0800https://rovertang.com/llm/macbook-ollama-llm/本地模型Intel版MacBook用ollama跑大模型，显卡没用上，只能靠CPU硬扛。如果改用llama.cpp等程序来跑大模型，应该可以将独立显卡利用起来。而通过输出token速度测试，侧面证明“使用CPU硬扛大模型”的方式也完全可行。https://rovertang.com/llm/home-deepseek-server/Mon, 03 Feb 2025 00:00:00 +0800https://rovertang.com/llm/home-deepseek-server/本地模型使用家用PC和家庭宽带，低成本部署DeepSeek大模型并实现互联网访问，从技术方案上看完全可行。然而，距离真正达到完全可用的程度，还有很长的路要走。https://rovertang.com/llm/p106-local-llm/Sat, 01 Feb 2025 00:00:00 +0800https://rovertang.com/llm/p106-local-llm/本地模型区区一百元，装块矿渣显卡就能让老电脑焕然一新，能玩黑神话，能跑大模型，不得不说P106显卡真香！