https://rovertang.com/tags/v100/罗孚传说记录罗孚在 AI、本地模型、地图、汽车与数字办公中的实践。面对真实问题，分享动手过程、试错经验，以及对技术和工作的独立思考。Hugo 0.167.0 & FixIt v1.0.0-alpha.3zh-CNSun, 13 Sep 2026 00:00:00 +0800https://rovertang.com/llm/dual-v100-local-llm/Sun, 13 Sep 2026 00:00:00 +0800https://rovertang.com/llm/dual-v100-local-llm/本地模型用两块 NVIDIA Tesla V100 SXM2 16GB 显卡、转接主板、8654 交叉线和定制机箱，组装出一块 32GB 的巨大显卡，并在 Ubuntu 24 下以 62 tokens/s 的速度运行 35B 千问模型。文章记录完整的硬件清单、散热与装机过程，也聊聊本地部署的成本、电费和模型选择。https://rovertang.com/llm/v100-sxm2-llm/Sun, 25 May 2025 00:00:00 +0800https://rovertang.com/llm/v100-sxm2-llm/本地模型SXM2版V100显卡非常具有性价比，适合AI大模型，单卡16GB版本一千出头，就能有不错的推理速度体验。但确实非常的折腾，转接卡、散热器、安装过程、系统兼容问题、驱动问题等都有不少的麻烦，坑有点多。只建议动手能力强的朋友入手。