https://rovertang.com/tags/%E7%A1%AC%E4%BB%B6%E9%80%89%E5%9E%8B/罗孚传说记录罗孚在 AI、本地模型、地图、汽车与数字办公中的实践。面对真实问题，分享动手过程、试错经验，以及对技术和工作的独立思考。Hugo 0.167.0 & FixIt v1.0.0-alpha.3zh-CNMon, 05 May 2025 00:00:00 +0800https://rovertang.com/llm/mini-pc-server-llm/Mon, 05 May 2025 00:00:00 +0800https://rovertang.com/llm/mini-pc-server-llm/本地模型不管是小主机还是服务器，一般都无法跑超出显存或内存容量的大模型，小主机的内存肯定小于服务器内存，所以小主机基本只剩使用大模型API这一条路，不过小主机外接显卡也是一种可探讨的方案。本文还详细介绍了小主机的优点，同时也认为没有真实性价比。https://rovertang.com/llm/cpu-llm-server-failure/Sat, 08 Mar 2025 00:00:00 +0800https://rovertang.com/llm/cpu-llm-server-failure/本地模型花费一两千元使用E5 CPU搭建的纯CPU推理70B大模型服务器翻车了，CPU指令集和DDR4内存带宽是致命问题，以后对于不支持AVX512或AMX指令集的CPU还是不要考虑了吧。https://rovertang.com/llm/cpu-70b-server/Sun, 23 Feb 2025 00:00:00 +0800https://rovertang.com/llm/cpu-70b-server/本地模型通过对比服务器、小主机和工作站的优缺点，我发现一两千元搭建一台使用纯 CPU 推理 70B 大模型的服务器是完全可行的，性能不差，内存充足，总体很强大。https://rovertang.com/llm/p106-local-llm/Sat, 01 Feb 2025 00:00:00 +0800https://rovertang.com/llm/p106-local-llm/本地模型区区一百元，装块矿渣显卡就能让老电脑焕然一新，能玩黑神话，能跑大模型，不得不说P106显卡真香！