如何搭建家用 homelab: 硬件和架构

前面先导篇全面性介绍了搭建家用 homelab 软硬件的可能性，实际操作上每个人的室内环境，网络布线都不太一样，钞能力的不同也有会千万种解法。我无法给出一个 100% 的解决方案，但我给大家回顾自己设备架构演变的过程在每个阶段是什么需求，遇到什么问题以及如何应对的，在文章末尾也会给出一些搭建 homelab 中不容忽视的因素。

我的设备架构

首先声明个人设备架构并不代表这是最佳的方案，只是当前符合我要求的结果，随着需求和技术变化而迭代更新。我的梦想就是有间下图的地下室能够给我随意折腾就好了。

当时房子装修是一切从简（没有钱） 造成网络线路设计不太合理：

• 电视墙，卧室和工作室虽预埋 6 类网线但都是单根
• 弱电箱太小无法扩展，前期很多设备都堆积到电视后面
• 房子不大无法设置散热友好的独立机柜
• 房间有 WIFI 死角

新增家庭成员后原工作室改成了儿童房，部分设备又做了迁移，只能基于现有的结构进行优化和改进，以下请目睹我的血泪史。

设备架构演变

2014 ~ 2016

这个期间换了新工作上班通勤每天都较长回家也不太折腾网络，路由器是从租房时代沿用过来的网件 WGR614。电视图便宜买了当时乐视出的第一代智能电视满足打开听个响的需求结果不到半年时间系统卡成翔，以至于之后再也没考虑过 Android 系统电视，头两年为了省钱明知在北京应该用联通还是莽了北方电信，那网速真是垃圾啊。还捡了一些不太靠谱的垃圾件就不提了。

2016 ~ 2018

托工作福利政策出国旅游频次逐渐变多，拍摄的照片越来越多需要存储，2016 年从什么值得买了解后德淘了一台 HP Microserver Gen8。这是一台拥有 4 盘位，双千兆网口还带 iLO 管理功能的服务器，我却给它只安装了黑群晖算是成为了最早的 NAS 服务器设备架构，5.x 版本的群晖还不支持 Docker 算是一台单纯的 NAS 服务用来存储照片、视频、替代 Dropbox 的 Drive 服务，从上图也能看到我当时完全不了解什么是链路聚合，要不然我肯定给黑群晖接入双网口了。

路由器升级到了网件 6300v2 并刷入了 KoolCenter 定制化的梅林固件方便畅游网络，内网穿透这个时候被迫在使用，黑群晖升级后没法完全洗白之前的群晖 QuickConnect 服务被废，从联通客服申请公网 IP 后在通过 DDNS 定时上报（脚本还是糖醋鼻子提供的）。

电视更换成了索尼 4K 60 寸互联网电视，外接了一个晶晨 S912 外贸盒子安装了 Kodi 和 Youtube 成为家庭影音系统。

PS 4 应该是在某一年黑五美亚捆绑赠送了 GTA5 和最后生还者的版本。

2018 ~ 2019

2018 年我在推上吐槽梅林固件刷机太难被 anbutu 安利 openwrt 系统并赠送了一台 N270 x86 32 位双网口工控机让我了解了新领域：软路由。

黑群晖升级到了支持 Docker 的 6.x 版本，开始尝试跑一些基础服务，比如 aria2，home assistant，Adguard home 等。不知道什么时候小区会莫名其妙突然停电几分钟后再恢复，有一次硬盘被群晖的检测爆出来好多坏道，吓得我立刻买了施耐德 APC BK650 带通讯协议，接入群晖保证断电后安全关机。

2019 年初开始学习拍摄视频，采购了新的 Intel 主机在时隔 9 年后后重新学习安装黑苹果来代替年迈的 Macbook Pro 2015 款，期间不升级后续版本主要是因为 Intel 太拉，Apple 把硬件全焊死升级顶配不值得。

2020 ~ 2021

2020 年末实际上才是我正式踏入 homelab 元年，之前只是满足存储需求的 NAS 服务。

软路由升级了至 E3845 四口工控机（代号 Larva）它只承担最基础服务比如拨号，DNS 服务、屏蔽广告，DDNS 等。

交换机迷之自信选择网件 GS105 4 口非网管版，当时很多人问我为什么不选 8 口，我没有意识到后面的变化只是考虑弱电箱只能塞下 4 口。

应用服务由当时新爆出来的蜜獾超存（代号 Corruptor）矿机¹承担：6 盘位 / 双千兆网口 / J1900 CPU /8G 内存 / 64G MSATA，我主要是看中了它的机箱体积和设计，比蜗牛星际之类的好看太多。在它身上分别调研尝试下列系统：

• Debian: 直接跑 Docker 服务有点心不甘
• OMV: 最简单的 NAS 系统提供 Docker/Proxmox 内核，但任何操作都要 Apply 好久，实在没法接受
• Proxmox: 跑十几个不太吃性能系统及服务勉强可接受
• harvester: Rancher 开源的基于 k8s 提供完全集成的存储和虚拟化功能的超融合基础架构软件，万万没想到 J1900 带不动…

或许你会问为什么不利用好 Gen 8 服务器？原因是 G1610T 性能太弱带不起 ESXI 虚拟化，可升级 CPUs 比如 E3 1265L v2 之类的价格都虚高。我从一开始就把它当做纯粹的 NAS 服务器。四盘位上设置两两硬盘组成 RAID 1。一组 RAID 3T 作为照片存储，第二组 3T 是提供给蜜獾超存安装的服务提供数据存储服务，光驱位扩展一个 SSD 充当缓存盘就完事了。

经过一番折腾倔强的 J1900 扛不住压力，从咸鱼分别入了 17x17 豆希 ITX 主板，定制了 flex 电源，改了静音风扇，配上 8700es CPU，PDD 入的单条 32G 内存和酷兽 256G M2 SSD，复用蜜獾超存的机箱但它机身宽度较窄符合要求的只有利民 AXP90 x36，机箱后出风用都是酷冷的漩涡 80 静音风扇。

系统继续使用 Proxmox 设置备份还原工具²后用 VMs 跑 jellyfin, portainer, vaultwarden, uptime kuma, traefik 等监控、数据库、应用服务，存储方面酷兽 SSD 作为系统盘，闲置的 4 块硬盘组了 btrfs RAID 10，第五块做 3T 做电影、电视剧下载盘，最后一块是备用。

通过两次硬件升级淘汰的主机也都没有失去价值

• J1900 板 U 卖了也不值几个钱，干脆新套了MAXT 小机箱用于测试新的试验田捣腾其他稀奇古怪的系统、服务，并赋予新代号 Deadpool
• N270 软路由在爆发疫情初期寄给了需要的武汉朋友

2022 ~ 2023

实际上是 2022 整年的版本，后续有变化会再更新。

原计划是可以安心跑个 1 - 2 年不太可能会有什么大变化，只需要在基于 Proxmox 系统继续试验并搞定多 VMs 跑 k8s/k3s 集群后就能安心养老，两次事故打乱了我的规划。一次是升级至 64G 内存后挂了块硬盘，幸好从 RAID 移除后还能正常工作；第二次直接 All in one boom 原因是 CPU 散热风扇无法工作。在采购风扇和优化机箱风道期间给了我反思的过程，我明明是排斥 All in one 设计的结果自己主力开发机也是这样的设计，服务越多则越要保证服务可用性，那就要新添至少 1 - 2 新主机但家里真的没有更多的地方，翻阅国内外的资料目标锁定了几个目标：

• NEC M700: 6 代，魔改支持 7/8/9 代
• 树莓派 4B: 有丰富的成功案例但价格简直一个离谱³
• 荣品 king3399: RK3399 性能强但我没赶上车价格被炒上去且 2G 内存有点小

某天在闲鱼刷推荐线看到一个比荣品 king3399 更好的 EAIDK 610 RK3399 开发板 4G 内存价格才 200 出头，尝试买了两个又在 anbutu 和社区 eaidk-610 armbian-build 项目的帮助下成功编译并烧录了 armbian 系统，跑通 k3s 服务后又入了两个和 Proxmox 的 VMs 组成了 amd86 和 arm86 的混合集群。

就这上面集群测试跑通的同时 J1900 主机也完成了对 nomad 服务的试水并逐步稳定下来，后面也可以和 Proxmox VMs 组成混合集群。

内网穿透方面除了公网加端口之外多了 traefik hub 方案。作为最早一批内测用户还额外拥有更多的免费额度，现在免费版限制最大 5 个公网服务。

Gen 8 在更换新的氦气盘转移数据有大量的视频转码工作要跑 CPU 有点吃不消，闲鱼 1230v2 价格 150 收了它继续卖命，群晖需要修改才能正确识别新 U。

我的设备选择

用了很长的篇幅介绍了我的设备演变史，从文字和拓扑图大家已经了解了七七八八，为了方便理解这里会再汇总一份供大家赏阅。在软硬件的折腾方面我总能想起明城大哥。

软硬件我采用的是 thoughtworks 技术雷达 的策略把任何一个方案划分成评估、试验、采纳和暂缓 4 个阶段，因此会包含很多解决方案，标记采纳的可安心服用。

硬件

当主机出现故障需要维护时需要单独的显示器和键鼠，更好的解决方案是 IP KVM。现有方案要么仅支持树莓派 4B，要么需要两个开发板。我曾使用树莓派 3B 和 香橙派 3LTS 刷入 tinypilot 只能开启 HDMI 画面采集，无法模拟键鼠操作。

偏向底层及硬件一直是我的弱项，我想世界末日了我们这些写软件服务的都会在第一时间挂了吧，哈哈哈。

硬盘

在个人能力范围内优先级考虑：M2 SSD > SATA SSD > 氦气盘 > 非叠瓦盘，这方面我也看着大家的建议买，建议是硬盘太多做好整理，尤其是购买时间，购买渠道，购买数量，硬盘编号，保质年限，过保时间以及定期的 SMART 检测数据记录。

UPS 电源

一次电力的闪断更有可能让服务器硬件（尤其是的硬盘）就会出现故障而坏掉，保证硬件和数据的安全性 UPS 电源是必备的，优先考虑支持通讯的，因为停电虽然有 UPS 可以用电池模式继续保持运行，电池电量是有限的服务器如果知道当前的状态进行安全关机。

我只使用过施耐德 APC 带有通讯协议的 UPS 基本上可通过 apcupsd 或 NUT（绝大多数 NAS 系统比如群晖、威联通等都支持）通过该服务可以让没有直接插通讯线的设备也能过接收到通知并执行安全关机操作⁴。

软件

操作系统

性能强大的机器以 Proxmox 作为宿主机内部套 Debian 或 Armbian 来跑所需的服务或基于容器化技术的编排管理服务或容器化系统（Linux Container OS⁵）

文件系统

个人优先级选择 btrfs > ext4 > zfs > xfs。注意的是 btrfs 现阶段不建议使用 RAID 5/6，不太考虑 zfs 是组 RAID 后新增硬盘麻烦且有成本。xfs 真不了解，感兴趣的可以看下以上文件系统在 PostgreSQL 的基准测试。

对于 btrfs 我个人的看法是只有自己尝试过才知道结果，尽管 Promox 7.0 第一把 btrfs 作为技术预览的情况下发布，我也做了小白鼠使用它在将近 2 年的时间内基本正常，只有一次小故障还是因淘宝买的垃圾硬盘质量太差出现太多的坏道。btrfs 在 RAID10 最低 4 块磁盘的前提下移除掉坏盘也能过正常工作（删减都做一次 balance 即可），除此之外我并没有遇到任何问题。虽然 COW 特性会拖累磁盘 IO 现状也都能接受。

对 btrfs 感兴趣的小伙伴推荐看 @Houge 的教学视频或者 openSUSE 官方推出的入门教学视频。用过或已入门 btrfs 的可深入阅读 btrfs 与 zfs 快照实现差异，btrfs 与 xfs 对比，Five Years of Btrfs 和 BTRFS Best Practices 做到心中有数。

存储服务

存储方面之前都是 Samba、NFS 甚至只用 APF，直到 2022 年才正式开始在生产环境试验，尤其是针对 k8s 的存储我还是一个小白。

容器化管理及编排服务

Portainer 是一款新人友好的容器管理工具，至今我现在也还在用。k3s 也是最容易跨进 k8s 世界且 edge 友好的编排服务。

网关

虽然都是标记的采纳，我主要用前两个，网关首推 traefik，简单使用 caddy，前两个简单好用功能还强大我想不出来理由用第三个。

自动化部署

只要是跟操作系统打交道的 ansible + terraform 打遍天下无敌手！fluxcd 在对 k8s 服务配置和部署上确实找不出毛病，门槛有就看你能不能入门，建议在熟悉 k8s 基础概念和有一定实际部署经验后再使用。

不容忽视的因素

大量的篇幅介绍了我个人 homelab 设备架构演变和软硬件的选择，还有什么容易忽略的因素呢？

如果把设备比做核心建筑，不容忽视的因素那就是基础建设。两手都要抓这样才能以确保 homelab 能够发挥最大的效能，谁也不想性能无法 100% 压榨或意外故障的发生。

网线规格

务必保证所有 homelab 的设备都接入千兆以上有线网络，WIFI 会收到周围信道干扰、传输衰减等不稳定性问题。

再次重申 千兆以上网络是不可或缺的，最低限度使用 CAT 5E，强烈推荐使用 CAT 6/6A 规格，土豪们 CAT 7 或光纤随意。假如你不知道家里网络的状态提供两种方法检查：

1. 查看网线上面的印字会有网线规格标识
2. 过 iperf3 在两台任意可连接有线的设备充当服务器端和客户端进行检测。

1# 一台开启服务端，假设服务器 IP 是 192.168.1.100
2iperf3 -s
3
4# 一台开客户端，连接服务端进行测试
5iperf3 -c 192.168.1.100

噪音和散热

• 硬件
  • 机械硬盘读写盘的噪音（有钱就全 SSD 或等待 EDSFF E1/E3 卡民用）
  • 风扇的轴承、转速和大小也会产生噪音（CPU 散热、显卡、机箱、电源等）
  • 主板 DEBUG 蜂鸣器（有的可关闭或拆除）
• 软件
  • 群晖为保障系统稳定性默认会全盘写入系统作为 backup 若要解决噪音问题建议策略性移除
  • Linux 系统可考虑使用 lm-sensors 侦测配置
• 空间
  • 摆放位置决定噪音耐受度和散热效率

省电和功率

CPU 的待机 TPW 只是参考，还需要考虑硬盘，内存和显卡整体，还需要考虑峰值功率，这块没有太多可展开的。要考虑能效但也不过分的在意，尤其是为了降低 5 - 10w TPW 而购买溢价过高的产品，这个在前篇的小结也有提到。

小结

在 homelab 这条路上刚开始选什么硬件不重要， All in one 基本上是每个入门都会经历的，随着时间推移，就像房子需要维修、车子需要定期保养一样，服务的稳定性、数据安全性都需要关注和维护。

你可能会说我 all in one 几年了一切稳定，我只能说：没有经历过痛苦的人永远不会知道什么叫痛。

如果你觉得我的文章对你有帮助，欢迎打赏，这对我非常重要，谢谢！