自建 私有云 数据中心
其实 2020 年初就计划的了,然后咕了半年完成,最后咕到现在才发出来 ...
随着疫情开始,我的 NAS 也正好红了,数据没地方塞了 .. 3 月疫情好转的时候就赶紧动工了
首先是新的服务器,这次升级换代怎么也得是 DDR4 平台了 ...
最终选择了 Dell R730xd 的无尘下架机,搭配双路 E5-2690v3,128G 内存
多图警告 ... 按时间线拍了 100+ 张照片 ...
2020.02.08: 从深圳华强北单独网购了两颗 2690v3,比浦东便宜不少 ...
2020.02.10: 730xd 也送到了
哇,这个盖子,i 了 i 了
可以独立拆装的暴力风扇模块
8 条 三星 16G RECC DDR4
整台机子
拆下散热器
装上 CPU
系统盘也到了
Intel S3710 400G SSD x2
装上盘架
一次点亮
进 BIOS 康康 ···
数据盘,用了亚马逊上的 WD 12T 车
拆盘,12T 5400转 氦气盘
全部拆出来 ..
上盘架
2020.09.11: 闲着无聊拆了张矿卡洗洗 ...
洗去灰尘和油污
开始组装
之前用剩的导热贴
贴上
装回散热模块
完成
刚好可以塞进服务器,GTX1080Ti
2020.02.12: Intel XL710 双口 40G QSFP 网卡也到了
插上服务器
用作缓存的 三星 PM953 960G,收了 6 片
m.2 拆分卡,疫情期间库存不够,剩下的要等一个月 ...
装上 22110 的 m.2 ssd 刚刚好
2020.02.13: 交换机也到了
一台万兆光口,一台千兆电口,都是思科的
2020.02.16: 差不多了 ... 等待板房材料交付 ...
2020.02.17: 两年没见我女装照了¿ ... 那就 .. 一张 ...(太麻烦了,而且小裙子好贵的 ...
2020.02.18: 闲鱼收的模块和光纤线也到了 ... (试试网卡
console 线也到了,顺便测测交换机
2020.02.20: 闲鱼收的其他模块也到了
把插口全测了一遍
2020.02.24: 各种线材 .. 服务器临时在房间跑起来了
闲鱼收的机打六类线(据说工程剩余),¥6 一条质量挺不错的
2020.02.27: 另外两片终于送来了
刚好插满
定做的板房的材料也终于送来了
搬了一个下午,终于能开工了 ... (巨重 ...
就选定这个位置了,这边城中村环境不太行,家里根本放不了服务器 ... (灰尘、油烟之类的 ..
按说明打孔组装 ..
工具也不太齐全,去找了一下午工具,今晚成果:装好了框架 ...
顺带拍了张旧阵列情况 ...
2020.02.28: 亚马逊买的 网件 MS510TX 万兆交换机 也到了
开箱
这个电源线 ... 不过好在背部的插口是通用的,换个国标线就好了
金属外壳,挺有质感的 ...
回到楼顶,继续组装板房 ...
塞上彩钢板
疫情期间 ... 没有施工队,都是我爸在装 ...
夕阳出来了,还剩下门口那块 ...
今日成果,墙装好了
2020.02.29: 继续组装,今天是房顶 .. 机柜也送到了(楼梯空间不够,200斤 .. 搬了好久 ...
打防水胶和固定螺丝,今日成果:房顶+机柜 ...
2020.03.01: 开始装地板
木板铺上锌皮
把机柜搬进去了,开始装线槽
2020.03.02: 空调和电缆送到了
拉线
插座
2020.03.03: 米家服务团队上门安装门锁
装好效果
光缆也送来了
空调也装好了,不过没电 ...
2020.03.04: 电箱终于送来了,继续接线
完成效果
2020.03.05: 服务器导轨送到
2020.03.08: 咕了几天,服务器上架 ...
摄像头也送到了
2020.03.10: 安装摄像头
免维护蓄电池也送到了(发的物流,要自己到白云区物流园拉回来 ...
装好电池柜
除湿机也在今天到了
2020.03.11: 之前的网线钳还在宿舍 .. 买了个更好的开始布线
临时线路 ... vlan 还没规划 ... 把监控部署好了
2020.03.13: 移动上门装线,受限于 USB 网卡,实际是 1000M 商宽 ..
2020.03.16: 收拾了下位置,UPS 也装好了
临时的交换机撤掉了
2020.04.12: 收了台 Juniper SRX340 当路由器
2020.04.15: 心血来潮上去插了线 ...
2020.05.04: 给妈妈扎了个双马尾 ... (太草了 ...
2020.06.03: 做缓存的 Intel 900P 也到了
2020.06.16: 终于有空上来配路由了 ... (尝试 ...
2020.06.17: 部分 ISP 线路迁到机房了
2020.06.20: 啃了很久的 Juniper 文档,终于配好了 ... (并发现 SRX340 聚合最多只能 5 千兆口,5 Gbps
2020.07.23: 长城宽带 1000M 装机
已经有 4 条线路直接拉到机房了 ...
2020.07.28: 测了很久的阵列方案,最终决定还是用回 Windows Server 比较稳定方便
Hyper-V 还是挺好用的 ..
至此,“楼顶机房”终于全部折腾完了 ...
咕了好久,期间也有不少事情没拍照的,就不发了 ...
R730xd 双路 E5-2690v3 24核 48线程 128G,H730P 阵列卡,组了 54.5 TB 新阵列,5 线 ISP 接入
电信家宽 200M、电信 cn2(游戏宽带)200M,假的联通 100M,移动商宽 1000M、长城宽带 1000M
主路由器 Juniper SRX340
万兆交换机 Cisco N3K-C3064PQ-10GX
其他交换机 Cisco WS-C4948E-F、NETGEAR MS510TX
机房到楼下有 100 Gbps 的总带宽(方便拉文件),全硬路由,全面部署了万兆内网,Wifi 6 覆盖
用了 EliteBytes MaxVeloSSD 这个软件做缓存,不过这机翻的中文界面也太诡异了 .. 还不如显示 English ...
系统盘 Intel S3710 400G SSD x2
数据盘 WD 12T 5400转 氦气盘 x6
缓存盘 Intel 900P 280G + 三星 PM953 960G x6
远程顺序读取能到 5000 MB/s(缓存),网络不支持 RDMA 4K 上不去 ... (单机械阵列循序读也有 2000 MB/s
另外小板房配有 空调、新风机、除湿机、智能门锁、四路监控,全部入网远程控制 ...
其他模块还有 烟雾传感器、温湿度传感器、动静贴,照明也接入米家了
机柜网络设备和主服务器有 UPS 应急电源,8 x 100Ah 蓄电池 ...
不红了,舒服了 ...
我去,up太牛比了(
不过up在广州 房顶是怎么防漏水的,那么多东西功率应该也相当高吧(
其实还好,两条缝隙涂的白色那个就是防水胶,几年过去确实有点漏了,有空上去补下 ...
功率的确会比普通家用组网高不少,整套下来常年近 1000w 负载(没算空调) ...