FGHRSH 的博客

Please wait...

自建 私有云 数据中心

其实 2020 年初就计划的了,然后咕了半年完成,最后咕到现在才发出来 ...

随着疫情开始,我的 NAS 也正好红了,数据没地方塞了 ..  3 月疫情好转的时候就赶紧动工了


首先是新的服务器,这次升级换代怎么也得是 DDR4 平台了 ...

最终选择了 Dell R730xd 的无尘下架机,搭配双路 E5-2690v3,128G 内存


多图警告 ...  按时间线拍了 100+ 张照片 ...


IMG_20200208_133823_副本.jpg

2020.02.08: 从深圳华强北单独网购了两颗 2690v3,比浦东便宜不少 ...


2020.02.10: 730xd 也送到了


IMG_20200210_130807_副本.jpg

哇,这个盖子,i 了 i 了


IMG_20200210_130914_副本.jpg

可以独立拆装的暴力风扇模块


IMG_20200210_131500_副本.jpg

8 条 三星 16G RECC DDR4


IMG_20200210_132045_副本.jpg

整台机子


IMG_20200210_132428_副本.jpg

拆下散热器


IMG_20200210_132732_副本.jpg

装上 CPU


IMG_20200210_140118_副本.jpg

系统盘也到了


IMG_20200210_140852_副本.jpg

Intel S3710 400G SSD x2


IMG_20200210_141305_副本.jpg

装上盘架


IMG_20200210_145631_副本.jpg

一次点亮


IMG_20200210_145959_副本.jpg

进 BIOS 康康 ···


IMG_20200210_232017_副本.jpg

数据盘,用了亚马逊上的 WD 12T 车


IMG_20200210_191544_副本.jpg

IMG_20200210_192524_副本.jpg拆盘,12T 5400转 氦气盘


IMG_20200210_235649_副本.jpg

全部拆出来 ..


IMG_20200210_193447_1_副本.jpg

上盘架


2020.09.11: 闲着无聊拆了张矿卡洗洗 ...


IMG_20200211_040819_副本.jpg

洗去灰尘和油污


IMG_20200211_054855_副本.jpg

开始组装


IMG_20200211_055139_副本.jpg

之前用剩的导热贴


IMG_20200211_055454_1_副本.jpg

贴上


IMG_20200211_065500_副本.jpg

装回散热模块


IMG_20200211_070438_副本.jpg

完成


IMG_20200211_072215_1_副本.jpg

刚好可以塞进服务器,GTX1080Ti


IMG_20200212_114420_副本.jpg

2020.02.12: Intel XL710 双口 40G QSFP 网卡也到了


IMG_20200212_115125_副本.jpg

插上服务器


IMG_20200212_123321_副本.jpg

用作缓存的 三星 PM953 960G,收了 6 片


IMG_20200212_233913_副本.jpg

m.2 拆分卡,疫情期间库存不够,剩下的要等一个月 ...


IMG_20200212_234647_副本.jpg

装上 22110 的 m.2 ssd 刚刚好


IMG_20200213_163908_副本.jpg

2020.02.13: 交换机也到了


IMG_20200213_164556_副本.jpg

一台万兆光口,一台千兆电口,都是思科的


IMG_20200216_231017_副本.jpg

2020.02.16: 差不多了 ...  等待板房材料交付 ...


IMG_20200217_155305_副本.jpg

2020.02.17: 两年没见我女装照了¿ ...  那就 .. 一张 ...(太麻烦了,而且小裙子好贵的 ... 


IMG_20200218_110226_副本.jpg

2020.02.18: 闲鱼收的模块和光纤线也到了 ... (试试网卡


IMG_20200218_155542_副本.jpg

console 线也到了,顺便测测交换机


IMG_20200220_121511_副本.jpg

2020.02.20: 闲鱼收的其他模块也到了


IMG_20200220_122208_副本.jpg

把插口全测了一遍


IMG_20200224_084321_副本.jpg

2020.02.24: 各种线材 ..  服务器临时在房间跑起来了


IMG_20200225_164652_副本.jpg

闲鱼收的机打六类线(据说工程剩余),¥6 一条质量挺不错的


IMG_20200227_095246_副本.jpg

2020.02.27: 另外两片终于送来了


IMG_20200227_101600_副本.jpg

刚好插满


IMG_20200227_173949_副本.jpg

定做的板房的材料也终于送来了


IMG_20200227_173953_副本.jpg

搬了一个下午,终于能开工了 ... (巨重 ...


IMG_20200227_173959_副本.jpg

就选定这个位置了,这边城中村环境不太行,家里根本放不了服务器 ... (灰尘、油烟之类的 ..


IMG_20200227_174003_副本.jpg

按说明打孔组装 ..


IMG_20200227_203413_副本.jpg

工具也不太齐全,去找了一下午工具,今晚成果:装好了框架 ...


IMG_20200227_211922_副本.jpg

顺带拍了张旧阵列情况 ...


IMG_20200228_105837_副本.jpg

2020.02.28: 亚马逊买的 网件 MS510TX 万兆交换机 也到了


IMG_20200228_110027_副本.jpg

开箱


IMG_20200228_110103_副本.jpg

这个电源线 ... 不过好在背部的插口是通用的,换个国标线就好了


IMG_20200228_110308_副本.jpg

金属外壳,挺有质感的 ...


IMG_20200228_151139_副本.jpg

回到楼顶,继续组装板房 ...


IMG_20200228_165344_1_副本.jpg

塞上彩钢板


IMG_20200228_165722_副本.jpg

疫情期间 ...  没有施工队,都是我爸在装 ...


IMG_20200228_173345_副本.jpg

IMG_20200228_173420_副本.jpg

夕阳出来了,还剩下门口那块 ...


IMG_20200228_181321_副本.jpg

今日成果,墙装好了


IMG_20200229_160331_副本.jpg

2020.02.29: 继续组装,今天是房顶 ..  机柜也送到了(楼梯空间不够,200斤 .. 搬了好久 ...


IMG_20200229_171931_副本.jpg

打防水胶和固定螺丝,今日成果:房顶+机柜 ...


IMG_20200301_145551_副本.jpg

2020.03.01: 开始装地板


IMG_20200301_172652_副本.jpg

木板铺上锌皮


IMG_20200301_184914_副本.jpg

把机柜搬进去了,开始装线槽


IMG_20200302_144600_副本.jpg

2020.03.02: 空调和电缆送到了


IMG_20200302_155249_副本.jpg

IMG_20200302_170154_副本.jpg拉线


IMG_20200302_171552_副本.jpg

插座


IMG_20200303_114221_副本.jpg

2020.03.03: 米家服务团队上门安装门锁


IMG_20200303_175144_副本.jpg

装好效果


光缆也送来了


IMG_20200303_180128_副本.jpg

空调也装好了,不过没电 ...


IMG_20200304_150647_副本.jpg

2020.03.04: 电箱终于送来了,继续接线


IMG_20200304_163157_副本.jpg

完成效果


2020.03.05: 服务器导轨送到


IMG_20200308_120516_副本.jpg

2020.03.08: 咕了几天,服务器上架 ...


IMG_20200308_161147_副本.jpg

摄像头也送到了


1599750497445_副本.jpg
2020.03.10: 安装摄像头


1599750640045_副本.jpg

免维护蓄电池也送到了(发的物流,要自己到白云区物流园拉回来 ...


装好电池柜


1599750639997_副本.jpg

除湿机也在今天到了


1599750978949_副本.jpg

2020.03.11: 之前的网线钳还在宿舍 ..  买了个更好的开始布线


1599750990774_副本.jpg

1599751031491_副本.jpg

临时线路 ... vlan 还没规划 ...  把监控部署好了


1599751403753_副本.jpg

2020.03.13: 移动上门装线,受限于 USB 网卡,实际是 1000M 商宽 ..


1599751574179_副本.jpg

2020.03.16: 收拾了下位置,UPS 也装好了


1599751593530_副本.jpg

临时的交换机撤掉了


1599751794031_副本.jpg

2020.04.12: 收了台 Juniper SRX340 当路由器


1599751902794_副本.jpg

2020.04.15: 心血来潮上去插了线 ...


1599752051316.jpg

2020.05.04: 给妈妈扎了个双马尾 ... (太草了 ...


2020.06.03: 做缓存的 Intel 900P 也到了


1599752194053_副本.jpg

2020.06.16: 终于有空上来配路由了 ...  (尝试 ...


1599752345809_副本.jpg

2020.06.17: 部分 ISP 线路迁到机房了


1599752445772_副本.jpg

2020.06.20: 啃了很久的 Juniper 文档,终于配好了 ... (并发现 SRX340 聚合最多只能 5 千兆口,5 Gbps


1599752601568_副本.jpg

2020.07.23: 长城宽带 1000M 装机


1599752610084_副本.jpg

已经有 4 条线路直接拉到机房了 ...


无标题4.png

2020.07.28: 测了很久的阵列方案,最终决定还是用回 Windows Server 比较稳定方便


Snipaste_2020-09-11_00-05-21.png

Hyper-V 还是挺好用的 ..



至此,“楼顶机房”终于全部折腾完了 ...

咕了好久,期间也有不少事情没拍照的,就不发了 ...


R730xd 双路 E5-2690v3 24核 48线程 128G,H730P 阵列卡,组了 54.5 TB 新阵列,5 线 ISP 接入

电信家宽 200M、电信 cn2(游戏宽带)200M,假的联通 100M,移动商宽 1000M、长城宽带 1000M


主路由器 Juniper SRX340

万兆交换机 Cisco N3K-C3064PQ-10GX

其他交换机 Cisco WS-C4948E-F、NETGEAR MS510TX


机房到楼下有 100 Gbps 的总带宽(方便拉文件),全硬路由,全面部署了万兆内网,Wifi 6 覆盖


Snipaste_2020-09-11_00-29-57.png

用了 EliteBytes MaxVeloSSD 这个软件做缓存,不过这机翻的中文界面也太诡异了 ..  还不如显示 English ...


系统盘 Intel S3710 400G SSD x2

数据盘 WD 12T 5400转 氦气盘 x6

缓存盘 Intel 900P 280G + 三星 PM953 960G x6


远程顺序读取能到 5000 MB/s(缓存),网络不支持 RDMA 4K 上不去 ... (单机械阵列循序读也有 2000 MB/s


IMG_20200911_020436.jpg

另外小板房配有 空调、新风机、除湿机、智能门锁、四路监控,全部入网远程控制 ...

其他模块还有 烟雾传感器、温湿度传感器、动静贴,照明也接入米家了

机柜网络设备和主服务器有 UPS 应急电源,8 x 100Ah 蓄电池 ...


Snipaste_2020-09-11_00-34-01.png

不红了,舒服了 ...



本文标题:自建 私有云 数据中心
本文链接:https://www.fghrsh.net/post/190.html
作者授权:除特别说明外,本文由 fghrsh 原创编译并授权 FGHRSH 的博客 刊载发布。
版权声明:本文使用「署名-非商业性使用-相同方式共享 4.0 国际」创作共享协议,转载或使用请遵守署名协议。

网友评论14

  1. 葫芦娃 2020-09-13 22:39:21 回复

    好奇问下,咁样整个机房,全程造价要几钱

  1. kn007 2020-09-13 20:58:46 回复

    可以可以,帅

  1. 维维菌 2020-09-11 11:42:17 回复

    我就喜欢那个腿,给我看硬了,草你的。

  1. 爆胎 2020-09-11 11:21:25 回复

    我擦,牛比,什么家庭啊这是

  1. blackwhite 2020-09-11 10:59:36 回复

    很好奇大佬公网的问题是怎么解决的,直接就有? 我是用了第三方硬件穿透内网 速度感人

    1. fghrsh 2020-09-11 17:27:35 回复

      穿透的话,例如 长城宽带 到 腾讯云 可以跑满 1000M 对等,然后起个 frp ...

    1. fghrsh 2020-09-11 17:25:35 回复

      这边只有电信有公网,其他只是用来策略路由的 ..

  1. blackwhite 2020-09-11 10:07:52 回复

    54t tql 我也就弟弟级别的8t....

  1. NY 2020-09-11 08:55:33 回复

    这机房功耗得有多大啊?

    1. fghrsh 2020-09-11 17:29:27 回复

      机柜 1000w 左右,空调那堆大概还要 1000w,不过自建还是比外面租划算多了 ...

  1. obaby 2020-09-11 07:54:20 回复

    这个厉害~~~佩服

  1. ggbang 2020-09-11 07:41:47 回复

    钞能力,羡慕了

  1. Light 2020-09-11 04:52:47 回复

    说说吧,你家是有矿吗?

  1. Koreti 2020-09-11 01:10:54 回复

    这就是机房大佬吗?爱了爱了

发表我的评论

Hi,您需要填写昵称和邮箱!

  • 必填项
00:00 / 00:00
顺序播放