FGHRSH 的博客

Please wait...

自建 私有云 数据中心

其实 2020 年初就计划的了,然后咕了半年完成,最后咕到现在才发出来 ...

随着疫情开始,我的 NAS 也正好红了,数据没地方塞了 ..  3 月疫情好转的时候就赶紧动工了


首先是新的服务器,这次升级换代怎么也得是 DDR4 平台了 ...

最终选择了 Dell R730xd 的无尘下架机,搭配双路 E5-2690v3,128G 内存


多图警告 ...  按时间线拍了 100+ 张照片 ...


IMG_20200208_133823_副本.jpg

2020.02.08: 从深圳华强北单独网购了两颗 2690v3,比浦东便宜不少 ...


2020.02.10: 730xd 也送到了


IMG_20200210_130807_副本.jpg

哇,这个盖子,i 了 i 了


IMG_20200210_130914_副本.jpg

可以独立拆装的暴力风扇模块


IMG_20200210_131500_副本.jpg

8 条 三星 16G RECC DDR4


IMG_20200210_132045_副本.jpg

整台机子


IMG_20200210_132428_副本.jpg

拆下散热器


IMG_20200210_132732_副本.jpg

装上 CPU


IMG_20200210_140118_副本.jpg

系统盘也到了


IMG_20200210_140852_副本.jpg

Intel S3710 400G SSD x2


IMG_20200210_141305_副本.jpg

装上盘架


IMG_20200210_145631_副本.jpg

一次点亮


IMG_20200210_145959_副本.jpg

进 BIOS 康康 ···


IMG_20200210_232017_副本.jpg

数据盘,用了亚马逊上的 WD 12T 车


IMG_20200210_191544_副本.jpg

IMG_20200210_192524_副本.jpg拆盘,12T 5400转 氦气盘


IMG_20200210_235649_副本.jpg

全部拆出来 ..


IMG_20200210_193447_1_副本.jpg

上盘架


2020.09.11: 闲着无聊拆了张矿卡洗洗 ...


IMG_20200211_040819_副本.jpg

洗去灰尘和油污


IMG_20200211_054855_副本.jpg

开始组装


IMG_20200211_055139_副本.jpg

之前用剩的导热贴


IMG_20200211_055454_1_副本.jpg

贴上


IMG_20200211_065500_副本.jpg

装回散热模块


IMG_20200211_070438_副本.jpg

完成


IMG_20200211_072215_1_副本.jpg

刚好可以塞进服务器,GTX1080Ti


IMG_20200212_114420_副本.jpg

2020.02.12: Intel XL710 双口 40G QSFP 网卡也到了


IMG_20200212_115125_副本.jpg

插上服务器


IMG_20200212_123321_副本.jpg

用作缓存的 三星 PM953 960G,收了 6 片


IMG_20200212_233913_副本.jpg

m.2 拆分卡,疫情期间库存不够,剩下的要等一个月 ...


IMG_20200212_234647_副本.jpg

装上 22110 的 m.2 ssd 刚刚好


IMG_20200213_163908_副本.jpg

2020.02.13: 交换机也到了


IMG_20200213_164556_副本.jpg

一台万兆光口,一台千兆电口,都是思科的


IMG_20200216_231017_副本.jpg

2020.02.16: 差不多了 ...  等待板房材料交付 ...


IMG_20200217_155305_副本.jpg

2020.02.17: 两年没见我女装照了¿ ...  那就 .. 一张 ...(太麻烦了,而且小裙子好贵的 ... 


IMG_20200218_110226_副本.jpg

2020.02.18: 闲鱼收的模块和光纤线也到了 ... (试试网卡


IMG_20200218_155542_副本.jpg

console 线也到了,顺便测测交换机


IMG_20200220_121511_副本.jpg

2020.02.20: 闲鱼收的其他模块也到了


IMG_20200220_122208_副本.jpg

把插口全测了一遍


IMG_20200224_084321_副本.jpg

2020.02.24: 各种线材 ..  服务器临时在房间跑起来了


IMG_20200225_164652_副本.jpg

闲鱼收的机打六类线(据说工程剩余),¥6 一条质量挺不错的


IMG_20200227_095246_副本.jpg

2020.02.27: 另外两片终于送来了


IMG_20200227_101600_副本.jpg

刚好插满


IMG_20200227_173949_副本.jpg

定做的板房的材料也终于送来了


IMG_20200227_173953_副本.jpg

搬了一个下午,终于能开工了 ... (巨重 ...


IMG_20200227_173959_副本.jpg

就选定这个位置了,这边城中村环境不太行,家里根本放不了服务器 ... (灰尘、油烟之类的 ..


IMG_20200227_174003_副本.jpg

按说明打孔组装 ..


IMG_20200227_203413_副本.jpg

工具也不太齐全,去找了一下午工具,今晚成果:装好了框架 ...


IMG_20200227_211922_副本.jpg

顺带拍了张旧阵列情况 ...


IMG_20200228_105837_副本.jpg

2020.02.28: 亚马逊买的 网件 MS510TX 万兆交换机 也到了


IMG_20200228_110027_副本.jpg

开箱


IMG_20200228_110103_副本.jpg

这个电源线 ... 不过好在背部的插口是通用的,换个国标线就好了


IMG_20200228_110308_副本.jpg

金属外壳,挺有质感的 ...


IMG_20200228_151139_副本.jpg

回到楼顶,继续组装板房 ...


IMG_20200228_165344_1_副本.jpg

塞上彩钢板


IMG_20200228_165722_副本.jpg

疫情期间 ...  没有施工队,都是我爸在装 ...


IMG_20200228_173345_副本.jpg

IMG_20200228_173420_副本.jpg

夕阳出来了,还剩下门口那块 ...


IMG_20200228_181321_副本.jpg

今日成果,墙装好了


IMG_20200229_160331_副本.jpg

2020.02.29: 继续组装,今天是房顶 ..  机柜也送到了(楼梯空间不够,200斤 .. 搬了好久 ...


IMG_20200229_171931_副本.jpg

打防水胶和固定螺丝,今日成果:房顶+机柜 ...


IMG_20200301_145551_副本.jpg

2020.03.01: 开始装地板


IMG_20200301_172652_副本.jpg

木板铺上锌皮


IMG_20200301_184914_副本.jpg

把机柜搬进去了,开始装线槽


IMG_20200302_144600_副本.jpg

2020.03.02: 空调和电缆送到了


IMG_20200302_155249_副本.jpg

IMG_20200302_170154_副本.jpg拉线


IMG_20200302_171552_副本.jpg

插座


IMG_20200303_114221_副本.jpg

2020.03.03: 米家服务团队上门安装门锁


IMG_20200303_175144_副本.jpg

装好效果


光缆也送来了


IMG_20200303_180128_副本.jpg

空调也装好了,不过没电 ...


IMG_20200304_150647_副本.jpg

2020.03.04: 电箱终于送来了,继续接线


IMG_20200304_163157_副本.jpg

完成效果


2020.03.05: 服务器导轨送到


IMG_20200308_120516_副本.jpg

2020.03.08: 咕了几天,服务器上架 ...


IMG_20200308_161147_副本.jpg

摄像头也送到了


1599750497445_副本.jpg
2020.03.10: 安装摄像头


1599750640045_副本.jpg

免维护蓄电池也送到了(发的物流,要自己到白云区物流园拉回来 ...


装好电池柜


1599750639997_副本.jpg

除湿机也在今天到了


1599750978949_副本.jpg

2020.03.11: 之前的网线钳还在宿舍 ..  买了个更好的开始布线


1599750990774_副本.jpg

1599751031491_副本.jpg

临时线路 ... vlan 还没规划 ...  把监控部署好了


1599751403753_副本.jpg

2020.03.13: 移动上门装线,受限于 USB 网卡,实际是 1000M 商宽 ..


1599751574179_副本.jpg

2020.03.16: 收拾了下位置,UPS 也装好了


1599751593530_副本.jpg

临时的交换机撤掉了


1599751794031_副本.jpg

2020.04.12: 收了台 Juniper SRX340 当路由器


1599751902794_副本.jpg

2020.04.15: 心血来潮上去插了线 ...


1599752051316.jpg

2020.05.04: 给妈妈扎了个双马尾 ... (太草了 ...


2020.06.03: 做缓存的 Intel 900P 也到了


1599752194053_副本.jpg

2020.06.16: 终于有空上来配路由了 ...  (尝试 ...


1599752345809_副本.jpg

2020.06.17: 部分 ISP 线路迁到机房了


1599752445772_副本.jpg

2020.06.20: 啃了很久的 Juniper 文档,终于配好了 ... (并发现 SRX340 聚合最多只能 5 千兆口,5 Gbps


1599752601568_副本.jpg

2020.07.23: 长城宽带 1000M 装机


1599752610084_副本.jpg

已经有 4 条线路直接拉到机房了 ...


无标题4.png

2020.07.28: 测了很久的阵列方案,最终决定还是用回 Windows Server 比较稳定方便


Snipaste_2020-09-11_00-05-21.png

Hyper-V 还是挺好用的 ..



至此,“楼顶机房”终于全部折腾完了 ...

咕了好久,期间也有不少事情没拍照的,就不发了 ...


R730xd 双路 E5-2690v3 24核 48线程 128G,H730P 阵列卡,组了 54.5 TB 新阵列,5 线 ISP 接入

电信家宽 200M、电信 cn2(游戏宽带)200M,假的联通 100M,移动商宽 1000M、长城宽带 1000M


主路由器 Juniper SRX340

万兆交换机 Cisco N3K-C3064PQ-10GX

其他交换机 Cisco WS-C4948E-F、NETGEAR MS510TX


机房到楼下有 100 Gbps 的总带宽(方便拉文件),全硬路由,全面部署了万兆内网,Wifi 6 覆盖


Snipaste_2020-09-11_00-29-57.png

用了 EliteBytes MaxVeloSSD 这个软件做缓存,不过这机翻的中文界面也太诡异了 ..  还不如显示 English ...


系统盘 Intel S3710 400G SSD x2

数据盘 WD 12T 5400转 氦气盘 x6

缓存盘 Intel 900P 280G + 三星 PM953 960G x6


远程顺序读取能到 5000 MB/s(缓存),网络不支持 RDMA 4K 上不去 ... (单机械阵列循序读也有 2000 MB/s


IMG_20200911_020436.jpg

另外小板房配有 空调、新风机、除湿机、智能门锁、四路监控,全部入网远程控制 ...

其他模块还有 烟雾传感器、温湿度传感器、动静贴,照明也接入米家了

机柜网络设备和主服务器有 UPS 应急电源,8 x 100Ah 蓄电池 ...


Snipaste_2020-09-11_00-34-01.png

不红了,舒服了 ...



本文标题:自建 私有云 数据中心
本文链接:https://www.fghrsh.net/post/190.html
作者授权:除特别说明外,本文由 fghrsh 原创编译并授权 FGHRSH 的博客 刊载发布。
版权声明:本文使用「署名-非商业性使用-相同方式共享 4.0 国际」创作共享协议,转载或使用请遵守署名协议。

网友评论50

  1. Fareeha 2022-10-04 17:10:48 回复

    第78張圖片『2020.03.04: 電箱終於送來了,繼續接線』
    想知道一下為什麼RCBO要用50ma的呢?
    然後有幾個小問題
    1.圖片下方有2個匯流排,其中右邊的匯流排是與配電箱體有電氣聯結的接地排,看圖裡面你好像是把他們和電錶出線N接到一起了,這個是不正確的,應該由零線返回的電流由地線流走,電流不平衡,可能引發上級RCD動作。同時如果發生斷零事故,配電箱體乃至整個鐵皮房都會帶電,非常危險
    2.同樣RCBO是C100,圖上看電錶出線太細了,不能承載100A
    (根據NEC,1AWG-110A,2AWG95A,3AWG85A)
    3.看你圖片裡面RCBO是C100然後電錶5(80),有燒電錶的可能
    4.除TT系統外,SPD前建議安裝一個SCB而不是RCD
    5.圖上看地線太細了,會削弱SPD的作用
    6.絞線建議在進入端子前先壓接

  1. HelloLin 2022-08-05 09:50:58 回复

    我想知道这一套建下来,花费多少啊

  1. 南梦宫 2022-06-16 17:08:17 回复

    十年之约穿梭而来。
    太牛了,不过电费的确上天了,不知道老哥平时承载了什么业务,搞这么牛。
    我19年的时候也搞了一套,后来也慢慢升级,安装了施耐德家的pdu,ups,环境监控啥的,但是后来越来越觉得用不到,入不敷出,也学不到新东西了。
    上个月最终买了一台群晖1821+彻底解决了文件存储问题,其他的全部下架了,有啥需要提前预约一下用学校机器就好

  1. 帮顺 2022-04-03 16:34:21 回复

    我滴个乖乖,你这把机房搞到自己家了

  1. jaychen 2022-03-26 10:03:36 回复

    这防火墙做的路由性能行吗,连接数多了会不会炸了。

    1. fghrsh 2022-04-04 19:01:31 回复

      比 openwrt 之类的软路由稳定很多,5 线策略路由完全没问题,pt 都能跑满带宽

  1. 7Wate 2022-02-25 10:59:47 回复

    我……
    膜拜……

  1. 季悠然 2021-09-04 09:27:03 回复

    给大佬镇住了qaq

  1. 懒得 2021-07-25 21:09:57 回复

    膜拜中,CPU比浦东便宜?好奇大佬哪买的?有链接吗?

    1. fghrsh 2021-08-14 22:26:35 回复

      某宝深圳商家,价格都是动态的 .. 你可以查查有没有

  1. TRUE3494063625 2021-07-20 17:51:49 回复

    大佬,配置起来多少钱??

  1. 明天 2021-05-02 10:13:17 回复

    其实整个室外机柜不就好了,带动力仓。

  1. deepblue 2021-04-16 00:36:01 回复

    大佬,ups方案能提供一下嘛?

    1. fghrsh 2021-04-18 22:02:46 回复

      华为 2000-A-3KTTL + 8x 12V 100Ah 电池串联成的 96V 电池柜 ...

  1. Tom 2021-03-10 21:56:54 回复

    膜拜大佬,想知道阵列用的是windows 储存池吗?

    1. fghrsh 2021-04-14 20:51:25 回复

      SSD 是,HDD 的话用的硬阵列卡 ...

  1. 小白 2021-02-12 11:52:51 回复

    xmsl
    我目前就一台双x56的服务器丢在厨房
    可能等我以后安定了也会上专业化的私有云吧
    文章我收藏了,作为我以后搭建的参考
    yysy,黑丝是真滴不错!

  1. ljc11233 2020-11-25 13:55:18 回复

    大佬能给个博客的模板吗?在自学html5+css3,很喜欢这里的看板娘和音乐播放器的模块。

    1. fghrsh 2020-12-03 20:41:53 回复

      这里的 https://app.zblogcn.com/?id=254 ...

  1. 小生 2020-11-23 11:07:07 回复

    第一次见大佬,牛叉啊,羡慕的一批啊

  1. 胡家小子 2020-11-22 11:07:46 回复

    我很好奇都存了些啥数据 需要这么大的数据盘

  1. 左邻 2020-11-04 20:03:08 回复

    博主是在哪买的服务器,有链接吗?

    1. fghrsh 2020-12-03 23:15:07 回复

      某宝 浦东服务器 ...

  1. MoeDev 2020-10-25 21:09:16 回复

    真好啊...dalao带天井的房子月租大约多少哇,人在徐汇,也想租个房子放机柜qwq
    话说上海电信不肯给公网IP呢,大佬用的是内网穿透?

    1. fghrsh 2020-12-03 23:17:45 回复

      咦,广州电信有公网 ... 楼顶的话是城中村宅基地 ...

  1. 无路赛 2020-10-23 18:50:15 回复

    膜神壕

  1. Rostiue 2020-10-23 18:34:02 回复

    我居然给看完了

  1. colala 2020-10-20 11:19:12 回复

    博主的机房方案很也太好看了
    emmm 打算装的服务器 大概是博主的超低配版本 c612 泰安s7083 E5 2630L v3 2个 图个省电 三星16g 2133p *4 64G 硬盘是 一个好多年前买的dc s3700,加一堆乱七八糟的盘 (以后收打算收sas)

  1. 萌墨 2020-10-11 11:56:45 回复

    那个黑丝给我看石更了

  1. 援军 2020-10-10 17:51:04 回复

    什么时候让大家康康你红了的盘里面是啥啊 (搓手

  1. FreezingTiny 2020-09-26 16:25:49 回复

    fo了fo了,大佬真是钞能力

  1. Asanatsa 2020-09-22 22:23:24 回复

    贫穷限制了我的想象😂😂😂

  1. Asanatsa 2020-09-22 22:22:16 回复

    这怕不是矿里建个了家吧

  1. Gaein_nidb 2020-09-21 13:22:21 回复

    真的是钞能力!
    R620爬了,还在发愁放家里没公网用不到呜呜呜

  1. 蒋慕思 2020-09-20 15:48:05 回复

    支持小哥哥,你的这个博客网站是我很喜欢的

  1. 葫芦娃 2020-09-13 22:39:21 回复

    好奇问下,咁样整个机房,全程造价要几钱

  1. kn007 2020-09-13 20:58:46 回复

    可以可以,帅

  1. 维维菌 2020-09-11 11:42:17 回复

    我就喜欢那个腿,给我看硬了,草你的。

  1. 爆胎 2020-09-11 11:21:25 回复

    我擦,牛比,什么家庭啊这是

  1. blackwhite 2020-09-11 10:59:36 回复

    很好奇大佬公网的问题是怎么解决的,直接就有? 我是用了第三方硬件穿透内网 速度感人

    1. fghrsh 2020-09-11 17:27:35 回复

      穿透的话,例如 长城宽带 到 腾讯云 可以跑满 1000M 对等,然后起个 frp ...

    1. fghrsh 2020-09-11 17:25:35 回复

      这边只有电信有公网,其他只是用来策略路由的 ..

  1. blackwhite 2020-09-11 10:07:52 回复

    54t tql 我也就弟弟级别的8t....

  1. NY 2020-09-11 08:55:33 回复

    这机房功耗得有多大啊?

    1. fghrsh 2020-09-11 17:29:27 回复

      机柜 1000w 左右,空调那堆大概还要 1000w,不过自建还是比外面租划算多了 ...

  1. obaby 2020-09-11 07:54:20 回复

    这个厉害~~~佩服

  1. ggbang 2020-09-11 07:41:47 回复

    钞能力,羡慕了

    1. 蒋慕思 2020-09-20 15:46:25 回复

      支持小哥哥,你的这个博客网站是我很喜欢的

  1. Light 2020-09-11 04:52:47 回复

    说说吧,你家是有矿吗?

  1. Koreti 2020-09-11 01:10:54 回复

    这就是机房大佬吗?爱了爱了

发表我的评论

Hi,您需要填写昵称和邮箱!

  • 必填项