养殖 - 种植 - 加工 - 创业 - 骗局 - 问答 - 百科 - 节气 - 民俗 - 手机版
您的当前位置: 致富创业网 > 致富视频 > 生财有道 > 大数据机房工程项目建设技术方案

大数据机房工程项目建设技术方案

来源:生财有道 时间:2020-06-15 点击:

大数据机房 工程项目建设 技术方案 1.1 建设背景 信息技术的快速发展和社会信息化建设力度的不断增强,对信息数据的完整性和系统运行的持续性提出了更为严格的要求。信息数据海量增长,信息系统支撑的业务高度集中,信息存储网络化,促使信息数据的重要性日益凸显,同时也加大了各类风险概率和信息资产的脆弱程度。顺德碧桂园(以下简称碧桂园)顺应企业 IT 业务发展需要,启动了这次高要求的数据中心建设。

 1.2 需求分析 基础设施规划建设需求 本次项目涉及到机房区域布局规划、机房装饰装修、综合布线系统、消防系统、防雷接地系统、监控管理系统、机房供配电系统、高性能封闭冷通道制冷系统、机柜配套系统等。

 1.3 项目目标及建设依据 1.3.1 项目目标

 本项目机房的建设主要依据 GB50174-2008《电子信息系统机房设计规范》中机房相关要求,要求满足未来 3 年内的发展应用需要,并同时具备 10~20 年需求的平滑扩展能力。根据现有的实际情况,对数据中心进行科学的规划和设计,把碧桂园数据中心建设成为布局合理、功能齐备、设施先进、管理一流的机房。通过合理而科学的设计,确保机房的电源、温度、湿度、洁净度、照度、防静电、防干扰、防震动、防雷电、环境监控设备监控和设备运行监控等能充分满足数据中心设备的安全性,可靠的全天候运行目标,延长数据中心系统运行无故障的使用时间要求;为数据中心提供一个集科学的、先进的、合理的、高性价比的、完整全面、符合国家数据中心标准的总体设计方案。

 考虑数据中心机房高热高密度的散热需求和未来信息化应用不断升级,以及将来 5 年的高扩展性,为此,我们规划数据中心机房拟采用模块化数据中心方案来建设。

 1.3.2 遵循标准

 1. 业主提供的建设资料(含建筑设计方案、建筑平面图纸); 2. 施工现场条件和勘测资料; 3. 参照相关国家和国际标准及规范文件:

 ANSI/TIA-942 标准 《电子信息系统机房设计规范》(GB50174-2008)

 《 电 子 信 息 系 统 机 房 施 工 及 验 收 规 范 》(GB20462-2008)

 《采暖通风与空气调节设计规范》(GB 50019-2003)

 《综合布线系统工程设计规范》(GB 50311-2007)

 《智能建筑设计标准》(GB/T 50314-2006)

 《供配电系统设计规范》(GB 50052-2009)

 《通信电源设备安装工程设计规范》(YD5040-2005)

 《 通 信 局 ( 站 )

 防 雷 与 接 地 工 程 设 计 规 范 》(YD5098-2005)

 《建筑物防雷设计规范》(GB50057-2000)

 《 建 筑 物 电 子 信 息 系 统 防 雷 技 术 规 范 》(GB50343-2004)

 《气体灭火系统设计规范》(GB 50370-2005)

 1.3.3 建设原则

 安全性原则 数据中心安全性是整个数据中心的关键性能,数据中心建设规划时需对用户及 IT 设备的安全性进行充分考虑。系统能够及时自动发现故障,力求故障的影响和波及面减至最小程度与最小范围,特别是保障工作人员操作的安全性。

 可靠性原则 为保证数据中心内各项业务应用的持续提供服务,基础设施必须整体具有高可靠性;数据中心建设需保证工程质量、设备的稳定运行、避免单点故障。通过对数据中心整体系统进行高可靠性的设计,在关键系统及设备采用硬件备份、冗余、容错等可靠性技术。

 先进性原则 数据中心应尽量采用现时的先进技术和设备,在保证满足当前的需求的同时,兼顾未来业务的预期需求。所采用的设备、产品和软件能代表当今世界技术成熟但又先进的水平,使整个数据中心系统在一段时期内保持一定的先进性。

 简单易维护原则 在产品和解决方案设计充分考虑日后管理维护的方便和科学性,各系统的监测、监控、监管的集中监控。

 可扩展性原则 数据中心建设不但要满足当前需要,并且机房扩展性方面要满足可预见将来需求。能够根据 IT 业务不断深入发展的需要,在不影响现有业务前提下平滑地升级和提高系统性能和质量。保证建设完成后的系统在向新的技术升级时,能保护已有的投资。

 智能管理原则 数据中心正常运营后,随着业务的不断发展,数据中心的运维管理会变得越来越重要,所以必须考虑建立一套全面、完善的数据中心智能管理系统。数据中心建设时所选用的设备应具有智能化,可管理的功能,从而实现先进的集中监控管理,并可以进行远程管理和故障诊断。这样可以迅速定位故障,提高的运行性能和服务质量,简化机房管理人员的维护工作,为数据中心安全、可靠的运行提供最有力的管理保障。

 环保节能原则 数据中心建设完成后,作为一个整体运行系统能有效利用能源,达到环保、节能的目的。

 经济性原则 数据中心应以较高的性能价格比进行建设,使资金的投入产出比达到最大值。同时,尽可能满足较低的数据中心运维成本,提高数据中心整体效能与效益。

 1.4 总体规划 1.4.1 总体数据中心布局

 碧桂园数据中心布局,包括数据中心、配电室、通信间、监控室、消防间。

 碧桂园数据中心平面布局图

 1.4.2 总体设计指标

 本次数据中心建设的总体设计指标见表 4-1。

 数据中心总体设计指标 序号 项目 设计指标 备注 1 主机房温度 正常工作范围:

 18℃~27℃ (64.4

 o F~80.6 o F) 短期允许范围:

 15℃~32.2℃ (59

 o F~90

 o F) 温度变化率:<5℃/h 参考ASHRAE TC 9.9 Standards,以服务器进风温度为准 2 含尘浓度 每升空气中大于或等于 0.5μm 的尘粒数少于 18000 粒

 3 新风量 室内总送风量的 3%或满足 40m 3 /h/人

 4 接地电阻 ≤1 欧姆 采用专用接地方式 5 主机房电磁干扰场强 无线电干扰场强:≤110dB(频率范围0.15~1000MHz)

 磁场干扰环境场强:≤800A/m

 6 主机房面积 358m 2

  7 服务器供电电源质量 电压:380V/220V±5V 频率:50HZ±0.2HZ 零地电压:<2V

 8 UPS系统电池备用时间 60 分钟(有柴油发电机作为后备电源时)

 系统满载备用时间 9 数据中心全年平均PUE值 ≤1.70 要求室外环境与常年无大差异 1.5 机房子系统规划建设方案 1.5.1 装修子系统

 数据中心工艺装修主要为:为满足机房环境工艺指标要求而采取的技术措施。如:架空地板、防鼠堤坝、防水堤、机房特殊工艺的间隔墙、机房金属吊顶、机房特殊工艺组件的包装、机房内末端照明、插座、消防设备等配套设施的装潢配合。作为数据中心装潢规划,应制定同等通用的基础建设标准,为适应多变的需求提供便利的基础条件。本次数据中心工程分项设计: 根据建设方要求及我公司对数据中心的设计理念,将机房区进行了系统的规划: 整个机房区划分为机房区和辅助功能区,通过在物理上将两个区域区分开来,保证机房的安全性。

 在数据中心机房的装饰设计中,遵循简洁、明快、大方的宗旨,强调规范性、标准性、实用性。机房装饰用材应选用气密性好、不起尘、易清洁、变形小,具有防火、防潮性能;宜选用亚光材料,避免在机房内产生各种干扰光线(反射光、折射光、弦光等)。

 设计、施工、材料选用主要考虑:

  为保证机房的洁净度,装潢应选用气密性好、不起尘、易清洁的材料。

  应避开强电磁场干扰及保障电脑系统信息安全。

  为满足机房消防要求,装潢材料应选用不燃材料(防火等级 A 级)。

 基于上述几点考虑,本次主机房装潢选材基本采用金属防火材料。

 数据中心建筑装修总表:

 编号 房间名称 面积 净高 建筑装修说明 备注 1 数据中心机房 228 3500mm 墙面以彩钢板饰面,天面刷防尘漆,地面抗静电地板

 2 配电室 48 3500mm 墙面以彩钢板饰面,天面刷防尘漆,地面抗静电地板

 3 消防间 12 3500mm 墙面耍乳胶漆,天面刷防尘漆,地地面抗静电地板

 4 监控室 15 3500mm 防火玻璃隔断,天面刷防尘漆,地面抗静电地板

 5 通信间 15 3500mm 防火玻璃隔断,天面刷防尘漆,地面抗静电地板

 1.5.1.1 地面处理

 (1)

 防静电活动地板是机房工程中一个很重要的组成部分,地板上的防静电贴面应能有效防止机房内的静电干扰。地板上空间用于安装计算机设备,应拆装方便,布局整齐美观,便于工作人员通行,地板下空间用于敷设联接设备的各种电源和信号管线 (2)

 本项目的所有区域均需采用抗静电板(包括:数据中心区、UPS 配电区、通迅室、监控室、消防间、走廊)。地面采用知名“向利”品牌抗静电活动地板,规格:600*600*35mm 以上,无边,是采用优质知名品牌产品。

 (3)

 活动地板安装高度为 300mm。

 (4)

 原磁砖地面应扫聚氨脂防尘漆 2 遍。

 (5)

 由于缓冲区与机房外有 300mm 落差,因此机房的设备出入口大门要活动斜坡,并作防滑处理,方便人员出入和重型设备的搬运。

 地板系统可以承受较高压力的碾压:在高压力下有较好的持续性。这是因为地板本身承载能力大和板面的硬度高和稳定性好。

 1.5.1.2 墙柱面工程

 机房房间墙面处理 机房内墙装修的目的的是保护墙体材料,保证室内使用条件,创造一个舒适、美观而整洁的环境。内墙的装饰效果是由质感、线条和色彩三个因素构成。目前,在机房墙面装饰中最常见的是贴墙材料(如铝塑板、彩钢板)饰面等,其特点:表面平整、气密性好、易清洁、不起尘、不变形。

 墙体表面涂附的材料种类很多,设计者可根据实际情况,参阅有关资料合理选择。要求不易产生尘埃、不产生静电、无毒的材料。

 本项目机房墙面分别采用以下两种处理方式:

 数据机房内墙面:采用 0.6mm 彩钢板饰面,并配置100mm 不锈钢铁脚线,使机房内具有防尘,防静电,防干扰等优点。

 机房辅助区墙面:刷多合一墙面乳胶漆,并配置 100mm不锈钢铁脚线。

 1.5.1.3 隔断

 整个数据中心区域采用轻钢龙骨石膏板和防火玻璃根据平面布局设计进行物理分区进行隔断。

 1, 数据机房与露台外墙的隔断:根据数据机房建设标准,为了防水,防盗,防噪等影响,机房内不易设置外窗,因此本项目采用 50mm 轻钢龙骨单面石膏板进行封堵隔断,并在北向露台处开设 1 个通道门。

 2, 数据中心区域与其他区域的隔断:保留现有隔断墙,并在原有墙面上做 50mm 轻钢龙骨当面石膏板进行隔断。

 3, 数据中心区域内部各功能区之间的隔断:采用防火玻璃进行隔断,且监控室与机房之间墙体采用 12mm 防火玻璃进行隔断,保证随时对机房的状况的观察。

 1.5.1.4 铝合金门窗

 数据中心区域在隔断是预留门的位置,并预制门框,便于后续施工。根据防火要求及机房整体效果考虑,本项目采用的防火门种类有:甲级双扇钢制防火门 1500mm×2400mm,甲级单扇钢制防火门 900mm×2000mm,乙级单扇防火门 900mm×2000mm,共设置 8 樘门。

 数据机房:3 樘甲级双扇钢制防火门 1500mm×2400mm; 监控室,钢瓶间:各设 1樘乙级单扇钢制防火门 900mm×2000mm; 配电室:1 樘甲级双扇钢制防火门 1500mm×2400mm; 通 信 间 :

 1 樘 甲 级 单 扇 钢 制 防 火 门 900mm ×2000mm; 数据中心总入口:1 樘甲级双扇钢制防火门 1500mm×2400mm。

 门扇、应平整、接缝严密、安装牢固、开闭自如、推拉灵活。施工过程中对铝合金门窗及隔断墙的装饰面应采取保护措施。安装玻璃的槽口应清洁,下槽口应补垫软性材料。玻璃与扣条之间按设计要求填塞弹性密封材料,应牢固严密。

 1.5.1.5 吊顶

 本项目天花吊顶已经由用户方交付,我工程商只负责刷防尘防尘漆。

 1.5.1.6 照明系统

 数据中心主要依靠人工采光,数据中心照明质量的好坏不仅会影响计算机操作人员和软硬件维修人员的工作效率和身心健康,而且会影响计算机的可靠运行。灯具布置尽量避免直接反射光,避免灯光从作业面至眼睛的直接反射,损坏对比度,降低能见度。本项目在机房区域和配电室内选用3*36W 隔栅灯,灯具的镜面为哑光,数据中心机房区平均照度达到规范要求:不小于 500LUX(离地面 800MM 处)。在监控室区设置 3*18W 隔栅灯,走道内采用 40W 吸顶灯。

 主机房区及办公区设置应急照明(约为普通照明的十分之一),疏散照明(如出口指示灯、诱导灯等),在主机房区均匀分布带蓄电池的隔栅灯,作为应急照明灯。蓄电池时间不小于 30 分钟。

 设计中所选用的灯具均采用高品质、节能型、高显色性光源,并配以高质量的电子镇流器,功率因素大于 0.9。

 数据中心照明按国家标准 JGB/T16-92《民用建筑电气设计规范》、《电子计算机房设计规范》规定,满足规范对于照度、照明均匀度(不少于 0.7)照明稳定性及抑制眩光的要求。

 照度 主机房区:照度≥400lx;辅助机房区(办公区)≥300lx。

 灯具选择及布置 本设计根据数据中心电气设计规范对照度的要求,结合自然采光及墙面反射率等因素,计算确定灯具数量。在灯的布置上,机房区选用格栅荧光灯具。根据实际情况决定灯具间隔,并充分考虑到照度均匀性和有效抑制眩光等因素。

 应急照明可保证人员做应急处理或安全快捷地沿通道向出口或应急出口疏散。应急照明照度宜为一般照明的1/10。

 取嵌入式荧光灯具中的一支灯管及部分筒灯作为应急照明灯具,平常作为一般照明由市电供电,当市电停电时,应急照明灯具由 UPS 电源供电,保证应急照明的连续性的。

 疏散照明和安全出口标志灯,其照度不应低于 0.5LX。

 照明灯具控制方式 采用分散控制的方式,即通过墙面跷板开关控制灯具的开启。应急照明单独走管穿线并由墙面荧光显示跷板开关单独控制。

 所有照明灯具采用电感镇流器电容补偿方式,减少线路电能损耗。补偿后灯具的功率因数达到 0.9 以上。

 1.5.1.7 标志

 标志包括消防逃生标志、门牌标志、指引标志等。

 1.5.2 供配电系统

 1.5.2.1 概述

 电气工程是整个机房的基础系统工程,其供配电系统的可靠性要求极高。供配电系统的安全性、可靠性、可维护性和在线扩展性是本次项目的重点。计算机系统和通讯系统配电都必须经过 UPS 电源。配电线缆、配电柜及相应的电路,都以满足用电峰值为其设计负荷。强弱电分离,机房的强电和弱电线缆应分别走各自线槽。

 计算机供电电源质量根据国标 GB50174-2008 中标准要求,稳态电压偏移范围为 380V/220V±3%,稳态频率偏移范围为 50 Hz±0.5,输入电压波形失真度不大于 5%,允许断电持续时间为 0-4 ms,不间断电源系统输入端 THDI含量小于 15%。

 1.5.2.2 设计原则

  系统满足可在线维护的需求  UPS 系统容量可扩展升级  UPS 靠近负载 1.5.2.3 设计范围

 本期机房工程设计范围:

  空调系统供配电;  UPS 供配电系统设计; 上述以外及为本期工程服务的设备机房以外范围的用电设备的用电量,目前本期工程内暂不考虑。

 1.5.2.4 电力负荷计算

 机房 IT 机柜配置:

 机房 功能划分 单机柜额定功耗(kW) 机柜数量 服务器综合系数 IT设备耗电小计(kW) 主机房 (本期) 服务器柜 4 42 0.7 117.6 网络柜 1 4 0.7 2.8 主机房 (第二期) 服务器柜 4 23 0.7 64.4 网络柜 1 2 0.7 1.4 通讯间 网络柜 2 3 0.7 4.2 小计(本期)

  49

 125 小计(终期)

  74

 191 空调负荷:

 机房 功能划分 空调制冷量(kW/台) 单台功耗(kW) 数量 耗电小计(kW) 主机房 (本期) 第一模块 35 16.7 3(2用1备)

 50.1 第二模块 35 16.7 3(2用1备)

 50.1 主机房(后期) 第三模块 35 16.7 3(2用1备)

 50.1 配电房 (本期)

 30 10 2(1用1备)

 20 配电房 (后期)

 30 10 1 10 通讯间

 12.5 5 2(1用1备)

 5 小计

  185 照明负荷:

 整个机房区主面积约为 300 平米,照明负荷按 20W/平 米 计 算 , 则 机 房 的 照 明 负 荷 为 W1=20 × 300 ÷1000=6kW 总负荷:191+185+6=382kW UPS 配电柜按终期配置,UPS 分期部署。

 根据以上负荷计算,设计机房总配电柜如下:

 ●进线开关选用选用 800A/3P; ●UPS 进出线开关按 UPS 最大容量配置; ●主机房空调直接从 UPS 输入柜中出线; ●照明负荷开关选用 10A/3P 开关。

 1.5.2.5 电源接入及初级分配

 由业主方提供 AC380V 三相五线电源,华为提供机房UPS 系统、UPS 系统与设备间线缆。

 其中,本项目机房用电设计总量为 191kw。

 机房内机柜 PDU 采用双路配置,每个 PDU 对应一个配电空开,确保某一机柜电路故障不会影响其他机柜。每机柜配备两个 32A 的 PDU。

 1.5.2.6 机房配电系统

 机房内 IT 设备采用 UPS 系统供电方式,UPS 系统保障60 分钟的设备应急工作时间。

 1.5.2.7 不间断电源

 按分期规划,三个机房各设置 N+1 的 UPS 冗余供电系统,可后期并机平滑扩容升级。

 IT 设备供电:

  IT 设备供电架构为双路供电,机柜内配置独立双路PDU;  采用智能列头柜,提供两个独立的回路为 IT 负载供电。智能列头柜具有可监控每个分路的能力,并与监控系统联网,可做智能管理,监控各个设备用电情况,更为合适的分配电能;  IT 设备总供电量 125kW,考虑 10%的冗余,UPS为其提供 139kW 的电量。

 1.5.2.8 主要设备材料清单

 配电系统的设备清单 名称 设备描述 数量 模块化UPS主机(第一期) 200KVA 机柜系统 2 功率模块(第一期) 40KVA 功率模块 5+1 6 模块化UPS主机200KVA 机柜系统 1 (第二期) 功率模块(第二期) 40KVA 功率模块 2 2 蓄电池(备电 60分钟)(第一期) 蓄电池-阀控式密封铅酸蓄电池-12V-150Ah-12V 单体-483*171*240mm- -UPS 专用电池 128 蓄电池(备电 60分钟)(第二期) 蓄电池-阀控式密封铅酸蓄电池-12V-150Ah-12V 单体-483*171*240mm- -UPS 专用电池 96 电池架(第一期)

 4 电池架(第二期)

 2 UPS 输入柜

 1 UPS 输出柜

 1 IT 设备配电柜(第一期)

  4 IT 设备配电柜(第二期)

  2

 1.5.3 防雷接地

 1.5.3.1 概述

 数据中心内的雷电、电磁脉冲、静电、电源零电位的飘移等多种电磁干扰现象均会影像甚至破坏数据中心内各类精密电子设备正常运行。而上述问题的解决均需要有良好的防雷系统和接地系统予以保障。

 1.5.3.2 数据中心防雷方案

 本次数据中心的防雷设计主要是考虑内部防雷设计,即考虑电源系统防雷。

 本数据中心设计雷电防护等级设计为 A 级,系统设备采用 TN 交流配电系统供电,配电线路采用 TN—S 系统的接地方式。

 电源系统防雷 第一级电源防雷:在大楼的总进线配电柜或本楼层的总配电柜上并联安装一套一级电源防雷模块,用于整体电源第一级的雷电初级保护。由大楼统一考虑。

 第二级电源防雷:在数据中心的配电间的 UPS 输入配电柜上安装配置一套具有40KA的通流容量第二级电源防雷模块,用于数据中心整体雷电防护。

 第三级电源防雷:在数据中心的 UPS 输出配电列柜上各安装配置一套具有 20KA 的通流容量第三级电源防雷模块,用于主机房 UPS 配电电源的雷电防护。

 特殊重要设备电源防雷:采用带有电源防雷功能的 PDU接入设备,目的是将雷电及瞬时浪涌电压限制到对设备没有损害的水平,特别是对日常经常发生的因电源系统操作而过电压、电源高次谐波等具有限制和保护作用,可以延长设备的正常使用寿命,减少运行维护成本。

 图1-1 防雷器配置方案图

 1.5.3.3 接地系统

 机房内常见基地内容包括工作接地、保护接地、抗静电接地、防雷接地、屏蔽接地。不同接地内容对接地电阻由不同接地要求。

 为便于接地系统的统一管理,数据中心接地系统普遍采用联合接地方式,利用大楼承重柱内专用接地钢筋引出联合接地点,接地电阻小于 1 欧姆。同时,在地面处理是预埋40mm×4mm 的接地扁钢组成等电位接地网,并通过机柜底部,预留裸露接地端子,每个机柜预留两个端子,保证接地可靠性。以此建立数据中心等电位接地网,与联合接地点一点接地。所有功能接地均就近接入等电位接地网。

 图 0-1 等电位连接方式示意图 1.5.4 空调制冷系统

 1.5.4.1 设计概况、原则、内容和相关规范

 设计概况

 碧桂园数据中心需要建设两个模块化机房。此项目中,楼层梁下净高约为 3m。

 根据甲方要求,本期空调冷源采用直接蒸发式行级机房精密空调。

  安全性:基于数据中心对系统安全性要求高,不间断等特征,制冷动力系统设计采用冗余设计。

  经济性:基于数据中心的用电量大,运行时间长等特征,本系统设计采用冷热通道,机房空调配直流变速风机。

  可扩展性:基于数据中心的业务发展速度快的特征,系统设计按电气系统最大可能发热量配置。

 设计内容  与数据中心设计项目机房工程相关的 IT 机房、UPS、电池等房间的空调、制冷、通风系统的设计和选型。

  IT 机房、UPS 室等房间及支持区、辅助办公区共用大楼的新风系统。

  IT 机房、电池室及支持区的排风和气体灭火区域的灾后气体清空排风系统。

  内走廊消防排烟系统。

 1.5.4.2 室内外设计参数

 室内空气计算参数确定原则  IT 主机房的温湿度按冷热通道分别设定。

  设定值应满足 IT 设备厂商对运行环境的要求。

  IT主机房的温度变化率应满足IT设备厂商允许的变化范围,一般不超过 5℃/hour。

  在满足 IT 设备运行环境要求的前提下,应尽可能提高送风温度,以利于节约能耗。

  设定合适的回风温度,在满足 IT 设备运行环境要求的前提下,尽可能加大送回风温差,以降低风机能耗。

  服务器机房的空气洁净度应满足现行规范的要求,即在静态条件下测试,每升空气中大于或等于 0.5μm 的尘粒数,应少于 18,000粒。

  其他区域的温湿度参照现行国家相关规范的有关内容设计。

 表1-1 主要参数表 主 要房 间温 湿度 等参 数 序号 功能区域 温度 相对湿度(RH)

 最小新风量 房间正压Pa

 干球温度 湿度和含湿量 A 64.4F-80.6F 18-27℃ 41.9F DP to 60% &59F DP 5.5 露点温度&60%相对湿度到 15 露点温度 1 IDC 机房 22˚C±2(待与开发确定)

 30-75%

 0.7 ACH 5~10 2 IDC 机房(热通道)

 34˚C±2 35-75% 0.7ACH

 3 网络进线间 25˚C±3 30-80% 0.5ACH 5~10 4 控制中心(ECC)

 24˚C±3 40-65%

 40m3/P.h 0~5 1.5.4.3 负荷计算

 数据中心空调: 第一期 序号 负荷名称 数据 参数 空调负荷kW 1 IT设备热负荷 42台,系数0.7 4kW/r 117.6 2 PDU/电缆等热负荷 IT负荷1%

 1.2 3 照明系统热负荷 10W/m2 300m2 3 4 维护结构热负荷 10W/m2 300m2 3 5 空调总负荷 124.8kW 考虑10%冗余 137kW 数据中心空调: 第二期 序号 负荷名称 数据 参数 空调负荷kW 1 IT设备热负荷 23台,系数0.7 4kW/r 64.4 2 PDU/电缆等热负荷 IT负荷1%

 0.6 3 空调总负荷 65kW 考虑10%冗余 71kW 机房空调配置 序号 名称 制冷量 送风形式 数量 冗余方式 1 主机房(第一期)

 35KW

 行级 6 4+2 2 主机房(第二期)

 35KW

 行级 3 2+1 3 配电室(第一期)

 30kW 上送风 2 1+1 4 配电室(第二期)

 30kW 上送风 1 无

 1.5.4.4 空调系统设计

 机房精密空调系统 机房精密行级送风空调设计满足以下要求:

 空调系统满足集中高发热设备,同时在设备周围的温湿度环境需保持均匀,提供 CFD 仿真数据,单位面积内温差不能大于 5 度,没有局部热点,满足高发热设备的工作环境要求。

 高效制冷

 多个 EC(Embedded Controller)风机送风,可无级调速。采用行级制冷模式,可以按机房设备需求提供制冷量,对送风温度和方向进行有效的控制,降低能耗。

 最优系统匹配和高效盘管设计,保证高效换热,提高显热比和能效。

 高效直流变频压缩机,按需输出冷量,高效节能。

 变频温控算法,更快适应空间的负荷变化,精确控制温度;充分发挥变频系统部分负荷能效高的优势,给用户节能。

 高可靠性

 风机风量冗余,在单个风机故障时系统将通过外围的温度监测探头来调整压缩机频率和其它 EC 风机的转速,从而保证有足够的制冷量输出,并能够检测到风机异常。

 宽工况

 更宽的环境适应性,满足低温工况(-20℃),通过高/低压力传感器,自动识别低温工况;针对低温工况进行功能优化控制。

 采用变频高压比压缩机满足 T1/T3 工况,满足最高室外环境温度 55℃。

 高兼容性

 结构的兼容性:机柜能与数据机房中两米和两米二高的机柜并柜。

 接口的兼容性:系统接口能与数据机房其它设备接口相匹配。

 供电的兼容性:系统能够适配多种电源类型,具有过负荷、短路保护功能。

 功能的兼容性:上下进出冷媒和水管兼容设计;加热、加湿功能可选;冷凝水泵可选。

 智能监控

 可通过用户终端对系统进行监视和参数设定。

 7 英寸触摸显示屏可以显示系统的运行状态和运行模式,并可对系统进行参数的设定。

 快速安装

 采用生产预安装,发货时是一个整套设备。现场安装主要工作是调节水平支脚、连接电源线、连接上位机信号线、连接进排水管等简易工作。

 维护便利

 软件维护可通过通讯接口对系统进行远程巡检和参数的设置,降低服务成本。

 硬件维护可从前后门对部件进行维护,操作方便。

 1.5.4.5 机房的新风系统

 数据中心区的新风系统包括两部分:监控中心及各机房人员所需要的最小新风量(每人最小新风量 40m3/h)和主机房维持正压(与走廊保证 5Pa 压差、与室外保证 10Pa 压差的)的新风量(兼气体灭火后清空补风)。

 本项目主机房新风量设计采用每小时 0.5~1 次换气量。

 本工程推荐的新风量取值如下:

 区域 取值 IT 主机房 维持正压 5-10Pa,人员新风40m3/h/人,二者取大值 其他关键区域 满足人员舒适性要求,人员新风≥30m3/h/人 1.5.4.6 冷凝水系统

 设计独立空调机组冷凝水系统(空调机区域另地漏系统为备份),就近排至下水处。冷凝水管采用镀锌钢管,水平段坡度不小于 1.5 % 敷设。冷凝水总管至下水接管处设高度不小于 150 mm 的水封弯头。通信机房内,空调机组冷凝水沿线均敷设漏水探测带,条件具备处,空调机组下方投影区域设水挡。

 1.5.4.7 防排烟系统

 在穿防火墙、楼板、空调机房隔墙处的送、回风管上安装 70℃防火阀,并与系统风机连锁。当防火阀关闭时,风机电源自动切断。

 对无外窗的内走廊及大于 100 平米的地上房间(常有人员滞留或可燃物较多)设机械排烟系统。

 在防烟分区内安装的板式排烟口与排烟系统的风机连锁。板式排烟口既可接受消防控制中心火灾信号自动开启,也可在现场手动开启。火灾发生时,板式排烟口开启,排烟阀、280℃排烟防火阀自动开启,消防排烟系统风机启动,投入运行。

 消防排烟系统风机采用排烟专用风机,确保风机在280℃的环境下可以连续运行 30 分钟。

 消防控制系统应与空调控制系统兼容及通讯, 在火灾时应可通过消防控制系统直接停止空调设备。

 所有排烟及灾后清空排风风机的运行状态应在消防控制中心集中控制并有灯光显示。启停风机应设就近控制、消防控制中心远程控制。

 风管、冷凝水管等均采用非燃材料制做;保温材料采用非燃或难燃 B1 级材料。

 1.5.5 机柜和机架系统

 1.5.5.1 概述

 机柜系统主要包含为通透式机柜,通透式机柜主要应用于模块化数据中心,常与通道密封系统一起应用。

 1.5.5.2 设备机柜

 模块化数据中心最多可支持 48 个柜位,含服务器机柜、PDF 柜和综合布线柜。

 外观 模块化数据中心配置的机柜尺寸统一,机柜符合 19 英寸标准,采用前后风道。机柜外观如图 5-3 所示。

 图1-2 机柜外观图

 特性 机柜满足如下特性:

  前后门通风率不低于 70%。

  机柜内后部可安装两条竖装 PDU(power distribution frame)。

  机柜的垂直安装上标示有每个“U”的位置。

  机柜的前门、后门及侧板均可锁住,并只能用专用钥匙才能打开。

  机柜静载不小于 1200kg。

 技术指标 机柜技术指标如下表所示。

 表1-2 机柜技术指标 机柜系统

 尺寸规格要求 W×D×H = 600mm×1200mm×2000mm 遵循标准 符合 IEC60297-1 标准 有效安装空间要求 W×D×H = 600mm×1200mm×2000mm

 42U安装空间 风道类型 采用前后风道形式 重量要求 ≤165kg 静态载荷 ≥1500kg 动态载荷 ≥1050kg 方孔条最大距离 W×D×H = 600mm×1200mm×2000mm

 945mm 脚轮 机柜配置有脚轮,且脚轮高度应为 45mm,单个滚轮动态承重大于 350kg,静态承载大于500kg。

 结构组成 前门 单开门时门体开启角度在 110°以上双排密封通道,须采用通孔门 后门 采用通孔门,双开门开启方式,门体开启角度在 110°以上 侧门 配置有侧门,侧门采用快锁,可实现免工具安装;侧门可分为上下两块,以满足便于安装维护要求。

 顶板 机柜顶板承重能力大于 110kg。

 通孔率 ≥70% 走线方式要求 同时支持上走线和下走线 接口 机柜顶上配置有天窗与走线槽安装接口 表面 机柜表面喷粉厚度不小于 60μm ,采用黑色砂纹工艺,满足防腐、防锈、防火、光洁、色泽均匀、无流挂、不露底、无起泡、无裂纹、金属件无毛刺锈蚀要求。

 材质 机柜采用 1.0mm~3mm 厚高强度A级优质碳素冷轧钢板和镀锌板,满足 RoHS 要求,内部材料防火性能符合 UL 标准。

 接地和防静电 预留接地螺钉和防静电手腕插座 环保要求 满足 RoHS IP 等级 IP20 1.5.5.3 密封冷通道

 密封冷通道由天窗、端门与机柜连接组合而成。当模块化数据中心采用单通道布局时,密封冷通道的一侧为围板。

 天窗 密封冷通道的天窗采用平顶结构,由两块侧板、一块顶板、一块旋转天窗组成。

 旋转天窗通过电磁锁与顶板连接,工作状态下旋转天窗处于水平状态,消防状态下电磁锁通电打开,旋转天窗在重力作用下自动打开,保证灭火气体进入密封冷通道内。天窗外观如图 5-4 所示。

 图 0-2 天窗外观示意图 端门 密封冷通道的端门有推拉门和双开门两种形式。

 推拉门 推拉门采用推拉结构,以机柜为载体,安装上下轨道,保证密封冷通道系统的自身独立性。门板由 1.5mm 冷轧钢板折弯而成,中间镶嵌钢化玻璃,保证通道内区域的可视性。推 拉 门 尺 寸 ( 高 × 宽 × 深 )

 为2050mm×1600mm×42mm。推拉门外观如下图所示。

 图1-3 推拉门外观示意图

 双开门 双开门整体与机柜通过螺钉联接,可以保证密封冷通道系统的独立性。门板中间镶嵌钢化玻璃,保证通道的可视性。门板下部安装密封毛刷,可以提高模块的密闭性。双开门外观如图 5-6 所示。

 图1-4 双开门外观示意图

  1.5.5.4 设备布置

 图1-5 水平送风密封冷通道图

 水平送风密封冷通道 水平送风密封冷通道模式的特点如下:

  采用水平送风空调(InRow)+冷通道密封;

  冷通道密封后,冷空气在模块化机房内形成资源池,实现了冷气流的充分共享,可有效解决局部大功耗设备散热问题;

  实现冷热气流高效隔离,提升冷气利用效率;

  由于冷热气流高效隔离(无混合),可通过提升送风温度进一步节省制冷能耗;

 布置方案优势分析:

 方案

 密封类型

 节能效果

 功率密度

 环境温度

 舒适性

 推荐

 备注

 一

 密封冷通道

 ≥30%

 3~10

 环境为热通道,约32℃

 佳 中低密时推荐

  1.5.5.5 主要 设备材料清单

 表1-3 机柜清单表 1.1 IT 机柜 ATO 机柜-数据中心服务器机柜,600*1200*2000,带前门、后门、侧板、20*1U 盲板,PDU:2*3P/16A(24*C13/6*C16) 1.2 总装网络布线柜 ATO 机柜-数据中心服务器机柜,600*1200*2000,带前门、后门、侧板、20*1U 盲板,PDU:2*3P/16A(24*C13/6*C16),18 束线圈,2 理线架 表1-4 密封通道清单表 1. 600mm 走 结构成套件1 线槽

 -DKBA41502716.ASM-600mm 线槽组件-IDS2000 1.2 走线槽端板

 结构成套件-DKBA41502823.ASM-端板组件-IDS2000 1.3 走线架 工程安装件-DKBA40702684.ASM-走线架-工程线架 1.4 600mm 直顶天窗组件(翻转) 结构成套件-DKBA41502790.ASM-旋转天窗-IDS2000 1.5 600mm 直顶天窗组件(不翻转) 结构成套件-DKBA41502792.ASM-600mm 天窗组件-IDS2000 1.6 直顶天窗控制组件 结构成套件-DKBA40702367.ASM-vertical control unit-IDS2000 1.7 宽机柜围板(宽*高:结构成套件-DKBA41502899.ASM-600mm*300mm)

 2m 机柜用 600mm 连接板-IDS2000 1.8 1200mm 深柜体下封板组件 结构成套件-DKBA40702733.ASM-1.2m 下封板组件-IDS2000 1.9 直顶密封附件 结构成套件-DKBA40702372.ASM-vertical unit accessory-IDS2000 1.10 空调附件 结构成套件-DKBA4.440.0114-2m机柜用空调附件-IDS2000 1.11 推拉门 机柜门-DKBA41203470.ASM-推拉门组件-IDS2000-1604mm-36mm-2006mm 1.12 模块门天窗端板 结构成套件-DKBA40703106.ASM-推拉门上框组件-IDS2000 1.13 模块门安装件 结构成套件-DKBA40703107.ASM-2m 机柜用推拉门安装件-IDS2000 1.5.6 数据中心综合布线系统

 1.5.6.1 概述

 数据中心内放置了大量核心的数据存储、交换、处理设备,是现代企业最核心的资讯中心。综合布线作为其物理基础设施建设尤为重要,俨然成为当今高速网络建设成败的关键因素之一。如何为数据中心构建安全、高效、统一及易管理的物理基础平台,是数据中心布线的核心所在。数据中心的布线系统,需要有效支持三代有源设备的更新换代,同时,数据中心需要能够支持高速率的数据传输和存储。当前单体文件的容量也越来越大,这样,选择一套先进的布线系统是极其有必要的。其将确保在相当的一段时间内,无需更换或升级布线系统本身。

 建设一个完整的、符合现在及将来要求的高标准新一代数据中心,应满足以下功能要求:

  一个需要满足安装进行本地数据计算、数据存储和安全的联网设备的地方;  为所有设备运转提供所需的电力;  在设备技术参数要求下,为设备运转提供一个温度受控环境;  为所有数据中心内部和外部的设备提供安全可靠的网络连接。

 1.5.6.2 数据中心布线设计

 数据中心的布线设计目的是实现系统的简单性、灵活性、可伸缩性、模块化和实用性。所有这些准则使数据中心运营商能够随着时间变化,仍然使设施适合于业务发展的需求。经验表明,具有足够的扩充空间对后期附加设备和服务设施的安装至关重要。当前技术应提供可通过简单的“即插即用”连接来添加或替代的模块化配线设备,使其对运营商更实用,并减少宕机时间和人工成本。

 本项目综合布线拓扑结构分为:主配线区、水平布线区、设备布线区。拓扑机柜如下图所示:

  主配线区(MDA)设计 本项目主配线区对应于模块化机柜的列头布线柜,采用EOR 的布线方式,接入交换机集中放置在 MDA,在主配线区配置铜缆配线架,UPT CAT6 类跳线,理线架。

 水平配线区(HDA)设计 水平配线区指从列头布线柜到各机柜的布线,本项目每机柜配置 24 条 UTP CAT6 网线。

 设备配线区(EDA)设计 设备配线区指服务器机柜的布线,本项目每机柜配置 24口铜缆配线架,理线架以及相应的铜缆跳线。

 1.5.6.3 机房开放式桥架系统

 开放式桥架主要分为网格式桥架,梯架和穿孔式桥架等几大类。国标 GB50174《电子信息系统机房设计规范》也推荐在数据中心使用网格式桥架。

 金属网格式电缆桥架由纵横两向钢丝组成,为网格式的镂空结构,具有轻便灵活,牢固,散热好,利于节能,安装快捷等特点。现在数据中心升级频繁,线缆的增减变动都是很经常的事情,用这种网格式桥架,维护升级很方便,一般带有安全 T 型边沿,从而可以保护布线时线缆或光缆不会被刮伤。而且它开放的结构无论上走线还是下走线时都不会阻碍空调的气流,可优化空调的使用效率,利于节能,更提高了安装线缆的可视性,辨别容易。可以选择地板下或机柜/机架顶部或吊顶内安装。

 选择网格式桥架最要注意的是焊接工艺,因为焊接质量直接关系到网格式桥架的承载能力。

 花板走线通道由开放式桥架(网格式桥架、梯架)、封闭式桥架(槽式)和相应的安装附件等组成。开放式桥架因其方便线缆维护的特点,在新建的数据中心应用较广。

 图1-6 上走线示意图

  通道位置与尺寸要求:

  通道顶部距楼板或其它障碍物不应小于300mm;  通道宽度不宜小于 100mm,高度不宜超过150;  通道内横截面的线缆填充率不应超过 50% 1.5.6.4 综合布线标签

 单根线缆/跳线标签最常用的是覆膜标签,这种标签带有粘性并且在打印部分之外带有一层透明保护薄膜,可以保护标签打印字体免受磨损。除此之外,单根线缆/跳线也可以使用非覆膜标签,旗式标签,热缩套管式标签。单根线缆/跳线标签常用的类型包括:乙烯基,聚酯和聚氟乙烯。

 对于成捆的线缆,建议使用标识牌来进行标识。这种标牌可以通过尼龙扎带或毛毡与线缆绑扎固定,可以水平或垂直放置。

 配线架标识主要以平面标识为主,要求材料能够不受恶劣环境的影响,在侵入各种溶剂时仍能保持良好的图像品质,并能粘贴至包括低表面塑料的各种表面,配线架标识有直接粘贴型和塑料框架保护型。

 1.5.7 数据中心管理系统

 数据中心的管理系统我们推荐采用华为的 NetEco 解决方案。

 1.5.7.1 概述

 NetEco 是华为面向数据中心基础设施管理推出的新一代数据中心管理系统,实现对数据中心基础设施层的动力、环境、视频、门禁等设备的实时数据、设备状态、告警等的管理。

 1.5.7.2 系统拓扑结构

 通过柔性拓展的物理架构和模块化设计的思路,NetEco管理平台既能对单个数据中心基础设施进行管理,也能对多个分地域的数据中心基础设施进行集中统一管理。

 可监控的底层设备包含动力监控子系统、环境监控子系统、视频监控子系统和门禁监控子系统。

 图1-7 NetEco 总体拓扑结构图

 1.5.7.3 门禁监控子系统

 表1-5 门禁设备配套表 设备名称 监控对象 实现方式 门禁控制器 机房或模块内的门禁及刷卡信息、权限设置等。

 门禁控制器通过 FE接口连接到上层监控系统 NetEco 中,实现门禁及刷卡信息、权限设置信息等的监控。

 1.5.7.4 动力监控子系统

 表1-6 动力设备配套表 设备名称 监控对象 实现方式 精密空调 运行状态、运行参数、告警信息、远程控制; 各设备通过 RS485接口连接至采集器,采集器再通过网络UPS UPS 输入柜 各设备通讯协议所提供的能远程监测的运行参数; 连接至上层监控系统 NetEco 中,NetEco 实时呈现告警和故障。

 UPS 输出柜 精密配电柜 1.5.7.5 环境监控子系统

 表1-7 环境设备配套表 设备名称 监控对象 实现方式 感烟探测器 机房或模块内的温湿度、气体浓度等参数。

 感烟探测器通过SMOKE 接口连接至采集器。

 感温探测器通过TEM接感温探测器 温湿度传感器 口连接至采集器。

 温湿度传感器通过下行RS485 接口连接至采集器。

 采集器再通过网络连接至上层监控系统NetEco 中,NetEco 实时呈现告警和故障。

 1.5.7.6 视频监控子系统

 表1-8 视频设备配套表 设备名称 监控对象 实现方式 摄像头 机房或模块内的实时情况。

 标准配置摄像头可通过FE 接口直接连接至交换机,通过 PoE 供电,实时查看视频信息。

 NVR(选配)

 若您有存储视频或者进行历史视频回放需求,请配置 NVR。

 1.5.7.7 管理软件平台

 NetEco 管理系统提供全面的机房基础设施管理功能。

 视图管理

 视图管理,以设备视图直观的反映设备的物理位置信息和运行状态,实时监控整个网络中设备的运行情况。

 性能管理

 性能管理,对设备的关键性指标进行监控,并对采集到的监控数据进行统计。通过可视化的操作界面,方便用户对设备运行进行管理。

 资源管理

 接入 NetEco 的设备都称为物理资源,设备管理实现资源接入并对这些资源进行管理。

 报表管理

 提供丰富的预定义报表,同时提供强大易用的报表设计功能,用户可根据行业特点和自身运维要求进行客户报表定制。

  接口管理 NetEco 系统的外部接口包括北向第三方网管访问接口、南向产品设备访问接口和第三方服务集成接口。

 三种接口介绍如下:

  北向第三方网管访问接口 NetEco 管理系统北向支持 SOAP 和 SNMP 接口,通过这两种接口,可以与第三方系统进行信息交互。

  南向产品设备访问接口 NetEco 管理系统支持与第三方设备对接,系统默认支持 SNMP V1/V2/V3、Modbus、电总,也支持用户自定义协议接口。

  第三方服务集成接口 第三方服务集成接口根据不同的第三方存在差别,系统默认提供SOAP或具有RESTFUL形式的Web服务。

 1.5.7.8 主要设备材料清单

 表1-9 监控系统清单表 5.1 监控系统服务器 功 能 模 块 -Tecal RH2285-BC1M03BTSE-Tecal RH2285(1*E5606,2*4G 内存 ,2*300GB SAS 硬盘 ,DVD-RW,4*GE,SR100,2*750W电源)-带系统软件和数据库 5.2 CCU 采集器 8 串口数据采集器, 含 1 张主控卡, 1张串口扩展卡, 1 张环境扩展卡 5.3 以太网交换 机(PoE)

 装 配 组 件 -Quidway S2326TP-PWR-EI-LS2Z326CM-S2326TP-PWR-EI主机(24百兆RJ45,2千兆 Combo,PoE,双电源槽位,不含电源) 5.4 NVR 海康 IPC 视频存储,不带硬盘,8 路 5.5 NVR 硬盘 通 用 硬 盘 -2000GB-SATAIII 6.0Gb/s-7200rpm-3.5 inch-64MB-热插拔-内置式 5.6 网络摄像机 海康 DS-2CD793PF-EI,网络型半球摄像机-图像传感器 1/3 CCD-最大图像尺寸 PAL704*576 5.7 电源模块 一 次 电 源--25degC-55degC-90V-264V-12V/10A,-53.5V/7.1A 5.8 温湿度传感器 温 湿 度 传 感 器-12VDC-24VDC--15degC-75degC 0%-100%RH-+/-0.3degC(25degC)-数字信号输出 5.9 天窗控制器 环境监控系统-部件-220V-1-50Hz-与烟感和温感联动控制天窗的打开-包含天窗控制器主机和声光报警器以及线缆等附件-中文资料/英文资料 5.10 门禁控制器 门禁系统-2 Door,IP.ACS-门禁控制器 5. IC 卡 计算机其它配件-IC 卡-13.56MHz-无11 资料 5.12 IC 卡 读卡器 计 算 机 其 它 配 件 -IC 卡 读 卡 器-13.56MHz-wiegand26/34-中英文资料 5.13 出门按钮 计算机其它配件-出门按钮-中英文资料 5.14 双门电磁锁 门禁系统-双门电磁锁 5.15 NetEco基本功能 IDS 管理基本软件 V600R001(每 25智能节点接入),含标准视图管理、系统管理、性能管理、故障管理、基本报表和设备管理功能. 5 个客户端访问授权

 1.5.8 数据中心消防系统

 1.5.8.1 概述

 模块化数据中心模块内不集成消防灭火系统,因此应用场景的数据机房内需要装配相应的火灾自动报警系统及灭火系统。机房内需要设置烟感、温感及气体灭火系统或规范允许的其他灭火系统(如水雾灭火系统)。

 模块设置天窗控制器及天窗控制装置,感烟探测器、感温探测器安装在通道顶部,通过电源线及信号线与天窗控制器连接,并由天窗控制器自带的电源模块供电。当天窗控制器接到火灾报警信号时,自动打开天窗,保证数据中心机房的灭火剂能够快速进入模块以达到灭火效果。

 1.5.8.2 火灾报警系统

 火灾探测报警系统 模块化数据机房的密闭通道内安装有感烟探测器、感温探测器,模块入口上方面板安装声光报警器,一旦有告警信号产生,信号将上报至数据中心机房的消防系统,同时发出声光告警。当天窗控制器接收到模块内烟感或温感探测信号时自动开启天窗,利用机房消防系统实现探测及灭火,并将告警信号上传至模块监控系统。

 图1-8 模块消防方案示意图

  天窗控制器的具体功能如下:

  当模块内任一个烟、温感探测器检测到烟雾或温度超标时,将送出告警信号给天窗控制器,天窗控制器将自动接通电磁锁电源,从而控制天窗打开,同时上传告警信号。声光告警器工作,发出声光报警。

  当管理系统将远程开窗信号操作天窗打开按纽时,天窗控制器接通电磁锁的电源,从而打开天窗。

  当管理系统对远程声光按钮进行操作时,天窗控制器接通声光告警器的电源,发出声光报警。

  天窗控制器同时连接手动控制天窗按钮及手动声光报警复位按钮。手动控制天窗按钮能够手动打开天窗,手动控制声光报警按钮在声光报警器报警状态下能够手动消音。

 图1-9 天窗控制器控制方式示意

  图1-10 天窗控制器接线方式示意

  图1-11 天窗控制组件 烟感温感摄像头温湿度传感器 1.5.8.3 灭火系统

 IDS2000 模块化机房的模块内不集成消防灭火系统,需要利用数据中心机房内的消防灭火系统实现灭火。旋转天窗通过电磁锁与顶板连接,工作状态下旋转天窗处于水平状态,消防状态下电磁锁通电打开,旋转天窗在重力作用下自动打开,保证灭火气体进入密封冷通道内。数据中心机房的消防系统的火灾探测系统和灭火系统喷头不用伸入到模块化机房...

推荐访问:项目建设 机房 方案

致富创业网 www.csyzzm.com

Copyright © 2002-2018 . 致富创业网 版权所有 湘ICP备12008529号-1

Top