盛大云平台的架构设计和实现(杜海)

盛大云平台架构设计和实现 杜 海 盛大云计算 架构师 duhai2008@hotmail.com 个人介绍 2010-至今 盛大创新院 云计算架构师 高级研究员 2008-2010 百度 虚拟化平台研发 2005-2008 虚拟化技术研究 毕业于复旦大学，关注linux内核，Xen，分 布式存储，IaaS等主题，热衷于虚拟化技术的 研究和企业级应用。 杜海 目 录 1. 盛大云平台综述 2. 盛大云主机架构 3. 分布式镜像系统 4. 网络安全系统 5. 资源调度系统 6. 实践中的问题 什么是盛大云 n  公有云平台 l  提供基础资源即服务（IAAS） n  类似国际领先的亚马逊AWS的服务模式 l  被证明成功的商业模式 We are in the business of selling infrastructures 盛大云的作用 降低互联网 创业门槛 节省成本 提高效能 弹性扩展 安全稳定 帮助用户关注 自身核心业务 鼓励用户创新 2010年中 2011.1 2011.7.22 盛大集团将云计算 列为下个十年三大 战略之首 成立盛大云计算创 新院，主导云计算 业务 推出盛大云平台 盛大云发展历史 n  互联网创业团队和个人 n  物联网企业 n  政府、科研、教育机构 n  国外公司在中国的分部 初期外部目标用户 盛大云官网—— www.grandcloud.cn 盛大云平台产品 n  2011.7.22 – 盛大云(Grand Cloud)平台公测 l  云主机(Compute Cloud) l  云硬盘(Elastic Block Service) l  云存储(Cloud Storage) l  数字分发(Digital Delivery System) l  云监控(Cloud Monitoring Service) l  云数据库(Mongo in Cloud) 自主开发的拥有100%知识产权的国产云平台 盛大云产品 目 录 1. 盛大云平台综述 2. 盛大云主机架构 3. 分布式镜像系统 4. 网络安全系统 5. 资源调度系统 6. 实践中的问题 n 部署规模&效率 l 盛大镜像系统 n 安全 l 网络安全系统 l 云安全 n 资源管理 l 资源调度系统 n 数据可靠性 l 云硬盘 l 云存储 公有云平台面临的挑战 n 镜像系统 l 大规模并发条件下快速创建云主机 l 云主机的备份和恢复 n 网络安全系统 l 用户组隔离 n 调度系统 l 池资源分配---计算资源、存储资源、网络资源 l 性能控制和隔离 云主机三大核心系统 云主机系统架构 用户 SOAP/ REST 接入层 云控制器 镜 像 系 统 网络安全 系 统 资源调度 系 统 工 作 模 块 计算资源 工 作 模 块 工 作 模 块 工 作 模 块 存储资源 网络资源 目 录 1. 盛大云平台综述 2. 盛大云主机架构 3. 分布式镜像系统 4. 网络安全系统 5. 资源调度系统 6. 实践中的问题 云存储 云主机镜像 云主机资源池 物理机 云主机磁盘镜像生成过程 纵向流量，瓶颈 镜像系统的位置 l 介于计算资源池和存储资源池之间 l 每个计算节点同时划出⼀一部分资源作为镜 像系统的存储节点 云存储 镜像系统 云主机 n 设计目的 l 支持大规模并发、高效的云主机部署 l 云主机的备份，克隆 l 云主机的快速恢复 n 实现 l 基于Key-Value的定制化分布式存储系统 n 跟云存储的区别 l 云存储：可靠性；海量数据； l 镜像系统：效率；备份功能； 镜像系统 云存储 存储节点 存储节点 存储节点 云主机资源池 物理机 基于镜像系统的 镜像生成过程 n 校验 n 切片 n 元数据调度 n 分发 云主机镜像上传 云主机资源池 存储节点 存储节点 存储节点 云存储 物理机 系统架构 n Key-value l  Key：文件名+CRC32检验值 n 元数据写：9份 n 元数据读：5份，判断时间戳 元数据管理 n 镜像缓存备份数动态调整 l 镜像热度：前5分钟内下载次数 l 高热度镜像：扩大备份数 l 存储空间满：减少最冷镜像备份数；LRU算法； 镜像弹性扩展 目 录 1. 盛大云平台综述 2. 盛大云主机架构 3. 分布式镜像系统 4. 网络安全系统 5. 资源调度系统 6. 实践中的问题 n 保证云主机安全 n 端口访问控制 n 集群权限控制 网络安全系统 当前盛大云网络体系结构 vm1 bridge eth0 Vif3.0 peth0 Gateway(NAT Server) bridge tap6.0 peth0 host1 host2 vm2 eth0 Internet bridge Vif2.0 peth0 host3 vm3 eth0 Vm3’ eth0 Vif5.0 Xen host 物理逻辑视图 host vm1 vm1 vm1 vm1 vm1 vm Grand cloud 用户视图 vm1 vm2 vm3 vm4 client Web server mysql ftp server Bill Gates John Chambers n 限制云主机可以发送的包 内容 财务内部控制制度的内容财务内部控制制度的内容人员招聘与配置的内容项目成本控制的内容消防安全演练内容 n 禁止云主机发送修改过MAC或IP的包 n ARP攻击防御 n 以太网上出现的MAC: »  Host1Peth0, Host2Peth0, 所有host »  »  GW n VM看到的MAC—只有⼀一个(mac masquerade): »  FE:FF:FF:FF:FF:FF 云主机安全保护 vm1…, vm2…,所有云主机 ARP 攻击防御 vm1 bridge eth0 Vif3.0 peth0 bridge Vif6.0 peth0 host1 host2 vm2 eth0 Gateway(NAT Server) Internet ASRA(ARP Spoofing Resistant Agent) ARA [MAC NAT] [ARP拦截] [ARP响应] ARA [MAC NAT] [ARP拦截] [ARP响应] 目 录 1. 盛大云平台综述 2. 盛大云主机架构 3. 分布式镜像系统 4. 网络安全系统 5. 资源调度系统 6. 实践中的问题 n 资源池 l 隔离性 l 公平性 l 稳定性 l 高性能 资源管理发展趋势 n CPU隔离 n 网络隔离 n 磁盘I/O隔离 资源隔离技术 CPU隔离策略 l 为所有虚拟机的VCPU绑定物理CPU l 为Domain-0绑定物理CPU l 为所有VCPU设定权值，以便多个 VCPU共享⼀一个物理CPU时可以公平调 度 CPU资源隔离示意图 网络隔离策略 网络隔离 n 使用iptables+tc进行网络隔离 n 入口流量：⼀一般不作限制，但也可以通过策略限制 n 出口流量：对网桥设备使用HTB控制。 网络隔离-实现 "   网络控制图示 磁盘I/O隔离策略 "   dm-ioband "   不设置绝对上限 "   只设置比例 I/O隔离 "   非活跃组的带宽被活跃组使用 目 录 1. 盛大云平台综述 2. 盛大云主机架构 3. 分布式镜像系统 4. 网络安全系统 5. 资源调度系统 6. 实践中的问题 功能问题（简单） n  双线 n  Etc. 技术问题（困难） n  性能隔离 n  安全体系 n  大规模快速部署 n  Etc. 其他问题（不定） n  域名备案 n  Etc. 谢 谢！ Q & A