Orcle 11g

<InsertPictureHere>甲骨文新一代数据仓库基础平台—Oracle11g数据库今天的IT系统-关键技术需求信息安全极限计算性能巨大的数据量处理要求,在线/近线/离线极限数据处理,更高的带宽与IO要求应用与 流程 快递问题件怎么处理流程河南自建厂房流程下载关于规范招聘需求审批流程制作流程表下载邮件下载流程设计 需要亚秒级响应速度，实时数据 分析 定性数据统计分析pdf销售业绩分析模板建筑结构震害分析销售进度分析表京东商城竞争战略分析 利用基于内存计算的技术高稳定性,高可用性高并发支持，高共享式数据库集群技术应用服务器集群支持，保证业务连续性双活的灾备中心企业级信息安全，法规遵从信息存储安全、备份安全信息传输与发布安全，认证安全管理与运维自动化管理，升级、打补丁、克隆等绿色数据中心，网格与虚拟化混合型应用支持,不同优先级及资源规划业务连续性©2009OracleCorporation-Confidential2大规模并行网格(MPG)•最快的数据仓库•最快的OLTP•最强的混合系统面向未来的体系架构©2009OracleCorporation-Confidential3OracleTechnologyonExadataOracleEnterpriseLinuxOracleDatabase11gR2forExadata智能扫描(SmartScan)混合列压缩(HybridColumnarCompression)并行执行和缓存Exadata存储索引(ExadataStorageIndexes)RealApplicationClusterPartitioningASM©2009OracleCorporation-Confidential4Oracle数据库30年的持续创新Exadata智能存储真正应用测试高级压缩自动存储管理透明数据加密自我管理数据库XML数据库OracleDataGuard真正应用集群闪回查询虚拟专用数据库内建JavaVM分区支持内建消息传递对象关系支持多媒体支持数据仓库优化并行操作分布式SQL与事务支持集群和MPP支持多版本读取一致性客户端/服务器支持平台可移植性商业SQL实施Oracle2Oracle9iOracle5Oracle6Oracle7Oracle8Oracle8iOracle10gOracle11g19772007©2009OracleCorporation-Confidential5网格提供强大的运算能力和优异的性能01,000,0002,000,0003,000,0004,000,0005,000,0006,000,0007,000,0008,000,000tpmCOracleMicrosoftIBMOracleonSun:运行最快的网格数据库12SunSPARCEnterpriseT5440,7,717,511tpmC,available11/Oct/09.Source:TransactionProcessingCouncil(TPC),www.tpc.org7,717,511©2009OracleCorporation-Confidential6OracleRAC集群数据库技术体系架构集群数据库服务器存储设备高速交换机存储交换机三层架构/两层架构集中管理平台SAN存储网络高速网络互连用户避免单点故障大吞吐量、高性能、可扩展性©2009OracleCorporation-Confidential7ASM与传统存储管理方式的区别使用ASMOracleASMLogicalVolFilesFileSystemTablespaceTablesDiskGroupFileSystem0010001000100010001000100010001000100010FilesLogicalVolTablespaceTables传统方式DisksNetworkedStorage(SAN,NAS,DAS)©2009OracleCorporation-Confidential8自动存储管理ASM实现存储网格集群化的存储池，最大支持40EB的存储空间整合多个10g/11g数据库的存储空间，共享的存储池动态容量管理添加、移除、重组自动进行数据的均匀分配，存储设备利用率高持续自动的IO优化，减少热点块，性能接近裸设备支持智能镜像存储网格ASM多数据库HR数据库CRM数据库SRM数据库©2009OracleCorporation-Confidential9ASM集群文件系统(ACFS)ASM支持所有数据数据库文件文件系统：ACFS、第三方文件系统共享集群件文件：OCR和 表 关于同志近三年现实表现材料材料类招标技术评分表图表与交易pdf视力表打印pdf用图表说话 pdf 决磁盘现在存储在ASM中11.2中的新特性数据库数据文件OCR和表决文件Oracle二进制文件第三方文件系统自动存储管理(ASM)文件系统应用程序数据库ASMFilesforOracleDBFilesASMClusterFileSystem(ACFS)DynamicVolumeManagerACFSSnapshot©2009OracleCorporation-Confidential10<InsertPictureHere>智能扫描(SmartScan)©2009OracleCorporation-Confidential11Exadata的存储端数据库处理逻辑ExadataStorageServer在存储端进行数据密集型处理智能扫描SmartScanROW使用“where”谓词筛选行COLUMN列筛选JOIN联接筛选增量备份筛选混合型列压缩技术自动透明的存储索引扫描加密数据通常可将发送到数据库服务器的数据减少10倍无需更改应用程序处理是自动和透明的即使在查询期间单元或磁盘发生故障©2009OracleCorporation-Confidential12基础技术–传统扫描处理技术基于传统存储技术，全部的数据库智能存在于数据库主机。来源于存储的数据大部分被数据库主机所丢弃。大量的废弃数据占用了宝贵的数据库主机资源（IO、内存和CPU），严重影响其它任务执行，处理缓慢。I/Os执行:返回1TB数据DB主机筛选1TB数据，得到1000行客户要求的数据，计算并返回给客户端返回数据行SELECTcustomer_nameFROMcallsWHEREamount>200;DB主机确定表的存储分区发起I/Os请求©2009OracleCorporation-Confidential13基础技术–SmartScan处理技术Exadata为什么快10-100x倍?Oracle数据库网格问 题 快递公司问题件快递公司问题件货款处理关于圆的周长面积重点题型关于解方程组的题及答案关于南海问题 ：昨天的销售业绩如何？Exadata智能存储层SUMSelectsum(sales)whereDate=’24-March’…SmartScan在TB级数据中扫描匹配请求的数据构建并发SmartScan请求仅仅返回满足条件的数据(行、列)Exadata还支持存储层的Join过滤、索引、表空间创建、增量备份…©2009OracleCorporation-Confidential14<InsertPictureHere>混合列压缩(HybridColumnarCompression)©2009OracleCorporation-Confidential1511.2NewExadataOnlyExadata混合列压缩•数据按列存储，然后压缩•针对数据仓库的查询模式•–为提高速度进行了优化•–通常压缩比可达10倍•–扫描成比例增长•针对不常访问数据的归档模式•–为减小空间进行了优化•–通常可达15倍压缩•–对某些数据可达50倍压缩©2009OracleCorporation-Confidential16Exadata混合列压缩•表的几千个行形成一组，叫压缩单元CompressionUnits(CU)‏•在压缩单元中，根据列组织数据，再压缩•将列举有相似值的数据放在一起，以提升压缩能力•对大量数据加载和查询很有好处ReducesTableSize4xto40x减少4x-50xCompressionUnitColumn1Column2Column3©2009OracleCorporation-Confidential17压缩的行混合列Row1SymbolTableRow2Row3DatabaseBlock•很好的随机行访问特性•表访问一般•2x-5x压缩Column1Column2Column3列存储•很差的随机行访问特性•非常好的TableScan•5x-40x压缩CompressionUnit1Column1Column2Column3CompressionUnit2C1C2C3•很好的随机行访问特性•非常好的TableScan•5x-40x压缩行压缩vs列存储vs混合列压缩©2009OracleCorporation-Confidential18Exadata混合列压缩查询和归档查询压缩•10xaveragestoragesavings•10xScanI/Oreduction归档压缩•15xaveragestoragesavings•Upto50xonsomedata•Someaccessoverhead•Forcoldorhistoricaldata速度优化空间优化SmallerWarehouseFasterPerformanceReclaim93%ofDisksKeepDataOnlineCanmixcompressiontypesbypartitionforILM©2009OracleCorporation-Confidential1910101011161919192021294305101520253035404550SizeReductionFactorbyTableOLTPCompression(avg=3.3)QueryCompression(avg=14.6)ArchiveCompression(avg=22.6)Real-WorldCompressionRatiosOracleProductionE-BusinessSuiteTables•Columnarcompressionratios•Query=14.6X•Archive=22.6X•Varybyapplicationandtable52©2009OracleCorporation-Confidential20<InsertPictureHere>并行执行和缓存©2009OracleCorporation-Confidential21第一个查询执行后，T1表的不同部分在两个缓存OracleDatabase11gR2发布之前并行执行和缓存RACASM第二个查询之后，从cachefusion查询需要的T1数据CacheFusion直到T1表的完整拷贝在两个cache找到©2009OracleCorporation-Confidential22内存中并行执行SQL语句确定所查询表的大小读到任意节点的缓冲区缓存中表非常小如果表非常适用于内存中并行执行直接从磁盘读取表非常大将表的各部分读到每个节点的缓冲区缓存中只有同一RAC节点上的并行服务器可以访问每个部分©2009OracleCorporation-Confidential23内存中并行执行•数据库11.2版引入了对内存缓存(DRAMcached)数据的并行查询处理•–利用整个数据库集群的内存容量进行查询•–1TBTPC-H世界纪录的基础•一个SunOracleDatabaseMachine机架•可用DRAM400GB进行缓存•Exadata混合列存储可使4TBdatainDRAM315,8421,018,3211,166,976ParAccelExasolOracleQphH:1TBTPC-H比专用内存数据仓库更快NewDRAM比磁盘有100x带宽©2009OracleCorporation-Confidential24<InsertPictureHere>存储索引(StorageIndex)©2009OracleCorporation-Confidential25Exadata存储索引无需任何开销即可透明地消除I/O•Exadata存储索引在内存中保存表数据的汇总信息•存储列的MIN和MAX值•通常每MB磁盘空间建立一个索引项•如果MIN和MAX值不匹配查询的“where”‏子句，则不访问磁盘I/O•完全地自动化和透明ABCD135583MinB=1MaxB=5TableIndexMinB=3MaxB=8Select*fromTablewhereB<2-仅第一组记录匹配New©2009OracleCorporation-Confidential26Exadata存储索引示例表SALES–•对常用列自动收集的摘要•存储在ExadataStorageServer的内存03-NOV-200919-OCT-200901-OCT-200907-OCT-200905-SEP-200919-SEP-2009Ship_dateOrder_dateCust_IDProd_IDAmount03-SEP-2009100753293210,000.0003-SEP-2009200982009820,000.0003-SEP-2009100892001015,000.0003-SEP-2009201001000035,000.0003-SEP-2009803003000010,000.0003-SEP-200910000203040,000.0003-NOV-200901-OCT-2009Ship_date07-OCT-200905-SEP-2009Ship_dateDataChunk#103-SEP-200903-SEP-2009Order_date8030010000Cust_ID300002030Prod_ID40,00010,000Amount20,00010,000AmountDataChunk#2MINMAXOrder_date03-SEP-200903-SEP-2009Cust_ID1007520098Prod_ID2001032932©2009OracleCorporation-Confidential27Exadata存储索引示例表SALES–•存储索引将无关datachunk忽略掉•提供类似分区修剪的功能WHEREship_datebetween’01-SEP-2009’and’31-SEP-2009’排除datachunk#203-NOV-200901-OCT-2009Ship_date07-OCT-200905-SEP-2009Ship_dateDataChunk#103-SEP-200903-SEP-2009Order_date8030010000Cust_ID300002030Prod_ID40,00010,000Amount20,00010,000AmountDataChunk#2MINMAXOrder_date03-SEP-200903-SEP-2009Cust_ID1007520098Prod_ID200103293203-NOV-200919-OCT-200901-OCT-200907-OCT-200905-SEP-200919-SEP-2009Ship_dateOrder_dateCust_IDProd_IDAmount03-SEP-2009100753293210,000.0003-SEP-2009200982009820,000.0003-SEP-2009100892001015,000.0003-SEP-2009201001000035,000.0003-SEP-2009803003000010,000.0003-SEP-200910000203040,000.00x©2009OracleCorporation-Confidential28Exadata智能扫描:卸载dataminingscoring处理Dataminingscoring在Exadata执行:所有的dataminingscoring功能卸载到Exadata主要性能益处:CPU密集的操作从数据库服务器转移到exadatastorageservers高达2x性能收益(因为更多CPU在Exadatastoragegrid)‏更多性能收益,因为I/O优化减少数据库服务器的CPU使用selectcust_idfromcustomerswhereregion=‘US’andprediction_probability(churnmod,‘Y’using*)>0.8;ScoringfunctionexecutedinExadataNew©2009OracleCorporation-Confidential29SunOracleDatabaseMachine:对大型扫描的优化1TB（压缩）10TB的用户数据需要10TB的IO100GB（分区修剪）20GB（存储索引）5GB（智能扫描）在DatabaseMachine上实现亚秒级数据存储减少10倍，扫描加快2000倍©2009OracleCorporation-Confidential30Exadata–全新的IT基础架构Exadata存储网格数据库网格中间件应用服务器网格数据中心的中心•ApplicationServerGridCloud•DBGridCloud•StorageGridCloud©2009OracleCorporation-Confidential31集中化共享需求-升级到Exadata•最大动力：降低多个专业数据库系统的成本开销•虚拟化、云计算•基于Exadata一体机进行集中共享•全部应用可得益于一体机的高性能•全部应用可得益于一体机的低成本•全部应用可得益于一体机的共享环境下的可预测响应时间•满足全部数据管理需求•完备、开放、集成， 标准 excel标准偏差excel标准偏差函数exl标准差函数国标检验抽样标准表免费下载红头文件格式标准下载 的Oracle11gERPCRMWarehouseDataMartHRCRMERPWarehouseDataMartHRGoldengate©2009OracleCorporation-Confidential32系统安全可靠的升级-ExadataRealApplicationTestingDatabaseReplay–提取工作负载并在测试系统中重演SQLPerformanceAnalyzer–找到并修改引起性能问题的SQL语句MiddleTierCaptureDBWorkloadStorageOracleDBserversReplayDBWorkloadOracleDatabase10gProductionOracleDatabase11gRACTestStorage©2009OracleCorporation-Confidential33SunOracleDatabaseMachine总结为所有的数据管理系统提供超级的性能•适用于数据仓库应用的最好的数据库服务器（BestforDataWarehousing）•基于10x压缩表的Smartscan•基于内存数据的并行查询•整体上比11.1版本快5倍•适用于OLTP系统的最好的数据库服务器（BestforOLTP）•唯一基于网格技术扩展的数据库•Smartflashcache可达到20x（1MIOPS）快的IOPS,或者节省20x的磁盘•对于归档数据可达到50x的压缩率•安全,容错•适用于混合负载的最好的数据库服务器（BestforConsolidation）•唯一的支持所有负载类型的databasemachine•多个数据库,多个应用,多个用户环境都能提供可预测的响应时间©2009OracleCorporation-Confidential34©2009OracleCorporation-Confidential35