SAP-BW数据仓库增量更新

SAP-BW数据仓库增量更新1说说假增量我们都知道，对于BW来说，很多ECC的标准数据源自带了增量更新功能，每天各种凭证产生的增量数据会自动堆积到增量队列里，然后BW端做一个增量信息包按天把这些增量抽取到数据仓库里，非常轻松自然，对于客户和顾问，都是透明的自动的容易实施的，这也是上过ECC的企业数据仓库采用SAPBW的一个优势所在。但是对于非ECC的一般数据库或者ECC的自定义数据源，做增量更新就苦了。对于ECC的自定义数据源，SAP给了一种标准 方案 气瓶 现场处置方案 .pdf气瓶 现场处置方案 .doc见习基地管理方案.doc关于群访事件的化解方案建筑工地扬尘治理专项方案下载 ，我们看看这种方法：用一个时间字段或数字字段标记增量，当这个字段在 表 关于同志近三年现实表现材料材料类招标技术评分表图表与交易pdf视力表打印pdf用图表说话 pdf 里的数值变化时，就认为是增量，把这条记录作为增量记录，增量信息包会挑出这些记录传送上去。这种方法的问 题 快递公司问题件快递公司问题件货款处理关于圆的周长面积重点题型关于解方程组的题及答案关于南海问题 是显而易见的，不管是时间还是数字字段，我们都需要ABAP工作者额外编程去控制这个字段的变化，这样才能正确让系统选择出增量（用表中的凭证创建日期等字段作为时间字段去控制是不可行的，因为你不能保证今天不会修改昨天的数。）对于非ECC的一般数据库连接，SAP很干脆的说，不支持增量（06年是这么讲的，以后支不支持不晓得）总结一下，在不同的数据源下，对增量的支持是这样的：S^uree-SystemDeletionofthecurrentyearpriorfoloadingthecurrentyearwillensuredataaccuracyChanges-todat^recordsareonlypossiibHe/p^nnitt@d=2004iti(itVtFullUpchrit:Se-tKti-OH*2TO5-9939(wiilhpirevi^u-snulorni黑tic:aeiettcmotstmliarrequetls)20052W4ClosedPeriod<2003SourceTables)tFigure123:DeHaUsingFullUpdate:Snapshots解释一下这个图，CUBE里的数据是不能覆盖的，所以，如果要每天抽取部分数据的话，必须要把上次相同抽取条件（比如：今年）的数（请求）给删掉，这个我们可以在处理链里设置：删除信息块中的重叠请求：F：删陳洁急块甲的重進诘驶:处邂蜒护：删険信息块中的重叠请求变式RRR叵）rrrrr11；34：18m：3j摄后更改应匚HENLING更敢时I同2009.11.30在叵更新后从信息块删除谙求选择」在目标类型上莅F%然后在名称上按FH选样对象时象类型对擦名称JOADING执行信息包-闫團闫0洁対删除甲谙电）删险现有的诸求…条件□全部或胡始数据加載□信息源是相同的□数据湄相同□游不貌桶同选择是O相同或更茨全面性的选挥条件回诘求日期⑥仅从当前月O仅从摄近的了天O昨天威令天例外：O从信息包中便用信息睦的删除逛择⑥便闿以下刖除魅择騙辑所肓信息决：命删矗选择将在……时装载新的谙求0■亘1月的天数一月的垢后一天□星期请关注最后两句！我是写这篇文章的时候去翻 教材 民兵爆破地雷教材pdf初中剪纸校本课程教材衍纸校本课程教材排球校本教材中国舞蹈家协会第四版四级教材 才发现的，具体方法应该就是本文这种或者备注猜测的那种。本文说了那么多，教材这两句竟然给概括掉了，真牛！有的时候想想，SAP官方教材还真是有很多闪光点的，窝在一些无人关注的角落等待你突然发现……一般来说，数据源都是先把数传递到DSO再到CUBE，每次删除重复请求感觉上也不是很安全，所以上述方法使用的不多。先到DSO再到CUBE,每一次用程序抽取最近N个月数据的这种假增量方法看似比较完美，其实背后隐藏了一个极大的问题，即用户在源系统物理删除的那部分记录如何在BW也每天自动删除掉。原系统物理删除掉的记录，BW在抽取过程中是无法自动识别的，在DSO的更改日志里当然也体现不出来，CUBE端肯定也不会自动删除掉，这个如何处理？放任不管是肯定不行的，在这次首钢项目的开始，项目组就提出了这个问题，要求给出合适的解决方案。1让客户最偷懒的，解决物理删除问题的假增量方案解决方案经过研究，可以有以下两种主要思路。第一种，由开发源系统的客户方维护人员，在视图里增加一个删除标记，每一次数据删除了，都打上这个标记，BW抽取上来后，在报表里设置条件，凡是有这个标记的数据，就不显示出来。这种方案的问题在于客户必须要修改它那边源系统的代码，很多时候，客户想偷个懒，不太愿意改，这种方案需要客户配合，也不是标准的解决方案。第二种方法，在BW这边识别，并在抽取时自动进行处理，这样客户什么也不需要做，相当舒服，但是BW这边如何能尽量方便的处理，就得综合考虑一些问题了。问题一：BW如何找出被物理删除的记录？可以在开始例程里统一判断，即把开始例程的SOURCE_PACKAGE和DSO中相关记录进行比对，DSO中有，而SOURCE_PACKAGE找不到的记录，即可认为是删除，例程如下：SELECT*FROM/bic/az3pp_o0900INTOTABLEit_dso.LOOPATit_dsoINTOst_dso.READTABLESOURCE_PACKAGEINTOst_sourceWITHKEYSTAT_DATE=st_dso-calday.IFsy-subrc<>0.“确认删除，此处开始处理问题二ENDIF.ENDLOOP.问题二：找到被删除记录后，怎么能让DSO的更改日志知道这条记录被删除了?我们知道，DSO的更改日志会自动把这一次的数据和上一次的数据进行比对，把差异记录在日志表里，再传递到CUBE中，因此，我们可以考虑，手工把被删除数据的关键值统一设置为0这样，假设原来关键值是15的话，DSO会被覆盖成0,DSO的更改日志表会变成-15,再传到CUBE中就是15+(-15)=0了。这样等于针对删除记录自动产生了反冲记录，可以同时保证DSO和CUBE数据的准确性了(DSO和CUBE该记录都为0了)，例程如下：LOOPATit_dsoINTOst_dso.READTABLESOURCE_PACKAGEINTOst_sourceWITHKEYSTAT_DATE=st_dso-calday.IFsy-subrc<>0.st_source-STAT_DATE=st_dso-calday.st_source-L4_FACILITY_ID=st_dso-plant.st_source-L4_WORKCENTER_ID=st_dso-workcenter.st_source-EQPT_OUT=0.st_source-EQPT_SCRAP=0.st_source-SACRPT_HRM_INPUT=0.st_source-SALE_OUT=0.st_source-SALEMAT_HRM_INPU=0.st_source-record=tmp_record.APPENDst_sourceTOSOURCE_PACKAGE.ENDIF.ENDLOOP.注意，上述例程中非关键值要设置成和原先一样，关键值都要设置成0.完整例程如下：DATAit_dsoTYPETABLEOF/bic/az3pp_o0900.DATAst_dsoTYPE/bic/az3pp_o0900.DATAst_sourceTYPE_ty_s_sc_1.DATAtmp_recordTYPErsarecord.SELECT*FROM/bic/az3pp_o0900INTOTABLEit_dso.READTABLESOURCE_PACKAGEINTOst_sourceINDEX1.tmp_record=st_source-record.CLEARst_source.LOOPATit_dsoINTOst_dso.READTABLESOURCE_PACKAGEINTOst_sourceWITHKEYSTAT_DATE=st_dso-calday.IFsy-subrc<>0.st_source-STAT_DATE=st_dso-calday.st_source-L4_FACILITY_ID=st_dso-plant.st_source-L4_WORKCENTER_ID=st_dso-workcenter.st_source-EQPT_OUT=0.st_source-EQPT_SCRAP=0.st_source-SACRPT_HRM_INPUT=0.st_source-SALE_OUT=0.st_source-SALEMAT_HRM_INPU=0.st_source-record=tmp_record.APPENDst_sourceTOSOURCE_PACKAGE.ENDIF.ENDLOOP.这样的方案，我们每一次都只需把数据源到DSO的转换增加一个类似的开始例程，所有物理删除的问题就可以得到统一的解决了。以后有少数字段调整，修改起来也比较方便。对源系统那端的开发人员，工作量=0，对BW顾问，工作量也很小：）写了这么多，总结一下，用户物理删除（无删除标记的）的假增量方案，也就是如下两步而已：1）每次抽取最近几个月的数据到标准DSO再到CUBE,2）从数据源到DSO的转换增加一个开始例程，把每次传输源系统删除的数据找出来，以关键值为0的形式更新到后续的数据目标中。2备注：关于这种场景，SAPBW350的标准教材里说到一种方法，好像就是我本文这个意思（写的非常简略，我这篇文章把它细节化了），还有一种可能是手工把RECORDMODE这个字段设置成D或者R（删除或反转映像？）的意思，教材没有提！我们这种做法经过实验是肯定可以的，手工设置RECORDMODE字段如果可行的话，应该更节约代码量….留待大家挖掘。。。教材原文：If丹迅siippQitad号1価pi-Q?