下载
加入VIP
  • 专属下载特权
  • 现金文档折扣购买
  • VIP免费专区
  • 千万文档免费下载

上传资料

关闭

关闭

关闭

封号提示

内容

首页 ingest(摄取)

ingest(摄取).doc

ingest(摄取)

徐琼英
2018-05-02 0人阅读 举报 0 0 暂无简介

简介:本文档为《ingest(摄取)doc》,可适用于社会民生领域

ingest(摄取)ingest(摄取):继续新特性DB数据摄取客户端工具简介:摄取应用工具是DB伽利略(DB的开发代号)版本中新的概念它是一个客户端工具。用户可以用摄取来进行数据的导入它与负荷进口有相似的功能。它的安装比较简单能和低版本的数据库服务器端进行连接和操作。引言摄取是DB伽利略(DB的开发代号)的新特性是为了有大量持续的数据流来实时和并发的快速进行数据导入而引入的新概念。这样可以避免数据被锁可以小时对数据库进行操作。摄取有数据修复的功能在数据导入中断时能找到中断点并能继续进行数据导入。摄取支持复杂的SQL表达式语法是更加好用的客户端软件。用户可以用摄取做插入更新删除、、、取代和合并操作更方便的为客户提供服务。摄取介绍摄取支持文件和管道两种输入类型支持del、ASC两种数据格式支持SQL表达式支持插入、更新、取代、删除和合并操作支持并发更改插入删除可以根据时间间隔或者数据条数来提交数据。摄取会把未插入的数据放入文件表或者直接丢弃支持修复和重启。摄取支持ESEpureScaleDPF环境。摄取与数据引擎使用标准化的外部接口是个多线程工具速度快效率高。摄取支持很多种表但不支持AQT(加速查询表)、上中(创建或已声明的全局临时表输入表)和类型视图。同时摄取不支持LOB(BLOBCLOBDBCLOB)、XML、结构类型这些数据类型和基于这些的自定义数据类型。摄取工具有以下相关的命令:,摄取来进行数据导入最简单的语法结构是:摄取>“数据”>|从文件或管|>>|格式子句|>>|选项|>>|SQL语句|>,使用列表来显示当前的摄取进程信息。,摄取得到统计来得到当前的摄取状态统计信息。,使用集来设置摄取的一些参数例如下面的一些参数:,commitcount来设置多少条记录作为一个事务提交,commitperiod设置多长时间提交一次,numflushersperpartition每个数据库分区的冲洗数量,numformatters,pipetimeout管输入类型的最大等待接收数据时间,retrycount重试的次数,retryperiod重试的时间间隔,shmmaxsize最大的共享内存。摄取与负荷和进口对比摄取与负荷进口功能上的异同摄取只支持delASC数据格式而进口还可以支持WSD和IXF格式负载还可以支持IXF和光标格式。摄取支持ASC数据格式的参数与负荷进口不同、进口、负荷使用方法l()来统一设置所有字段的位置INGESTusingPOSITION(:)toeachfieldlocationINGESTsupportsputtingwrongdataintofilesortables,andLOADsupportsputtingwrongdataintofiles,andIMPORTdoesnotsupportputtingwrongdataintodatatablesorfilesCanbethesameasIMPORTimportresultsForanyinputdatafile,aslongasthefollowingconditionsaremet,theINGESTandIMPORTcommandsshouldproducethesameresults:thesamecolumntypefielddefinitionspecifiesadatatypeandlengthandinthetableTheASCIIstringisvalidwithoutboundsInputdataUsecharacterdelimiterisconsistentIftheuseofENCLOSEDBY'|'characterfielddatashouldbeusedasseparator|DigitaltypeerrorhandlingFordigitaldata,ifthereisastringordatacrossthephenomenon,INGESTprocessingandLOAD,IMPORTisdifferent,INGESTwillrefuseinsertanderrorWhileIMPORT,LOADhadthefollowing:ifthecolumncanbeempty,IMPORT,andLOADintothenewspaperwarnedIfthecolumncannotbeempty,LOAD,IMPORTandrefusedtoinserterrorInadditiontothedatatypeoutsideDECIMAL,whenthedataisoutofbounds,thecolumnisempty,IMPORT,LOADinsertandwarnifnotempty,IMPORT,LOADrefusedtoinsertanderrorfortheDECIMALdatatype,whenthedatahappens,IMPORT,LOADandrefusedtoinserterrorThecharacteristicsofCODEPAGEconversionINGESTconsidersthreetypesofCODEPAGE,aDBclientapplicationCODEPAGE,oneistheinputdataassociatedwiththeparametersofINPUTCODEPAGECODEPAGEINGESTINPUTCODEPAGE,ifyoudonotspecifyadefaultparameter,theinputdataistheapplicationoftheCODEPAGE,oneiscreateandthedatabasecommandrelateddatabaseCODEPAGEIfthefieldandtablecolumnisspecifiedbyFORBITDATA,thenINGESTwillnotdoCODEPAGEconversionIfthereisadefinitionofFORBITDATAinthetable,thenFORBITDATAisusedinthecorrespondingfieldwhentheINGESToperationisperformed,whichcanavoidtheunpredictablenatureofthedataThefollowingexampleillustratestheCODEPAGEconversioninINGESTTheinputdataofCODEPAGEis,CODEPAGEapplicationdatabaseis,CODEPAGEis,theinputdatais"e""E"isX'E'in,inX'',inX'CA'IfthefieldandtablecolumnarespecifiedasCHARFORBITDATA,thenthedatastoredintheDBdatabaseisX'E'ifthefieldandtablecolumnarespecifiedasCHAR,thenthedatastoredintheDBdatabaseisX'CA'IntroductionofINGESTexampleINGESTimportdataintothedatabasetable,soyouneedtohavedatatablesanddatafiles,andthenusethecorrespondingcommandINGESTtoimportdatafilesintothedatabasetabletoachievethevalueofINGESTINGESTcommand,INGESTcommandallowsyoutocreateaCLPfile,whichcontainstheinputtype,dataformat,correspondencefieldsandcolumns,aswellasthecorrespondingInsert,Update,Delete,ReplaceorMergeCreatingadatatablestructureInthefollowingexample,weneedtousethefollowingtable,mytable,mytableYouneedtousetheDETELEFROMcommandtoemptythetablebeforeeachinstance,soasnottoaffecttheresultofthenextinstanceListingisbuiltlist,whichincludestheestablishmentoftheRESTARTtableListingbuildtablelistDBcreateDBtestdbusingcodesetterritoryUScollateusingsystemDBconnecttoTestDB"DBcreatetablemytable(perkeyintegernot,DateType日期chartypechar())”DB创建表mytableCC(intchar()C、C字符varchar()不同()C长varchar、C、CVARGRAPHICVARGRAPHIC()()()C字符比特数据Cvarchar()比特数据C焦变()位数据)”DB“叫SYSPROC。sysinstallobjects('ingest’‘D’铸造(空为varchar())铸造(空为varchar()))”DB“叫SYSPROC。sysinstallobjects('ingest’‘C’铸造(空为varchar())铸造(空为varchar()))”实例:使用最简单的del类型摄取使用格式分隔或格式位置来分别执行del和ASC格式的数据。这个例子介绍del数据的支持。对mytable表清单列出了输入数据的内容包括行列数据分别对应数据库表的intchar日期列其中第三列数据使用了默任的字符串分割符'”。清单。myfiletxt内容,、“odcztnctxqjfzdfwreviguvtg”,、“ggecwdeddunvomzukdctfzcal”,、“gjjdkmtcnavczdfxwxgehtp”,、“tqdbyevlcukngvaromauutbnbywk”,、“ssqcmayizuvueaokdznniviqg”清单列出了摄取命令及执行结果。这个是最简单的摄取命令使用默认的最简单语句加上重启了意味着不使用重启功能如果不加的话需要建立一个重启表不然会报错清单中有建表语句摄取。清单。及其结果摄取语句DB“摄取文件myfiletxt格式重新插入分隔开mytable”sqli摄取效用开始在“::”。sqli摄取效用已开始下面的消化工作:“db:::”。读取=的行数插入的行数=被拒绝的行数=sqli摄取效用在时间戳“成功完成::”DB“选择*从mytable顺序perkey”perkeyDateTypechartypeggecwdeddunvomzukdctfzcalssqcmayizuvueaokdznniviqgehtpgjjdkmtcnavczdfxwxgtqdbyevlcukngvaromauutbnbywkodcztnctxqjfzdfwreviguvtg记录(s)选择。实例德尔用|作为分割符这个实例与实例类似只是使用了自定义的字段分割符”|'而不是默认的''。ListingshowsthedatacontentofthisinstanceListingmyfiletxtcontent||"ODCZtnctxQjfZdfwReviGUvtG"||"ggeCwDEddunVOMZuKDctfzCal"||"GJJdkMTcnavCzdfXwXgEHTP"||"TqdBYEVlCuKNgVaROMauUtbnbyWK"||"ssQCmayiZuVUEAoKDZnNiViQG"ListingshowstheINGESTcommandtoadd$numberfieldnamebefore,aredefinedforeachfieldtype$fielddefinesthemmddyyyyformatofDATE,sothedatainListingshouldalsousetheformatofmmddyyyyYoucanuseDBtvfingesttxttoexecuteINGESTcommandsTheingestcommandinlistingcontainsingesttxtINGESTFROMFILEmyfiletxtFORMATDELIMITEDBY'|'($fieldINTEGEREXTERNAL,$fieldDATE'mmddyyyy',$fieldCHAR())RestartoffInsertINTOmytableVALUES($field,$field,$field)ExamplesofCODEPAGEtransformationsInthisexample,INPUTCODEPAGEuses,applicationCODEPAGEuses,databaseCODEPAGEis,andusesmytabledatatableMyfiletxtalsousesdatafileCODEPAGEListingshowsthecontentsofingesttxt,thedefinitionofcolumnfieldsrespectivelycorrespondingtothetableListingingesttxtcontentINGESTFROMFILEmyfiletxtFORMATDELIMITEDINPUTCODEPAGE($fieldINTEGEREXTERNAL,$fieldCHAR,$fieldCHAR,$fieldCHAR,$fieldCHAR,$fieldCHAR,$fieldCHAR,$fieldCHARFORBITDATA,$fieldCHARFORBITDATA,$fieldCHARFORBITDATA)RestartoffInsertINTOmytableExecutetheINGESTcommandafterthequeryresultsasshowninlistingListingruningesttxtandquerytheresultsDBtvfingesttxtINGESTFROMFILEmyfiletxtFORMATDELIMITEDINPUTCODEPAGE$field(INTEGEREXTERNAL,$fieldCHAR,$fieldCHAR,$fieldCHAR,$fieldCHAR,$fieldCHAR,$fieldCHAR,$fieldCHARFORBITDATA,$fieldCHARFORBITDATA,$fieldCHARFORBITDATA)RestartoffInsertINTOmytableSQLITheingestutilityisstartingat"::"SQLITheingestutilityhasstartedthefollowingingestjob:The"DB:::"Numberofrowsread=Numberofrowsinserted=Numberofrowsrejected=SQLITheingestutilitycompletedsuccessfullyattimestamp"::"DBSELECTC,hexasC(C),hex(C)asChex(C)asc,Hex(substr(c,,))theC,Hex(C)C,hex(substr(c,,))theC,Chex(C),hex(C)theCHex(C)CfrommytableorderbyC"CCCCCCCCC,C―outAaaebcdefbcdefcaerecord(s)selected实例ASCs例子Ingest除了支持del数据格式外,它还支持ASC数据格式这个例子简单介绍下ingest使用ASC数据格式的语法清单数据内容列出了ASC,ASC数据没有分割符,为了清晰可见,清单的数据用空格分开各个字段清单运行myfiletxtodcztnctxqjfzdfwreviguvtgggecwdeddunvomzukdctfzcalgjjdkmtcnavczdfxwxGehtptqdbyevlcukngvaromauutbnbywkssqcmayizuvueaokdznniviqgIngest使用position(start,end)来指定每个字段的起始和终止位置,清单列出了ingest导入ASC数据格式的命令清单IngesttxtIngestfromfilemyfiletxtFormatpositional($fieldposition(:)integerexternal$fieldposition(,)date"mmDDyyyy'$fieldposition(:)char())RestartoffInsertintomytableValues($field,$field,$field)清单是运行ingest命令并查询数据导入后的结果清单运行ingesttxtDBtvfingesttxtIngestfromfilemyfiletxtformatpositional($fieldposition(:)Integerexternal,$fieldposition(,)date"mmDDyyyy'美元的位置(:)char())启动了插入mytable值(合田美元美元)sqlw场“$”指定的长度和结束冲突的价值观位置。原因代码“”。sqli摄取效用开始在“::”。sqli摄取效用已开始下面的消化工作:“db:::”。读取=的行数插入的行数=被拒绝的行数=sqli摄取效用在时间戳“完成::”。错误数:“”。警告次数:“”。多个文件一起导入实例摄取支持多个文件同时导入但要求同时导入的文件有相同的数据格式例如相同的代码页。在这个例子中myfilemyfilemyfile各有一条数据他们的总数据如下:,odcztnctxqjfzdfwreviguvtg,ggecwdeddunvomzukdctfzcal,ehtpdkmtcnavczdfxwxggjj清单列出了导入多个文件的摄取命令。清单ingesttxt摄取文件myfiletxtmyfiletxtmyfiletxt格式符(田美元整数外美元日期MMddyyyy”元字符())重新启动了插入mytable值(合田美元美元)实例管导入摄取支持文件和管道两种类型这个例子介绍如何建立管并执行摄取命令清单是关于建立管道的清单是关于摄取命令的。清单。建立管道命令RM–射频mypipemypipemkfifo猫myfiletxt>mypipe清单ingesttxt内容从管mypipe摄取格式符(田美元整数外美元日期MMddyyyy”元字符())重新启动了插入mytable值(合田美元美元)实例摄取重试的例子在摄取运行过程中可能会有这样那样的问题来干扰摄取比如通信错误死锁这时候摄取会做一些重试的工作当错误纠正过来后摄取还能继续进行。这个例子中先用进口导入几条数据清单列出了进口命令。清单进口导入数据DB连接库从德尔替换mytablemyfiletxt导入DBDB更新DBCFG使用LockTimeout库DB连接重置DB数据库名库DB数据库语句在窗口上输入DB然后输入以下命令进行数据更新ButdonotcommittransactionsListingUPDATEdataConnecttoTestDBUpdatecommandoptionsusingCoffUpdatemytablesetchartype=whereperkey=TheINGESToperationandinopenedthewindowatthebreakpoint,theINGESTcommandwillcatchonThisdatasheetinformationwithoutanychangeListingINGESToperationDbtrconcrashDBSQLUDIsqludiFlushentrysuspendpassnoDBtvfingesttxtInlistingthecontentsofingesttxtListingingesttxtConnecttotestdbINGESTSETNUMFLUSHERSPERPARTITIONINGESTSETSHMMAXSIZEINGESTSETMSGBUFCOUNTINGESTSETMSGBUFSIZEKBINGESTSETRETRYCOUNTINGESTSETRETRYPERIODINGESTFROMFILEmyfiletxtFORMATDELIMITED($fieldINTEGEREXTERNAL,$fielddate)RESTARToffUpdatemytablesetchartype=whereperkey=$fieldEntercommitatwindow,andthenviewtheinformationofthedatatableThereisathirdcolumnofdataupdatedtoEnterdbtrcoffonwindow,atthispointINGESTwillcontinuetocomplete,andthethirdcolumnofthedatasheetmytablewillbeupdatedtoListingINGESTexecutionresultsDBtvfingesttxtConnecttoTestDBDatabaseConnectionInformationDatabaseserver=DBLINUXXSQLauthorizationID=WUCUIXIALocaldatabasealias=TESTDBINGESTSETNUMFLUSHERSPERPARTITIONDBITheINGESTSETcommandcompletedsuccessfullyINGESTSETSHMMAXSIZEDBITheINGESTSETcommandcompletedsuccessfullyINGESTSETMSGBUFCOUNTDBITheINGESTSETcommandcompletedsuccessfullyINGESTSETMSGBUFSIZEKBDBITheINGESTSETcommandcompletedsuccessfullyINGESTSETRETRYCOUNTDBITheINGESTSETcommandcompletedsuccessfullyINGESTSETRETRYPERIODDBITheINGESTSETcommandcompletedsuccessfullyINGESTFROMFILEmyfiletxtFORMATDELIMITED($fieldINTEGEREXTERNAL,$fielddate)RESTARToffupdatemytablesetchartype=whereperkey=$fieldSQLITheingestutilityisstartingat"::"SQLITheingestutilityhasstartedthefollowingingestjob:The"DB:::"SQLWTheutilityrecoveredfromthefollowingerrorReasoncode""Numberofreconnects:Numberofretries:""and""SQLNThecurrenttransactionhasbeenrolledbackbecauseofadeadlockOrtimeoutReasoncode""

用户评价(0)

关闭

新课改视野下建构高中语文教学实验成果报告(32KB)

抱歉,积分不足下载失败,请稍后再试!

提示

试读已结束,如需要继续阅读或者下载,敬请购买!

文档小程序码

使用微信“扫一扫”扫码寻找文档

1

打开微信

2

扫描小程序码

3

发布寻找信息

4

等待寻找结果

我知道了
评分:

/18

ingest(摄取)

VIP

在线
客服

免费
邮箱

爱问共享资料服务号

扫描关注领取更多福利