商品热销度分析与展示——在现代易货业中的应用（可编辑）

商品热销度 分析 定性数据统计分析pdf销售业绩分析模板建筑结构震害分析销售进度分析表京东商城竞争战略分析 与展示——在现代易货业中的应用（可编辑） 东华大学 硕士学位论文 商品热销度分析与展示--在现代易货业中的应用 姓名:毋帅 申请学位级别:硕士 专业:计算机系统结构 指导教师:乐嘉锦;华东平 2012-01 商品热销度分析与展示一在现代易货贸易中的应用 商品热销度分析与展示 ~在现代易货业中的应用 摘要 现代易货贸易的兴起为电子商务注入了新的活力,也为企业解决 资金困难的问题带来了便利。易通网是在现代易货贸易的基础上,开 发的一个全新的面向企业的易货交易平台。在传统的电子商务中,商 品的热销分析与个性化推荐一直是吸引用户、为用户提供便利信息并 获得竞争地位的一个重要的手段。对于易货交易系统而言,借鉴传统 电子商务的热销度分析与个性化推荐思路,在易货交易系统中实现易 货商品的热销度分析与个性化推荐功能一项非常重要的研究课题。本 文正是在这样的背景下,对易货交易平台中的热销分析和个性化推荐 进行了研究,在易通网易货交易平台中实现了基于传递打分的个性化 热销分析。 论文首先介绍了现代易货贸易的基本概念与相关技术,在此基 础上对传统电子商务的个性化推荐进行了详细的描述和讨论,阐述了 热销分析与个性化推荐的关系。并针对当前主流的电子商务平台中热 销分析和个性化推荐的使用程度进行了详细比较和介绍。同时,从理 论研究的角度对一些推荐方法的优缺点进行了分析,描述了个性化推 荐的所面临的一些问题。 论文接着给出易通网的整体功能架构,在此基础上根据易货贸易 商品热销度分析与展示一在现代易货贸易中的应用 的特点,对热销度分析的架构 设计 领导形象设计圆作业设计ao工艺污水处理厂设计附属工程施工组织设计清扫机器人结构设计 进行了详细的阐述,其中着重从系 统整体架构的角度描述了热销分析与个性化推荐与易通网易货交易 平台的相关结构和模式。 然后,论文在易通网交易平台架构设计的基础上,针对易通网 的易货贸易模式,提出了基于传递推荐的热销分析算法。该技术先将 易货交易的模式图论化,在此基础上对有向图进行了调整转化,形成 商品对商品的传递打分,并与传统评分矩阵进行向量乘积,以获得最 终的用户评分矩阵。最后根据评分矩阵进行个性化推荐,在个性化推 荐的基础上,引入交易频度,最终实现个性化热销推荐。并对热销推 荐和个性化推荐的前端展示功能进行了介绍。 最后,文章针对热销分析和个性化推荐所面临的四个主要问题即 稀疏性、冷启动、精确度和扩展性问题进行了详细的讨论和研究,针 对每个问题提出了易通网的解决方法,并对提出的方法结合系统的实 际进行了相应的取舍,对提出方法所带来的优缺点也做了相应的阐述。 关键词:易货贸易;热销分析;个性化推荐;评分矩阵;传递矩阵 商品热销度分析与展示一在现代易货贸易中的应用 TheAnalysisandDisplayingforthe1’0p-seUingDegreeof Shopping 一-TheApplicationinMOdernBarter11 ade ABSTRACT Tllerisingofmodenlbaner仃adeb渤 gsnewenerjg,toE-bossiness,asweUasconVenience totlleproblemforshortageof如nds.Yitongwebsitebasedonmod锄barter仃adeisanew platfomofbarter仃adewhichfacescompaIly.Hot-sellinganalys sandpersonalrecommendation isanimportantw yofn.acingcustomersando伍油gconVenientiIlfo衄 ationtousersforme 廿aditionale-business.Tbmebarter仃 ades,Stem,hot-sellinganalysisaIldperSonal recommendationof廿aditionaleJbusinesshaVeb comeak yaspectforbaner 仃adesystem.Under tlliscircumstance,mepaperpaysmoreattentiononlestlldyofhot-sellill gaIldrecommendation aboutbartertradesyStenl. FirStly,modenlbarter仃adeis iIl仃oduced,aJldtllena descriptionaboutpersonal recommendationiso行醯 ed.Hot-sellillganalySisaIldpersonalrecommendationarecompared 锄ongtllemajore?businessw bsiteiIld tail.TlleadVaIltagea11disadVaIltagearealsoin仃oduced intllepaper. Secondly,tlle允 nctionsmlctureofYitongwebsitesdiscussediIltllispap%aIld血e infomationiso伍即 ediIldetailaboutthehot?selliIlgandrecommendation.Thedesignerpatt锄 relatedohot-sellingandreco彻[Ilendationalsobediscussed. 111irdly’tllewaywhichbasedon眦lsf耐 ngrecommendationforhot-selliIlgaIldperSonal recommeIldationis iscussedtoimprovemeemciencyofbaner仃adesyst锄.Attllebe舀衄iIlg, barter仃ademo lispresentedusingmemeoryofdi聊h,aIld也entlledi鲫 his仃ansf.erredin t锄ofrelatedalgod也 msandtllescoreofshoppingtoshoppiIlgarecalculated.Lastly’me缸al userscomgmatrixiscalculatedbywayofmakiIlgmultiplebetween仃 aditionaluserscorematrix a11dshoppillg廿aIlsf翻hgscorema 血.TheIlmealgoritllmscaIlbeusedtoproducehot-selling sh叩pinglistaIldrelativeshoppiIlglistiIltennof缸aluserscorema廿 ix.ThedeSigIlingalld i埘【plementsofclientdispla如ngabouthot-sellinga ldrecommendationarelsodiscussed. Toconclude,tllemainpmbleIIlswhicharesparScIlessaIldXteIlsionsared i cussed.T0solVe tlleseprobleIIls,misp印ero侬猖con.espondiIlgmeas lr鹤alldmal【esa peci矽description.Some 商品热销度分析与展示一在现代易货贸易中的应用 metllodsareadoptedbyYitongsyStem.T11edescriptionsonnledisadVaIlta ge锄dadvantageof memenlodsareofl:.ered. ShuaiWuComputersofh?arendtlleoDr KEYWOI之DS:baner仃ade;hot?sellinganaly is;perSonalrec mmendation;scoringmatrix; 仃ansf.erringmatrix 第一章绪论 第一章绪论 随着电子商务与互联网的飞速发展,兴起了一种全新的贸易方式一现代易货 贸易。易货贸易的兴起为企业资金缺乏带来了莫大的便利性,企业与企业之 间可 以不用借助于现金为交易媒介,直接实现商品与商品的互换,获得自己所需要的 商品。本文就是在易货贸易的基础上,借助于传统电子商务中的个性化推荐理论, 对易货贸易中的热销推荐做了研究与实现。 1.1引言 易货交易有着其先天的特殊性,对易货贸易中的商品进行热销推荐与传统电 子商务中的热销推荐有着很大的差异性,交易模式的特殊性决定了其推荐模式的 特殊性。国内外对这个方面的研究还比较匮乏,对于传统电子商务推荐系统研究 比较多,在这一章节中,本文将会对易货与易货交易模式和传统的电子商务推荐 相关技术进行介绍,对国内外的研究现状做详细的描述。 1.1.1 易货与易货交易模式 早期的易货贸易是一种物与物之间的等价交换,不以货币为交换媒介。它是 人类最早的生产生活活动的一种表现。现代易货贸易就是在这样一种简单的、原 始的贸易基础上发展起来的一种贸易方式。借助于互联网,通过网上交易和电子 结算,实现企业之间或者个人之间的易货交易。它将传统的易货引入到互联 网交 易平台,与借助于银行以及交易额度,在特殊的交易软件上面完成交易。实现了 企业间和个人间B2B以及C2C的物物之间的自由交换。现代易货始于20世纪50年 代的美国,人类社会的发展,生产了大量商品,流通能力的不足以及全球化金融 危机的加剧,造成了商品的相对过剩,使得依赖于货币作为媒介的物质流通已经 不能满足现代化生产生活的需求。企业一方面面临着产品积压,无法销售,另一 方面又面临着资金缺乏,无法进行正常的经营活动。于是,借助于互联网、交易 软件和银行协助的现代化易货交易发展起来了。经过几十年的发展,现代易货已 成为21世纪商业的重要组成部分,它不但帮助企业处理闲置资产、积压库存,更 为企业扩大贸易机会、扩展营销渠道、获得额外利润提供了一种全新的贸易手段, 成为了一个重要的新兴产业180%的500强企业已经设立贸易专部。最近资料显 示,美国易货贸易己占全世界商业交易总量30%。现有30多万家美国公司积 极组 织易货贸易。国际互换贸易协会嬲A预测:今后五年内,易货公司客户数目将 翻一番,五年后在此基础上再翻一番一平均年增长率15%【411。 当今社会尤其是电子商务技术的发展,更使易货交易得到了巨大提升:它不 第一章绪论 再局限于“一对一”或“点对点”的交易方式,而是实现了多边的、甚至是网络化的 自由交易。现代易货业之所以快速发展,除了电子商务的催化作用,还有一个重 要推动力就是现代企业经营思想的转变,“现代易货不仅是一种交易方式,更是 一种经营思想。” 易货贸易的交易模式可以根据交易用户的多少以及交易的难易来分为两种, 即偶然的易货贸易模式和扩大型易货贸易模式【401。 1偶然的易货贸易模式 在交易时,易入易出双方商定,易出方A在向易入方B提供商品或服务后, 由易入方B提供相应的商品作为支付手段易人方B可以用本企业的商品或通过 易出方式获得第三方的商品;易出方A通过易入进口商品后,作为本企业或关 联企业生产发展的原材料,也可以通过本企业或相关企业在市场上进行销售后获 取利润。 整个交易过程可描述为:A_B_A。 2扩大型易货贸易模式 在现实中,更多的时候是由多个交易方参与的交易模式。在交易过程中易入 易出双方协定,易出方A在向易入方B提供物品或服务后,由易入方B向C 支付相 应的货款,由C向D提供货物,最终由D向A支付货款。交易过程可描述为: A_B_C_D_A。 在实践中这种交易方式可能演变成以下几种模式: 1M1模式:A_B_D_A。在交易过程中,双方商定,A在向B方提供物 品或服务后,由B提供相应的货物进行支付,A寻找D方帮其实现货物的价值 形 态,再由D将货款支付给A。 21M2模式:A?B_C_A。在交易过程中,双方商定,A在向B方提供物 品或服务后,由B按照A的要求寻找C,由其提供A所需要货物。 3M3模式:A?B?A_C_A或A_B?Z?C_A。在交易过程中,双方 商定,A在向B提供物品或服务后,由B向A或Z支付相应的本国货币,再由 A或通过Z向C购买其需要的货物,进口到国内后,供A自身或关联企业作为 原 材料或在国内市场实现其价值。即由B提供等价物,由A或z寻找C,以能更 好地提供满足A需要易物品。 4M4模式:A?B_A_C_D?A或A?B_Z_C_D?A。交易的前几 个环节与M3模式类似,交易后期需要A寻找D将易货品转换成价值形态,最 终由 D向A支付货款。 这样的交易模式,使得一般电子商务的系统的个性化推荐系统?不再适合易 货模式的电子商务。 1.1.2信息过滤与个性化推荐 第一章绪论 随着电子商务与信息化的发展与普及,越来越多的信息涌入到用户面前,人 们已经被网络电子商务系统中呈现的各式各样的信息所迷惑,这些信息在组织上 具有异构性,不同种类、不同商业含义和不同需求的商品同时呈现在用户面前。 在形式上,信息具有多元化趋势,商家为了获取最大利润,尽可能为用户展现更 多不同类型的信息。在位置上,信息是分布式的,尤其是门户网络的发展,更加 为分布式的信息提供了便利的条件。用户已经在海量信息里和高速的互联网中 “迷路”,信息过载成了信息时代信息过于丰富的一种负担。 信息过载指的是信息超过了个人或系统所能接收处理的范围,主要表现为: 1用户对信息的反映速度远远低于信息呈现的速度。2信息量大大超过了用户 所能承受或需要的量。3大量无关的冗余的信息对用户所需要的准确信息形 成 了严重的干扰。分析其原因归根结底是由于网络信息的海量性已经人们对信息的 承受有限性。技术与社会的发展造就了信息过载,使得用户无法正确使用信息【21。 如何解决这一问题已成为目前研究的一个热点。解决的关键在于将信息变被 动为主动,实现电子商务系统对用户的主动信息服务。解决信息过载的方法分为 两种:信息检索InfomationRetrieval,IR和信息过滤Info肌ationFilt嘶ng,IF‘31。 信息检索是指是指信息按一定的方式组织起来,并根据信息用户的需要找出有关 的信息的过程和技术。狭义的信息检索就是信息检索过程的后半部分,即从信息 集合中找出所需要的信息的过程,也就是我们常说的信息查寻Infonllation Search或Info肌ationSeek。典型的商业搜索引擎百度和G00西e,以及我们常用 的文献检索都属于信息检索范畴。目前信息检索面临网路信息泛滥、搜索引擎存 在缺陷、检索效率低、个性化差等问趔41。信息过滤是对陆续到达的信息进行过 滤操作,将符合用户需求的信息保留,将不符合用户需求的信息过滤掉。通常可 分为不良信息过滤和个性化信息过滤:不良信息过滤一般指过滤掉暴力反动色情 等信息;个性化信息过滤类似于信息检索,帮助用户返回感兴趣的东西。信息过 滤经常采用一些被叫做Agent的软件来实现,这些软件具有一定的职能性和自主 性。典型的代理软件有:Killfile和Bozo61ter。信息过滤系统的主要特征有【5J: 针对无结构或者半结构化的数据、包含用户对过滤需求的描述、处理的数据为输 入数据等。信息过滤系统的主要组成如图1.1所示: 第一章绪论 图1.1信息过滤系统模型图 个性化推荐是以用户为中心的推荐服务,是根据用户的兴趣以及浏览记录来 向用户推荐用户可能感兴趣的内容。个性化推荐技术根据实现的途径不同,可分 为基于规则的推荐、基于内容的推荐、协同过滤推荐和混合推荐【6J。 基于规则的推荐是根据项目与项目之间的关联关系,找出项目中满足一定支 持度和置信度的关联规则,为用户推荐推荐项目时,首先确定用户支持的关联规 则,该类规则左部的项全部出现在他已经选择的项目集中,然后将规则右部的项 目加入候选推荐集合R,最后将R按置信度进行排序,取最高的置信度,将前N 项推荐给用户【J71。现有的研究中,多数是基于对用户的聚类【l31,挖掘隐藏在高维 度元数据属性空间中相似聚类模式,常见的模式有Clique,Proclus和Orelus。从 聚类中寻找当前用户的最近邻居,形成推荐。 基于内容的过滤主要借助于自然语言处理、人工智能、概率统计和机器学习 等技术进行过滤。通过给用户推荐用户关注项目的相类似项目,根据用户对关注 项目的评分,从中分析提取有用信息来建立用户与项目之间的评分矩阵。系统基 于用户评价对象的特征学习用户的兴趣,依据用户资料与待预测项目的匹配程度 进行推荐,努力向客户推荐与其以前喜欢的产品相似的产品。基于内容的推荐其 优点是简单有效,缺点是难以区分资源内容的品质和风格,而且不能为用户发现 新的感兴趣的资源,只能发现用户已有的兴趣相似的资源[6】。这种推荐模式不仅 可以用于电子商务中,还可以应用于新闻推荐等方面。代表性的系统有 Personal W曲watcher[8],SySli11&W曲en【14】等,它们利用资源与用户兴趣的相似性来过滤。 协同过滤推荐是目前电子商务系统中应用最广泛的推荐方法,通过相似用户 对资源的评价向用户提供推荐信息。除了电子商务领域外还可以应用于其他多个 领域,例如音乐、电影和书籍的推荐。随着电子商务系统的扩大,采用这种方法 4 第一章绪论 推荐时,数据的稀疏性问题越来越严重,而且系统性能也越来越低下。代表系统 主要有:W曲watch一81,SiteSe一151。 混合推荐就是结合使用多种推荐技术,利用他们各自的优点摒弃缺点,来提 高推荐效率和推荐准确度,采用这种方法,可以获得比较好的推荐性能。 表1.1个性化推荐技术比较 推荐方法 优点 缺点 代表系统 基于规则推荐 简单,直接 推荐质量低,系 Broad?sion、ILOG等 统可维护性差 基于内容推荐 简单、有效 资源区分差,难 Personal 以发现新的有效 w曲w址che一81. 推荐 CiteSe一91,Pv“101, WrebPersonalize一111等 协同过滤推荐 可以处理非结构 稀疏性、计算效 LikeMinds、 化数据,推荐质 室 w曲wratcher【12】 量高, 混合推荐 推荐质量高,规 稀疏性、计算效 openBookMark 避以上三种方法 窒 缺点 1.2商品热销分析的研究背景与意义 热销推荐和个性化推荐是电子商务系统中两个比较重要的功能,从本质上来 说,热销推荐也是属于推荐系统的一部分,但是个性化推荐是针对单个用户量身 定制的一组推荐列表,而热销推荐常常是整个系统热销商品的列表,这样的列表 对用户来说,实用价值并不是很高。对于用户A来说,热销商品I是他喜欢的商 品,但是商品I对B来说可能比较陌生,这样的热销推荐为用户获取有用的信息 比较被动,用户往往需要在热销商品中寻找自己喜欢的商品。如果热销商品列表 是针对用户的个性化推荐,这样呈现给用户的热销列表就是针对当前用户的个性 化热销推荐列表,用户可以很容易的寻找到自己喜欢的热销商品,为用户获 取信 息提供了便利。 目前许多各大电子商务网站都有个性化推荐的服务功能,当当网在用户访问 系统时候,会根据用户的历史访问记录猜测用户可能喜欢的商品与书籍,同时为 用户推荐一些热销的书籍与商品,在用户访问一本书的同时还会为用户推荐与该 书相关的热销书籍。个性化推荐的应用虽然已经在电子商务领域得到了广泛使用, 第一章绪论 但是在易货贸易行业中,对个性化的研究尚在起步阶段,由于易货贸易的交易方 式与传统的电子商务交易方式存在差距,因此对易货贸易领域的个性化推荐值得 我们去研究去探索。在易货交易中,我们不能简单的认为销售量最多的商品就是 热销商品。企业之间的易货贸易通常是大宗数量的商品贸易,因此,一种商品的 交易可能涉及到非常大的数量,在这样的情况下,以销售量作为热销商品的分析, 明显与实际热销商品存在比较大的差距。同时易货交易的用户的需求,比传统电 子商务的客户的需求,更加明确化,更加实用化。因此我们要针对易货贸易的模 式,研究适合于易货贸易的热销推荐模式。本文的研究就是针对易货贸易的模式 进行的个性化的热销推荐研究。 1.3研究现状 国内对易货交易的研究相对来说匮乏,易货交易系统中一些功能服务的研究 更是少之又少。个性化推荐服务作为电子商务的一个研究方向在国内外都得到了 广泛的研究。但是将个性化推荐服务应用的易货交易系统中的研究几乎没有,许 多研究者都是在对传统方法进行改进的基础上,提出了一些新的个性化推荐方法, 以提高推荐效率、推荐质量等。 1.3.1 国内外易货交易现状 国内对易货贸易的研究比较有限。国内的易货行业仅仅出于起步状态,仅仅 只有有限的几家易货贸易网站,例如:山东易巴特,舍得网等。易巴特是国内易 货行业的先驱,于2002年9月20日注册成立的山东省首家从事现代易货交易的 专业机构。开发建立了基于现代易货的大型电子商务平台,为企业提供易货信息 发布、查询,易货交易结算和交易安全监控等专业化的服务内容,帮助企业开展 多边易货交易,实现以物易物、以物抵债、以物换股、盘活资产等功能,解决企 业资金短缺、产能过剩、销售不畅、积压库存、三角债等难题,促进企业产品流 通和社会经济发展。在易巴特的交易系统中,并没有使用个性化推荐服务。 易货在国外的发展要比国内先进很多,易货贸易最初是由国外应对金融危机 提出来的一种贸易形式,这一贸易形势目前在英国、加拿大和美国非常流行。经 济衰退,持续通货膨胀下,企业资金紧张,很多国外企业开始求助于这样的贸易 形式来对过目前的寒冬。目前易货贸易已经存在50多年,国际互惠贸易协会统 计在2001年易货贸易方式产生的交易额达到78.7亿美元。BizXchange创立于 2002年,最初是一家从事中小企业易货贸易的电子商务公司,目前在旧金山地区, 该企业拥有超过500家会员企业,而且会员企业数量一直在持续不断的大幅增长。 Bane妃ard是目前世界上最大的易货贸易企业,他支持国际之间的易货贸易。此 6 第一章绪论 外还有ITEX、ctebaner等企业。 本文中研究的内容是基于华贸易货交易所的易货交易系统进行的研究,华贸 国际易货交易所有限公司于2010年9月由注册地北京南迁至上海,原为金贸易 货交易所有限公司,更名后引入民营机制,致力于发展现代易货业,使古老的易 货贸易焕发出新的生机,为上海发展现代服务业、建设国际贸易中心作贡献。 1.3.2个性化推荐研究现状 国内对个性化的推荐研究比较多,但是相对来说我国的电子商务还处发展阶 段,一些大型的电子商务网站使用了个性化推荐的服务。例如:当当网,京东网。 就目前的已经应用的网站来看,个性化服务在国内电子商务系统中的应用有许多 缺陷,例如:1推荐模式比较笨拙,不能根据用户兴趣进行推荐,只能根据用 户浏览分类行为进行推荐。2推荐方式单一,只能根据用户登陆后的浏览记录 对用户进行推荐。北京人大金仓信息技术有限公司推出了一款数字图书馆个性化 推荐系统,在系统的个性化定制做,用户可以设置自己感兴趣的类型,系统根据 这些信息建立了用户兴趣模型,通过基于用户兴趣和基于内容两方面来向用户进 行推荐,一定程度解决了“冷启动”问题,提高了推荐效率和质量。 国外的研究要比国内成熟很多,许多科研机构都对个性化推荐做了大量的研 究,并设计实现了一些开源系统,例如:GroupLens、PHOAKS、黜ngo和MovieLens。 GmupLens和MovieLens系统是由美国明尼苏达州立大学计算机科学系 GroupLens实验室小组设计开发的,该实验室成立于1992年,目前有教授三人。 主要研究方向包括推荐系统,在线社区移动及普适技术,数字图书馆,和地理信 息系统。 GroupLens是应用于新闻方面的推荐系统,该系统由一个客户端和一个服务 器端组成,客户端是一个阅读器,负责为用户浏览新闻提供视觉支持,服务器端 负责向客户端提供新闻内容,进行协同过滤。客户端向服务器端提供新闻内容请 求,服务器端接受请求,并对请求进行响应,同时在服务器端进行个性化推荐。 用户可以对接收到的新闻进行评价,评价信息会发送到服务器端,服务器端接收 到评价信息后对用户可能喜欢的内容进行调整。该系统的核心思想是通过大 量用 户的协作,从海量的新闻数据中寻找推荐。 MovieLells是应用于影片推荐方面的推荐系统,目前由Movielens站点提供, 该站点目前有一万多条电影数据,收集了大量的用户评价信息,该数据集已经成 为研究个性化推荐系统的学者进行个性化实验的源数据集。研究者可以上该站点 获取免费的电影数据,但是使用该数据的用户需要先对至少15条电影数据进行 评分。 AT&T实验室提出了基于协作过滤的个性化推荐系统PHOAKsPeopleHelp 7 第一章绪论 0neAnotllerKnowStufr[16】,该系统根据用户发布的信息,根据用户发布的信 息中推荐的URL,并统计这些URL有多少人推荐,然后将URL推荐给相关用 户。 在2001年纽约大学的GediminasAdoavicius和AlexaIlderTuzhilin实现了个 性化电子商务网站的用户建模系统1:1Pro,同年,IBM公司在websphere中增 加了个性化推荐功能,便于企业开发个性化电子商务网站。 1.3.3研究内容应用前景 目前各大电子商务网站都采用了热销商品推荐功能,本文中将对当当网、京 东360、卓越亚马逊三家B2C电子电子商务网站做热销商品应用分析。三家 电子 商务网站都采用类似的方式实现了热销商品统计和推荐,根据商品类别来统 计热 销商品,产生推荐,其中当当网的热销商品推荐应用最全面,表1.2是对三家 网 站热销商品推荐功能的对比。 表格1.2电子商务网站商品热销应用对比 商家 热销推 关联热 浏览次 好评度 收藏度 个人浏 历史畅 荐 销推荐 数统计 统计 统计 览历史 销统计 当当网 针对图 针对所 针对所 针对所 针对所 记录个 针对图 书畅销 有商品 有商品 有商品 有商品 人浏览 书 推荐 历史 京东360针对家 针对所 针对单 针对单 无 记录个 针对图 电等大 有商品 个商品 个商品 人浏览 书 宗商品 历史 卓越亚 针对电 针对所 针对所 针对图 无 记录个 针对图 马逊 子商品 有商品 有商品 书和单 人浏览 书 最受 个商品 历史 关注商 品 从表1.2中可以看到当当网在商品热销推荐应用方面最全面,当当网在用户 购买商品的同时会一起推荐相关热销商品,关联热销商品是指用户在浏览或者购 买某个商品时,系统为用户提供浏览或者购买该商品的其他用户最终还购买了那 些商品,并对这些商品的销售程度做统计。此外当当网会根据用户的浏览历史记 录对用户的喜好程度进行猜测,从而产生推荐。例如用户在购买中医学方面的图 书后,当当网会猜测用户偏好于中医图书,会在相关专栏中为用户推荐可能喜欢 的一写中医书籍。当当网还会根据用户购买的商品,做一部分组合推荐。例如用 户在购买某个商品时当当网会给用户推荐与该商品类似的或者与该商品配套的, 8 第一章绪论 用户在买手机时,当当网会推荐一些手机配件给用户。 卓越亚马逊和京东360都有关联热销商品推荐功能,也都会记录用户的浏览 历史和购买历史。京东360在猜测用户喜好上要比卓越亚马逊和当当网稍逊一些。 卓越亚马逊在首页中有专栏为用户推荐与用户浏览相关的商品,但是该推荐只是 针对用户当前浏览商品或者历史浏览商品相关的推荐,而当当网的用户喜好猜测 是针对用户购买和浏览历史记录,对某一类或者相关商品的推荐。在这一点上当 当网的个性化推荐要比另外两个明显优越很多。 这类型的热销分析和统计为用户的购买行为提供了很大的方便,同时也最大 限度避免了用户去花大量时间在商品的海洋中寻找自己需要的商品的搜索行为, 也为这些电子商务企业自身的运营带来了非常丰厚的回报。电子商务网站的个性 化推荐越来越盛行,除以上讨论的几家电子商务网站外,其他一些电子商务网站 都提供了相应的推荐功能,并大有后来者居上的势头。在未来的发展中,相信个 性化推荐的应用会更加广泛和更加深入。 1.4本文主要研究工作 华贸易通网系统是一个B2B的易货交易系统。其中的商品推荐模块是易通 网交易系统中一个非常重要的模块,易货交易中很大程度上需要借助商品推荐的 服务来完成商品交易匹配。本文主要研究和分析了华贸易通网系统的商品推 荐部 分,目的在于将个性化推荐引入到易货交易系统中,借助于个性化推荐来实现对 易货交易热销商品的分析,完善易货交易中推荐服务模块,增强系统的信息服务 功能。 本文主要进行了如下工作: 首先对易货交易和个性化推荐相关内容进行了详细的描述,其次对易通网交 易系统的功能和架构进行了详细的说明,着重介绍了易通网中的热销推荐模块。 然后根据易货交易的特点,将交易模式用图论模式来表示,采用了基于项目传递 打分和项目预测的个性化推荐方法【171,对系统中的热销模块的研究算法进行了 详细的讨论,对热销推荐的展示部分也做了应用性研究。最后针对易货交易推荐 模块中存在的一些问题,进行优化性的研究,对每一种类型的问题都给出了相应 的改进方法和优化策略。为易货贸易企业用户产生商品推荐。针对系统易货贸易 形式的特点:用户一商品一商品一用户,将图论知识、个性化推荐知识和web 系统开发技术整合在一起,形成了一个完整的针对易货的商品推荐模块。 1.5本文的组织结构 本文在介绍相关的技术和研究工作后,从系统的整体实现架构开始介绍,然 9 第一章绪论 后对商品热销度的进行详细描述其理论基础和实现方式,接着对相关问题进行了 研究和探讨,最后对全文进行了研究 总结 初级经济法重点总结下载党员个人总结TXt高中句型全总结.doc高中句型全总结.doc理论力学知识点总结pdf 和展望。文章的结构如下图所示: P 绪玲j霪淘 鍪薹鲞滋i羹鋈誓 ..?????????????。.........?..???j?一l图相关簧暴蓉囊截 二:耋ii基鋈麓鎏澍. ::耋鬃鍪鋈继遴 图1.2论文结构 10 第二章相关技术研究进展 第二章相关技术研究进展 易通网系统开发主要采用了Java平台中的相关技术,采用BS的架构模式, 对前端展示的内容主要采用了6>HTML和JS相结合的方式。系统中对热销商品推荐 功能的实现主要采用了协同过滤的思想和算法,在现有协同过滤的基础上提出了 基于传递打分的协同过滤。在这一章节将会对所采用的相关技术和算法做介绍。 2.1 协同过滤 协同过滤技术上目前电子商务推荐系统中应用最广泛、最成功的一种方法。 从海量的电子商务系统交易数据中寻找有价值的商品信息,大大缩短了用户寻找 感兴趣商品所花费的时间代价,也提供了电子商务系统的运营效率。Tapes仃y系 统是协同过滤应用最早的系统,由Golderg、Nicols、01i以及Te叫等提出[19】, 该系统要求用户对项目进行主动评价,适用于数据量较小的情况。随着技术研究 和电子商务的不断发展,目前协同过滤主要有基于用户的协同过滤算法【20】【211和 基于项目的协同过滤算法【22】【23】【24】。两种算法的共同点都需要进行相似性计算, 不同的是基于用户的协同过滤假设不同用户之间对某些项目具有相似的评分,在 此基础上推测在其他项目上这样的用户之间也有相似性。于是根据算法寻找最相 似用户目标最近邻居,根据目标用户的最近邻居对其他项目的评分去为目标 用户进行预测评分。基于项目的协同过滤则是对项目之间做相似性假设,通过对 项目的若干相似项目的评分对用户所感兴趣的项目进行评分预测。 协同过滤的基本步骤包括相似性计算和项目推荐。相似性计算时最基本的也 是最重要的一步,目前相似性计算的方法主要有三种【25】:余弦相似性、修正余 弦相似性和相关相似性。 1.余弦相似性 在余弦相似性中,用户被看作是n维向量空间的一个向量,当用户对项目有 评分值时,对应的向量位置的值为用户的评分值,当用户对向量没有评分值时, 值为0。通过向量之间的余弦夹角来度量用户之间的相似性,假设用户i和用户 j在向量空间中对应的向量分别为f,.,用户i和用户j之间的相似性计算公式 为 删?一s鼢2衢 2.修正余弦相似性 公式1 修正余弦相似性改善了余弦相似性的缺陷,由于余弦相似性没有考虑到不同 用户对项目的评分尺度不同,所以在余弦计算的基础上减去了用户对项目评分。 假设用户i和用户j共同评分的集合为Ii,j 咖?护麦穗一馘五3.相关相似性假设用户i和用户j共同评分的项目集合用Ii,j来表示,则用户i和用户j之 间的相似性通过Pearson相关系数度量 咖@护高啬一州3,随着电子商务系统规模的扩大,系统中的数据急剧增长,协同过滤技术出现 了一些问题。主要表现在三个方面。l、商品数量和用户数量急剧增长多,用户 对商品的评分却有限,直接导致了用户评分矩阵的极度稀疏性,严重影响到推荐 系统的质量。2、电子商务系统刚刚建立时,由于没有评分数据,导致了推荐系 统没有数据可以依赖,从而使的推荐系统无效。3、随着用户和商品数量的增加, 评分矩阵越来越庞大,在计算相似性时,系统的性能急剧下降。针对这些问题, 许多研究者提出了不同的解决方法,来提高推荐效率。 1.稀疏性问题 许多研究者提出了矩阵填充的方法来解决稀疏性问题,最简单的方法是初始 化未评分的项目,设置为某一个默认值,这样的方法有很大的缺陷,不同的用户 对相同的商品喜好程度不同。采用基于内容预测的方法可以取得良好的效果。文 献[26]提出了一种方法,计算两个用户之间的项目并集,在并集的基础上寻找最 近邻居,并计算相似性,最后产生推荐。该方法能有效解决相关相似性度量方法 中两个用户之间相同的评分项目比较少的问题,而且可以有效解决余弦相似性度 量方法和修正余弦相似性方法中对未评分的商品的评分都为0的问题,可以有效 提高推荐质量。曾艳等提出了一种基于内容的预测方法【271,从用户已经评分的 项目中抽取一些特征来构建用户的兴趣分了,根据这些特征来将项目归类,从而 做出用户喜好的预测,其实质是另一种形式的聚类推荐。文献【28】中提出一种基 于用户兴趣分类的方法,该方法中需要借助用户评分数据和用户访问日志来完成 推荐,从分析用户的访问日志中分析用户可能的喜好,对用户的兴趣做出预测评 分,从而构建用户兴趣矩阵,最后产生推荐。该方法一定程度上提高了推荐的精 度,但是由于需要借助用户访问日志,实际系统中用户访问日志比较靠后,如果 用户第一次访问系统,在浏览商品时,并不能很好的为用户产生推荐。同样在朱 第二章相关技术研究进展 征宇等人【29】提出的基于用户兴趣子类的写作推荐算法中,也借助于用户对网页 的请求,这种方法以网页内容为基础,对用户进行兴趣分类,在此基础上再进行 兴趣子类分析,对分类后的用户和兴趣进行相似计算,最后产生推荐,该方法也 需要建立用户访问日志的记录才能产生推荐,有很大局限性。作者本人在文献【17] 中提出基于传递打分和项目预测协同过滤推荐,针对用户访问项目与项目之间的 关联性,进行传递打分来产生项目对项目的打分矩阵,在项目打分矩阵和用户评 分矩阵二者结合的基础上进行项目预测,大大降低了用户评分矩阵的稀疏性问题, 提高了推荐精度。此外还有采用BP神经网络方法【30】对项目进行预测,BP神经 网络对复杂的输入和输出有很强的建模能力,通过某个用户对一些项目的评分, 可以预测用户对未评分项目的评分。BP神经网络中有三层,分别为输入层、中 间层和输出层。在BP神经网络中,把用户对每个项目的显式评分都作为样本 进 行采集,作为输入层的数据,经过中间层的计算处理后,由输出层产生样本预测 数据。采用这种方法进行项目推荐,最大的一个好处就是对噪声数据的可承受能 力,降低评分矩阵的稀疏性,获得较高的推荐精度。但是缺点也非常明显,随着 算法训练时间的延长,收敛的速度会越来越慢,导致在计算用户最近邻居时候, 耗时逐渐变多,针对这个缺点有些研究者提出了一些解决方法,文献【29】针对运 行缓慢的问题进行了改进,一定程度上缓解了该问题。此外还有采用分类来缓解 稀疏性的方法,NaVieBayesian分类方、法【30】是基于概率的模型就行分类的,通过 从学习数据集和中提取每个类别的属性的条件概率,在利用Bayesiall公式计算 项目的概率,概率最高的就是所要找的项目。 2.冷启动问题 冷启动问题是指推荐系统在没有数据时,无法利用已有数据进行相似性计算 以及寻找最近邻居而造成的推荐失效问题。考虑两种情况,1、当一个新的用户 增加的系统中时,由于系统没有该用户的任何数据,这时候推荐系统对该用户的 推荐就是失效的。2、当系统新增加一个项目时,由于没有任何用户购买过该项 目,无法产生对该项目的推荐。对于冷启动问题,最简单的解决 方案 气瓶 现场处置方案 .pdf气瓶 现场处置方案 .doc见习基地管理方案.doc关于群访事件的化解方案建筑工地扬尘治理专项方案下载 是设置默认 值。对新增加的项目,设置一个默认评分,对新增加的用户设置默认的评分项目。 这种解决方案简单易行,但是没有考虑不同用户对不同项目的喜好程度不同,产 生的推荐精度很差。新项目问题最为常见的解决方法是最近查找技术九【32】【33】, 即通过查找新项目的邻居项目,采用邻居项目平均评分值作为新项目的评分值。 新用户问题的解决方案通常是为用户推荐最热销的商品,或者利用系统的信息采 集功能收集用户的个性化喜好,根据相关信息来为用户产生推荐。 3.计算速度问题 随着推荐系统中商品数量以及用户数量的增加,推荐算法的计算量也在成倍 数的增大,导致了推荐速度越来越慢。在实际的电子商务系统中,在一个时间段 】3 第二苹相关技术研冗进展 内,项目数一般都是稳定的【341,因此项目之间相似性可以进行线下计算,这样 可以提高推荐的实时响应。同时采用用户聚类技术来提高实时计算的速度,通过 聚类方法大大降低了计算用户最近邻居的时间,从而提高了推荐系统的效率。常 用的聚类算法有模糊聚类、K-means聚类,EMExpectaton?Ma【imization算法 在占可o 2.2 Java开发技术介绍 在华贸易货交易平台中,根据用户的需求以及相关资源,作者本人作为项目 经理,采用了J越厂A平台作为系统的开发平台,在该平台中充分利用J越,A技术 的优点,开源性和可移植性。目前J怂厂A开发平台已经成为一种非常流行的开发 平台,很多的系统、开源项目以及研究性的项目开发都采用了JA、,A技术,由于 J怂,A的开源性,这为很多项目提供了很大的便利,同时在JAVA平台中有着许多 优秀的框架和组件,使得开发过程中可以大大提高开发速度和项目质量。在系统 的实现中,采用了J怂厂A开源框架和组件中的Stmts2+Sprin醇.5+Hibemate3的框 架技术,同时使用了很多优秀的开源应用组件。采用Sp^ng来管理S咖ts的action 以及Hib锄ate的Session工厂很大程度的解放了系统开发人员对数据的操作,集 中精力放在了系统的逻辑实现上。文中对JA、,A的介绍不在赘述,因文章的研究 重点在热销商品分析上,J越,A只是作为系统实现的一种开发语言与平台,故在 此不对JA、,A做详细的相关介绍。 2.3 基于Javascr-pt的信息展现 JaVas嘶pt技术是一种优秀的前端展示的脚本语言,执行在浏览器端。在wEB 系统的实现中很多都用到了这种语言,似乎有一种司空见惯的感觉,但是这种脚 本语言却可以提供很强大的功能,和HTML语言结合可以提供很强大和很友好 的信息展现功能,为热销商品的统计展示提供很好的帮助。目前在前端展示技术 上Flex技术非常流行,但是Flex技术对客户端资源的消耗比较严重,考虑到这 个因素,作者在信息展现部分依旧采用了传统的JaVaS嘶pt技术来完成友好 系统 推荐结果的展示。在脚本技术方面也有一些非常优秀的开源组件,用于展示系统 的统计图形,作者在根据系统结果的特点和组件的功能方面进行了详细的研究后 选择使用其中一款比较优秀的组件FulltionChan组件。该组件可以很方便、很友 好的显示一些统计图形,例如:柱形图、饼图、和折线图等,并能和前端页面相 结合,为用户呈现一个绚丽的信息展现平台。 14 第三章易货交易平台的架构设计 第三章易货交易平台的架构设计 在这一章中,本文将介绍易通网易货交易平台的整体架构设计,热销商品推 荐是平台中的一个功能,本章将从三个层面介绍热销商品推荐的架构设计。首先 从平台整体的角度阐述架构热销商品推荐功能与交易平台的关系,然后再对热销 商品推荐所必需涉及的交易平台的交易模式进行介绍,最后在对热销推荐部分进 行详细的介绍,介绍其实现的分层架构理念。 3.1 平台介绍 易通网是应客户要求定制的易货交易平台,通过对客户需求进行收集、整理 和分析,作者将易通网整体的功能架构分为8个模块,具体的功能模块如图3.1 所示。 兰竺竺呈兰竺三皇基础信息支撑平台 图3.1易通网功能结构图 整个易货交易平台大体可以分为六部分,每个部分的介绍如下: 1易通市场 易通市场中展现了交易用户在系统中易入易出的所有货物信息,在这个部分 无论任何用户都可以看到货物信息,但是针对不同身份的用户所看到的用户信息 的详细程度有区分,在用户信息管理部分将详细介绍易货平台中的用户种类及权 限信息。用户可以在这里去寻找自己感兴趣的货物选择易入易出,这里的商品信 息也是我们在进行热销度分析研究时候的基础。 每一种商品都属于某一个种类,所谓的种类是指商品类型,根据《类似商品 第三苹易货交易平台的架构设计 和服务区分表》【42】以及易货业商品现状和电子商务业商品现状而编制的适合与 易通网的一个商品分类明细。《类似商品和服务区分表》是商标审查人员、商标 管理人员、商标代理人和商标注册申请人判断商品和服务类似与否的参考书,不 是法规性文件。商品除具有种类属性外,在系统中还设置了数量、长宽、高度和 价格等基本属性,在分析商品热销度时,商品种类和数量属性是非常重要的属性, 依据数量和种类来做相似项目推荐和热销项目推荐。另外产地也是推荐的时候需 要考虑的一个属性,因为易货交易模式的特殊性,决定了商品所在地也应该是推 荐系统需要考虑的一个因素。详细的商品属性设置以及商品信息与其他部分的关 联参见图3.2所示。 易通市场中的信息包括两部分,一部分是系统中商品信息的列表,这部分信 息平台不做计算处理,直接根据相关属性为用户呈现,另一部分是推荐商品信息, 即热销推荐和相关推荐,这部分信息即为文章后面要详细介绍的推荐算法所产生 的推荐列表,热销推荐是针对用户个体的个性化热销推荐列表,同时还有个性化 推荐列表。热销推荐是在个性化推荐基础上进行热销分析和推荐的。 J,。。。。。。。??____?__??。。。。。。。??’。。?_?^?? 图3.2商品属性图 从属主外键 联 ?皇当、 o至i主溢澎銎雀爨潍 镬 2后台维护 后台维护中包括了整个系统需用到基础信息的维护,新闻维护、法律法规维 护、售后服务维护、字典管理、系统留言维护等模块。这些功能为整个交易平台 第三章易货交易平台的架构设计 的运行提供了基础信息,例如在商品类别的维护就是在后台维护中。管理用户可 以在这里去新建修改商品类别信息,但是不可以删除类别信息,不再使用的类别 作为历史保存下来,在进行热销度分析产生推荐的时候不再使用的类别也在分析 的范围。用户也可以在这里发布易通网的运行法律条文等信息。 作为一个盈利性质的电子商务交易平台,个性化推荐是提供给用户的一个良 好服务,但是为配合用户的盈利性质,在个性化推荐的结果中用户也会要求掺入 一些认为的结果调整,例如广告商品,因此在实现这个需求方面,也在后台维护 部分。我们的分析方法和推荐算法,力求推荐的准确性,对于用户盈利方面的需 求我们在推荐的基础上做排名处理,不影响我们推荐算法的真实性和可靠性。 图1.3推荐列表展现顺序调整图 根据