采用非局部主成分分析的极大似然估计图像去噪

采用非局部主成分分析的极大似然估计图像去噪 第卷第期 光 子 学 报,: ,, ,:,,: ，:,,,, ,;:;,,;,:,,,年月,:,, ,，:,:，:, ,，:, ，，，,:,, ,, ,,,文章编号 ,::,,,,,,:,,,,,,,,,,,, 采用非局部主成分分析的极大似然估计图像去噪 ,,,,, ,,吴锡周激流何建新 成都 ,成都信息 工程 路基工程安全技术交底工程项目施工成本控制工程量增项单年度零星工程技术标正投影法基本原理 大学 电子工程学院,, ,,,:,,, ,,成都 ,四川大学 计算机学院, ,,::,, ,摘要本文提出一种采用非局部主成分分析的极大似然估计去噪方法首先采用非局部主成分分 , ,析算法来计算像素邻域间的灰度值和纹理结构相似性然后通过极大似然估计方法估计最优复原 ,图像本方法使用非局部主成分分析克服现有局部性去噪方法模糊边界等缺陷引入极大似然估计 , ,方法来改进现有非局部均值的简单加权均值去噪处理从而提高对图像细节信息的复原能力最后 , 、,分别使用本文方法非局部均值和局部极大似然估计三种去噪方法在不同噪音大小和不同几何纹 ,理复杂度的图像中进行定性和定量的去噪实验结果表明本文方法可在保持图像细节和纹理信息 , ,的情况下有效去噪较之现有方法效果更好 , ,,,,关键词图像去噪非局部均值主成分分析极大似然估计 ,,,,中图分类号 文献标识码 ,,,,,,:,:,,,,,,,,,:,,,:,,,,,,,,,, ,,然估计图像去噪综合使用像素灰度值和纹理信息引言 : 选择具有较高相似性的像素使用极大似然估计方法 估计最优复原图像该方法有效克服现有极大似然 , ,其目的图像去噪是图像处理的经典问题之一 ,估计以及其他局部性去噪方法模糊边界的缺陷同 是从噪音图像中恢复不含噪音的原始图像最基本 ,,,,时使用加权极大似然估计方法改进非局部去噪的简 ,,的图像去噪如高斯滤波和中值滤波一般利用图 ,单加权平均方法提高对于图像细节纹理信息的复 像局部邻域信息相似性进行去噪由于灰度变化剧 , 原能力本文首先介绍了采用非局部主成分分析的 ,,烈区域不满足该类去噪假设前提该方法无法有效 ,,,,,,极大似然估计图像去噪的基本原理然后在不同噪 保持边界信息各向异性滤波与其各种改进以及 ,,,,,马尔可夫随机场理论被引入克服该缺陷以求在 、音等级和不同复杂度的图像中分别使用本文方法有效去噪的基础上较好地保持边界和纹理信息同 , 非局部均值去噪方法和局部极大似然估计去噪方法,时极大似然估计从统计学的角度对噪音图像进行 进行定性和定量分析, ,复原可综合考虑噪音的统计信息等估计复原图像 ,,,,的最优值特别适合具有细微结构图像的去噪 采用非局部主成分分析的极大似然 ,,,, 变换域图像去噪如小波等也是图像去噪的一个估计去噪 ,,,,重要 研究方向其缺点在于容易产生振铃等虚假 本文主要讨论空域的图像去噪问题,,,,, 噪 音图像中的像素可被定义为信息, ,,,～， ,,, ,,,,其中令 为 像 素为 原 始 图 像为 噪 音 ,～,,,,, , ,不同于基于局部邻域信息的去噪方法非局部 ,的局部邻近区域则极大似然估计去噪的基本原理 均值去噪使用像素灰度级的相关性信息代替局部去 ,,,, 为,噪使用的像素空间相关性信息并根据相关性的高 ,,,,, ,低进行加权均值滤波对于局部灰度级变化剧烈,,,,,,,,,,,, ,～,,,,,?:,,, ,,,,,，,,,,,?, ,区域有明显的保持作用其基于片的改进使用片相 ,,,,,,,,式中为类条件概率密度当图像噪音 ,,,,,,,似性代替像素相似性在降低计算量的同时增加对 ,,,:,,满足均值为标准差为该概率密的高斯分布时 : σ,图像纹理特征的考虑提高去噪质量 ,,,,, 度为 本文提出一种采用非局部主成分分析的极大似, ,,,, , ,,, ,,,,,,,,,,,,;,,,,,,, , ,,,, ,,, σ,πσ槡 ,,,,,,基金项目国家自然科学基金和四川省教育厅重点项目资助 ，:,,,:,,:,:，:,:,,,::,，:,,:,,,,:,,,,。,,,,第一作者吴锡男讲师博士研究生主要研究方向为图像处理与智能计算 ,,,,,:，,,～,,:～,;,～,:,,,,, ,,,导,,,,,,,师周激流男教授主要研究方向为模式识别与智能计算 ,,,,,,，,,～,,～:～,:～,;,～,:,,,,,,,,收稿日期修回日期 ,:,,:, :,,:,,:, ,, ,〈,,,〉,,,〈,,,在实际应用中由于经常无法获得中的所有 式中为两向量的内积令 , ,,,,,,, , ,, !!, 像素信息因此一般选择局部区域内的部分像素进 ,… 〉〈,,,〉,,为映射参量的 维向量由正交 ,,, , ,,!,,,,行计算尽管局部极大似然估计较之其他局部去 , 性可得,噪方法如均值滤波等可以获得更好的细微纹理保 , ,,,,,,,,,,,,, ,,‖ ‖‖ ‖ ,!,,,,,,,,, ,,持效果但其去噪原理仍基于该局部邻域内像素灰 则非局部主成分均值去噪的相似性权值及其归一化,度级的高相似性因而仍无法摆脱局部性图像去噪 项分别为 ,模糊边界的缺陷基于此本文引用非局部均值去噪 , ,, ,,,,,, , ,～ , ‖‖,,, ,, ,的思想使用非局部主成分分析获得的像素灰度及 ,, , , ,;, ,,, ,,,纹理相似性取代现有局部极大似然估计去噪使用 ,, , ,,,, , ,～,‖‖,,,,,,,,, ,:,,, ; ?,的几何距离相似性作为估计像素的选择准则以求 ?, , ,,,,最后将式和非局部主成分分析获得的 在有效去噪条件下更好地保持图像的边界和细微纹 ,,: ,,,局部像素新权值代替式的局部像素权值以获得 ,理信息 , 最优复原值, 采用非局部主成分分析的极大似然估计去噪可 ,,由式改写得, 仿真与实验结果 , ,,,,,,,,,,,, ,,～,,,,:,,,,,,,?,, ，，,，,,,,, , ,,为验证和比较本文算法的有效性分别使用本 式中 为相应非局部区域像素的权值 ,,, ,,, ,: 、,文 算 法非 局 部 均 值 去 噪 算 法,,,:,,,, ,,,,令为搜索窗口是搜索窗口中像素的 ,, !,, ,,,, ,，;～,:～::,,::,,，:,，::,;,,,，,,,,,,,,,! ,, ,灰度级则非局部均值去噪的基本原理为 ,, ,,,和 局 部 极 大 似 然 估 计 算 法,，，，::,, ,,在 四 副,,～, ，～::, ，,:,，,，， ,,，;,,,,,,,,,, ,,, , ,, ,, ～, ‖ , ‖,!,, ,,,,,, ;,,, ～?,,，，,,、、, 的 图 像 中 ?,,, ,,,,× ,,, , , ，;,,:,,;,,,,,,,,,, , ,,,, , ,,,～‖!‖, ,和 进 行 不 同 噪 音 等 级 和 不 同 几 何 ,;;,，:～,;,,,,,,, ,,, ;,?,?, , ,纹理复杂度情况下的去噪比较其中本文算法和非,,,,式中为 归 一 化 项标 准 非 局 控 制 平 滑 程 度 ～,,,局部均值去噪算法的搜索窗口和相似性比较窗口设 ,部均值去噪的搜索窗口一般与图像大小相同但在 ,,,,,的 最 优 值分 别 为 定同文献和 ,:,,×,, ,×,,实际应用中一般根据具体应用选择合适窗口大小 ,,,,,,其他参量设定同文献局部极大似然估计去噪参 以降低计算量非局部均值使用不同像素间的灰 ,, ,,量设定同 文 献 去噪 结果除定性的视 觉 比 较 之 ,,度相似性作为衡量距离取代局部性去噪方法的几何 ,,外分别 使 用 图 像 峰 值 信 噪 比 ,;,， ,,,,,，:,,; ,,距离可以有效地克服局部去噪方法模糊图像边界 ,,,和 平 均 结 构 相 似 度 ,,:,,，,,;,,,～:～;,,,,,,的缺陷 , ,,,,,,非局部主成分分析将式中像素相似性距离 ,,,进行定量分析 ,,,,,,,,,,,,，,,!, ,,,,的计算使用主成分分析的方法映射 ,,‖,!,‖,、在 图 像 中加 入 噪 音 标 准 差 为 和 ，;,,,:,: ,到低维子空间中然后在该低维子空间中计算像素 ,、并分别使用本文算法非 局 部 均 值 去 高斯噪音,: ,,,:非局部相 似 性该 方 法 不 仅 可 以 有 效 降 低 计 算 ,,噪算法和局部极大似然估计算法进行去噪去噪结 ,量并利用子空间对噪音的鲁棒性提高相似性估计 ,,果如图 对上述结果分别计算 和 ,,,，, ,,,,，的准确度, 计算结果如图 ,,,令代表图像中像素的所有集合为中的 Ω Φ Ω ,、,,,,,,由图图和分别为加入标准 可知, ,,;,,,,任一子集则的协方差矩阵为 ,!、、,差为其余依次为使用 高斯噪音后的图像,:,:,: 、本文算法非局部均值算法和局部极大似然估计算 , , ,,,, ,,, ,,,,, ,, ,:,, ,? ! ! ! !,,,,,,法的去噪结果当信噪比较高时如 图 ,,,,!: ?Φ,,Φ, , ,三种方法均能取得较好的复原去噪效果随着信噪,,,,式中为均值中的像是集合 ,,,,Φ,?,Φ,Φ !!,?Φ ,,,,,,,,,,比逐渐降低如图和图无论是 ,,～,,:,:,素数量使用较小 既 可 有 效 估 计 该 协 方 差 矩 ΦΩ 在背景中灰度变化较缓慢区域还是图像细节较复杂 , , 阵继而减少计算量令邻域向量 的 维 数 是,,×, ,,,,区域如头发及旁边装饰物本文算法较之其他两 ,,,,为一 矩阵令为 , ×, ,,,,, ,! , ,种算法均能取得更好去噪效果仔细观察可知无论 ,,的特征值则维主成分分析的子空间可由其映 :, ! ,,信噪比高低三种方法在局部边界较明显区域如帽 射获得 ,子边沿对于边界保持均有较好效果但是在图像细 , ,,节 较复杂区域局部极大似然估计算法结果较不理 ,,,,〈,,,〉 , ,,,,, ?, !, ,! ,等,采用非局部主成分分析的极大似然估计图像去噪吴锡期 ,, ,,,, 不同噪音等级本文算法、非局部均值算法和局部极大似然估计算法去噪结果图 , , ,,,, ,;,:,,;,,;,～,,,～,,,,～;,::,;,,,:,,,～,,，,，，, ,,,，,，， ,,,～,,,,;,;,,,:,,;,;,;,,,,,,,, 、图 不同噪音等级本文算法非局部均值算法和局部极大似然估计算法去噪结果 和 比较 ,,,，, ,,,, ， , ,,, ,,，,,,, ,,,,:～;,;,:,;,;,～,～,,::,;,,:～,,，,，，,,,,，,，， ,～,;;,,:,;;;,，,,,,,,,,,,,,,,,,,,,,,,,,,,,,,, ,,,,,想出现较明显模糊比较本文算法和非局部均值算 和的横坐标为加入的高斯噪音标准 图,,,, ,,,法这两种非局部去噪算法结果可知非局部均值使 差纵坐 标 分 别 为 和 由 图 可 知本 ,,,,,,，, ,，用简单加权算术平均获得的结果弱于非局部极大似 文算法在不同噪音等级下的去噪结果较之其他两种 算法 去 噪 结 果 均 可 取 得 较 好 的 和 ,然估计的最优统计获得的结果特别是本文算法引 ,,，, ,,,，, ,值特别是在噪 音 较 大 情 况 下如 噪 音 标 准 差 为 ,入非局部主成分分析进一步提高统计的准确性取 ,,: ,,,,、,,,,和本文方法去噪图像的 时较之非局部得最好的去噪结果如图和 ,: ,,,，, ,,,,, ,均值和局部极大似然估计明显较高达到将近 纹理复杂度不同的图像加入标准差为 的高斯噪 :,,,: ,,,、的水平而其他两种方法仅为说明本文方 音分别使用本文算法非局部均值去噪算法和局部 左右:,, ,,极大似然估计算法进行去噪去噪结果如图对上 ,法不仅可以有效去噪对于图像细节信息和边沿结 , ,构有更好的保持和复原能力述结果分别计算 计算结果如表和 , ,,，, ,,,，,, 和表,, 、、 对 四副几何和 ,, ::,，:～,;:,;,,,，;,,,, 、非局部均值算法和局部极大似然估计算法去噪结果不同几何复杂度图像本文算法图 , , ,,,, ,;,:,,;,,;,～,,～,,,,～;,::,;,,,:,,,～,,，,，，, ,,,，,，，,,,,,;,,,,～,,,,;,;,,;:,;,,,:::,,;,,,,,,,,,,,!, ,,,,,,,,,如图三种方法在当复杂度较低的时候图其中图 为上述四副图像的去噪结果 ,,～, ,,: ,,,,,,,和图分别为复杂度较低的 较高噪音水平下仍能取得较好的去噪效果边沿均 和 ,,;～::,,:: ,,,,,,,,,,,较明显而准确但 是当 几 何 复 杂 度 较 高 时如 图 图像图和图分别为复 ,, ,，:～,;,,,,::, ,,、杂度 较 高 的 图 和 图 像:,, ,;,,,,，;,,,,,,,,,,本文方法由于同时兼顾 非 局 部 灰 度 纹 理 ,:, ,,、,,,,和分别为加入标准差为的高斯噪音 ,,;,,: 相似性和极大似然最优估计去噪效果较为明显在 , ,的四幅图像其余依次为上述三种方法的去噪结果 ,,,细节较多结构较复杂区域比如 的照:,,;,,,, , ,等,采用非局部主成分分析的极大似然估计图像去噪吴锡期 ,, ,,,, 、非局部均值算法不同复杂度图像本文算法表 ,验结果说明本文方法较之上述方法在有效保持边界和复原细微结构的情况下具有更好的去噪能力和局部极大似然估计算法去噪结果 比较 , ,,，, 参考文献 ,,,,;,,,，,:,,～;,;,:,,;,,;,～,,～,,,,～;,::,;, ,,, ,,,,,, , ,，,,，:,，，,,:,，,,,,,,，，;,,,:,,，，，，,,:～,,，,，，, ,,，,，，,,,～ ,,,,,;,,,,,,,,,,::,,，;,,;,,:,:,,::,, ,～,,,,;,:,;,,,,;,;,:,,,,,,,,,;;,;:,;:::,;,,,,,,,,,,,, ,,!,,,, ～，, ，,,;,,,,,:,,,，:～,,,,:::,,;,,,,,:, ,,:,:,,, ,,,,,, ,, ::,，:～,;:,;,,,，;,,,, ,,, ，:,;,,,; ,,,,,,,,,,,,,,,,,,,,,,,,, ,,,，,:，, ,,,，，,,，:,;,,:;,,,;,;,;,;:,:,～,,，,,,,,,, ,::,;,,:～, ,,,,,,,,,,,,,,,,,,,,,,,,,,,,, ,,:::,～,:,，,，，，,,,,,::,:,,,;, ,,,,,,，,,,,,,,,,,，,，，, ,，,，， ,,,,, ,,,,, ,,,,, ,,,,, ,,,,,,, , ,,,,,,,,,,,,,,,,:～,;,,,;;,:;,,,，,,,!,,,,:,,, ,,,,, ,,,,, ,,,:, ,,,,, ,, ,,,:，,,,，,，，,,,,,,,,:::,,::～,:,～,,,,,,,,,,,, , ,,,, ′ ,～;,,,;,～,,:～,,～;;,;,,,,，, ，, ,,,,,，,,,, , ,,,, 非局部均值算法不同复杂度图像本文算法、表 ,,,,,,～,;,,:,,，:～,,:::,;,,:,,,,,,,,,,,,,,,,::,,,, ,,和局部极大似然估计算法去噪结果 比较 ,, ,,， ,,, ,,,;,,,,, :～;,;,:,;,;,～～,,～;::,;, ,，,,,,,,,,,,,,,, , ,,,,,， , ,,，,,，，, , ,,,;,～;;,;,,,,，,,,,,，, ,, ,,,, ,;,:,,～,,, ,:,,,;:;:,,,;,,:,:～,,,,,,,,,,,,,:～,,，,，，, ,,,，,，，,,,;,,～ , , ,,!,, ,,,,,,,,,,,,,,,,,,,，,，，，， ,,,,,,:,,:,:, ,;,,:,,，,,,,, ,,::,,,,,,:,:,;,;,;;,,::;,,,,,,,,,,! ,,,,,,,,,, ::,,，:～,; :,,;,,,,,，;,,,, ,,,,，,,,，，，，, ,,,,,, ，，，,,～，;～::,;,,,,:,:，,,,,,,,,,, ,, ,,,,,，,,,,,,,,,,～,; ,,, ,:,,; ,,,,,,:; ,,:, ,, ，:,,;,,,,; :,,,,:,,,,:,,,,:,,,,,,,,,, ,,,,,,,,,,,,,,;,:;,:,,,:;:;,:,;,,,, ,::,,,,, ,::,;,,:～:,,,,:,,,,:,,,,:,,,,,,,,,, , ,,,,,, ,,,，,，，，，,,,,，，,,，,，:,，,;,,,,,,～, ，,,,,，,，，,:,,,, :,,,, :,,,, :,,,: , ，;,,～::,;,,,,,,,:, ,,,;, ,;,:,,,,:, ,,,;,,:,;,:,,,:; ,, ,,,,;,～,,;,:;,::,,;～,:～::,,，,,～,:,, ,,,,,,,,,,,,,,,!, ，,，， :,,,, :,,,, :,,,, :,,,, ,,,,;,:,;,,,,::,,,,,,,,,,,,,,:,,,,, ,!,相机和 本 文 方 法 较 之 的 头 发 及 其 旁 边 装 饰，, ;,,,, ,,,,,:,，，,,,，，, ,,,，,,,， ,,,,，,,;,,,; ，，，,，,其他两种方法仍能获得较为清晰准确的复原结果, ,;,:,,,,～,,,,:,,; ,,,,～,;, :, ,,～,,,,,,,, ,～; ,,,;,;, ,,,由表在不同纹理与几何复杂度 和表可知,,,,, , ,,，，， ,,,:,,，,,,,,,:,:,,:,,;,::;,,,,，,，,,,::,,,,,,,,,,,,,,,,,,, ,图像 中本 文 方 法 去 噪 获 结 果 无 论 还 是 ,,，, ,,,,,,,,,，, ,::，， ,,:,，， ， ,,, ,;,,;, :,,,,; ,均 优 于 非 局 部 均 值 和 局 部 极 大 似 然 估 ,,,, ，,,,,, , ,,;,:,,:～,,～,,;,:,;，,～,:,;:,;,,,,,,,,,,,,, ,,,,,计当图像复杂度较低时如图 和 三, ::,，:～,;,,,,,,,,,,,:,,:,～,,:,,,,,::,,, 种方 ,,,,,法的复原效果较为接近但是当图像复杂度较,,,,,，,,::，，,,:,，，，,,,～;,,,,,:,,,,;,,;:,,, ,,,,，，， ;～,:,～::,,;,,,,,,,,:～,:,，,,,,,,:,:,, ,,,,,,,，,,高时 ,,,,,,:,，,,;,,::;,,,,,,,,,,,:,,,::,,,, ,,,,,如图 本 文 方法的复原效果 和 :,,;,,,, ，;,,,,, ,::，,, ,,,,,,:;,;～,:,～::,,:,:,,,;,:,,:,::,,,,,,,,,,, ,,,更为明显如本文方法在 和 的复原 :,,;,,,,，;,,,,, ,;,,,,;,;,:,,，,，，，,,,,,::,,:,,,; ,，,，,,,,,,,,,,,,,图像 而 较之局部极大似然估计提高了将近,,,,,,,,,,,,,::;,,,,,,，, ,,,::,,,, ,,,,,,,模式分类李宏东姚 ,,,,,,,,，,,,,,,:,，,,,较之其余两种方法平均提高了将近,,,, :,,, ，,,,,译版北京机械工业出版社 ,, ,,,,,,天翔,::,,,, ,,,,,，，，,,，，，: ,,，，,，,,,，,,;,,;,;～;, ，，，,,,,,,, 结论 ,,,,,～,，;～::,,;,:,,,～:,,,,:,:～,,,;, ,,,,,,,,,,,,,,,,, ,,, ,,,,,,，，，,,;～,,，,,,,,,:,:,,:,,;,::;,,,,，,，,,,,::, ,本文使用非局部主成分分析获取与待复原像素 ,,, ,,,,,,,,,,的灰度级和纹理信息具有最大相似性的像素集并 , ,, ,,,:，,，，，，,,:，:，,,, ,:,,:,,;,,:, ,,,,，,,,,,,根据这些像 素 使 用 极 大 似 然 估 计方法进行复原去 ,,,:,:～: ::,，;～::, ;,,,:, ，, ,:,,,,,,,,,,,,,,,,,,,,,,,! 噪该方法将非局部主成分分析获取的灰度纹理相 ,,,,,,,～;:,,,,;,;,,;,,,,,,,,,,,,,,,,::,,,,, ! ,, ,,,～,,,,，, ,,:,， ,:,，，，， ， ,;,,,,;,，，,,，,,,,! ,,似性与保持灰度边界的优点和极大似然估计恢复 ,,,,;,,,;,,,,:,;,,:,,,,,,,,,,,:,,,～:,～,,,,,,,,,,,,!!细微图像结构的特点有效融合在不同噪音等级和 ,,,,,,,,，, ，，，,,,,,::,,:,,,;,::;,,,,，,,,，,,,::,,,,,,不同几何复杂度的图像中分别与非局部均值去噪 ,::, ,和局部极大似然估计去噪进行定性和定量分析实 ,,,, ,,, ,, ,,～，，;～::,，,,:,,;,;,:,,,,,，:,::,,,:;,,，,,,,,,,,,,,,,,,,,,,, : ::,,,,,;,,,,,,,! ,,, , ,,, ,, ,，:,，～，，，,,,,,,,,,,,,,,,,,,,,,,:，:,，,,,:～,,～,,:,:,:,,～,:::～,,～,,:,,,:～,;,,,;,;:,,:;;,;,;,,,,,,;:;,,,,,,,，,,,,,,,,!,,,!, ,,,,,～,::,,;;:::,,;,,:,;,:;,,:～～,,,,,,;,,,,:～;,,～,,::,,:～,,, ,,!,, , ,,, ,, , ,,,,:,,,～，;～::,;,,:,,;,;,:,,;～:,,::,;,～,,～;,:,::,,,,,,,,,,,,,,,,,,,,,,,,, ,, ,, :,:;::,,;,,,,,,,,,;,,～～～,,,,,:～～;,;,;,,,～;;,～;,:,,:, ,,,,,,,,,,,,,,,,,,,,,,,,,,,,,,,,,,,,!,!,! ,,,;,;,;:,;,,,,～,;,,:,,,;,;,,,～; ,,,,,～,,,，;,,～::,;,,,,,,,:,,,～,,，,,,:,:,,,,,,;,,:,;, ,, ,,;～:,:,,:,;::,;～;,,,,,:，:～;::,,,;,;,:,,,;～:,,～:～,,,～,;,;,,,,:,; ,,,,,,,,,,,,,,,,,,,,,,,～;,::～,::;,:,,;,,:,,:,,,,;～,,,,,,～,，;～::,;,,,:,,，,;,;,, ,,,,,,,,,,,,,,,,,,,,,,,,,,,,,,, ,!,,, ,～,,,,～;,::,;,,;,～:,,,,:,,,,;,～,:,～::,,,:,,:,,,,:,,::,,,;,, ,;,～:,,,,,::,,,,,,,～, ,,,,,,,!, ，;～::,;,,,:, ,;～:, ,;,;,;,;, , ,,;, ,～ ,;;, ,:,; ,,,,,, ,,, ,;;,,,,,,,,,,,,,,,,,,,,,,,,,,,,, ,, ,;:,;:::,;,,,,～;;:,,,:;:,,:,,～;;,;,:,,,;～:,,,;::,,;,～,,,,;,,,,,,,,,,,,,,,,,,,,,,,,,,,,,!,,! ,,,,～,,,,,,,,;,,,～;,;,～,,,,;,:,,,,,,;,～,,,～;,::,;, ,;,～:,:,,,;,:,;,～;,:,,;;,,;:,,,;,,,, !,!,, ,,，;,:,,,，,,;,;,:,,,,,,,;,;,;,;,:,:,:,;,::,;,,～～;:～;,～,;,;～:,,, ,,,,,,,,,,,,,,,,,,,,,,,!!,,,,,:,,,,,,，:,::,,,:;::,;,,,,,,,,～，;～::,;,,:,,,,,,,,,,,,,,,,,,,,, ,,,!