Principles of Signal Detection and Parameter Estimation

springer 2008 《Principles of Signal Detection and Parameter Estimation 》 【 资料 新概念英语资料下载李居明饿命改运学pdf成本会计期末资料社会工作导论资料工程结算所需资料清单 成文时间】： 2008-07 【语言】：en 【页数】： 644 【何人（公司）所著】：Bernard C. Levy  【文件格式】： pdf 【文件原名】： Principles of Signal Detection and Parameter Estimation  【摘要或目录】： [attach]206676[/attach] This new textbook is for contemporary signal detection and parameter estimation courses offered at the advanced undergraduate and graduate levels. It presents a unified treatment of detection problems arising in radar/sonar signal processing and modern digital communication systems. The material is comprehensive in scope and addresses signal processing and communication applications with an emphasis on fundamental principles. In addition to standard topics normally covered in such a course, the author incorporates recent advances, such as the asymptotic performance of detectors, sequential detection, generalized likelihood ratio tests (GLRTs), robust detection, the detection of Gaussian signals in noise, the expectation maximization algorithm, and the detection of Markov chain signals. Numerous examples and detailed derivations along with homework problems following each chapter are included.               1 Introduction . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 1 1.1 Book Organization . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 3 1.2 Complementary Readings . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 9 References . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 10 Part I Foundations 2 Binary and M-ary Hypothesis Testing . . . . . . . . . . . . . . . . . . . . . 15 2.1 Introduction . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 15 2.2 Bayesian Binary Hypothesis Testing . . . . . . . . . . . . . . . . . . . . . . . 16 2.3 Sufficient Statistics . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 25 2.4 Receiver Operating Characteristic . . . . . . . . . . . . . . . . . . . . . . . . . 27 2.4.1 Neyman-Pearson Tests . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 29 2.4.2 ROC Properties . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 32 2.5 Minimax Hypothesis Testing . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 39 2.6 Gaussian Detection . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 49 2.6.1 Known Signals in Gaussian Noise . . . . . . . . . . . . . . . . . . . . 50 2.6.2 Detection of a Zero-Mean Gaussian Signal in Noise . . . . 51 2.7 M-ary Hypothesis Testing . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 52 2.7.1 Bayesian M-ary Tests . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 52 2.7.2 Sufficient Statistics for M-ary Tests. . . . . . . . . . . . . . . . . . 56 2.7.3 Performance Analysis . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 59 2.7.4 Bounds Based on Pairwise Error Probability . . . . . . . . . . 62 2.8 Bibliographical Notes . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 63 2.9 Problems . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 63 References . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 71 3 Tests with Repeated Observations . . . . . . . . . . . . . . . . . . . . . . . . . 73 3.1 Introduction . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 73 3.2 Asymptotic Performance of Likelihood Ratio Tests . . . . . . . . . . . 74 3.3 Bayesian Sequential Hypothesis Testing . . . . . . . . . . . . . . . . . . . . 88 3.4 Sequential Probability Ratio Tests . . . . . . . . . . . . . . . . . . . . . . . . . 94 3.5 Optimality of SPRTs . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 100 3.6 Bibliographical Notes . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 102 3.7 Problems . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 102 3.A. Proof of Cram´er’s Theorem . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 108 References . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 111 4 Parameter Estimation Theory . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 113 4.1 Introduction . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 113 4.2 Bayesian Estimation . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 114 4.2.1 Optimum Bayesian Estimator . . . . . . . . . . . . . . . . . . . . . . . 117 4.2.2 Properties of the MSE Estimator . . . . . . . . . . . . . . . . . . . . 123 4.3 Linear Least-squares Estimation . . . . . . . . . . . . . . . . . . . . . . . . . . . 125 4.4 Estimation of Nonrandom Parameters . . . . . . . . . . . . . . . . . . . . . . 131 4.4.1 Bias . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 133 4.4.2 Sufficient Statistic . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 136 4.4.3 Cram´er-Rao Lower Bound . . . . . . . . . . . . . . . . . . . . . . . . . . 138 4.4.4 Uniform Minimum Variance Unbiased Estimates . . . . . . 150 4.5 Asymptotic Behavior of ML Estimates . . . . . . . . . . . . . . . . . . . . . 154 4.5.1 Consistency . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 154 4.5.2 Asymptotic Distribution of the ML Estimate . . . . . . . . . 157 4.6 Bibliographical Notes . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 159 4.7 Problems . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 159 4.A. Derivation of the RBLS Theorem . . . . . . . . . . . . . . . . . . . . . . . . . . 166 References . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 167 5 Composite Hypothesis Testing . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 169 5.1 Introduction . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 169 5.2 Uniformly Most Powerful Tests . . . . . . . . . . . . . . . . . . . . . . . . . . . . 170 5.3 Invariant Tests . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 177 5.4 Linear Detection with Interfering Sources . . . . . . . . . . . . . . . . . . . 194 5.5 Generalized Likelihood Ratio Tests . . . . . . . . . . . . . . . . . . . . . . . . 197 5.6 Asymptotic Optimality of the GLRT . . . . . . . . . . . . . . . . . . . . . . . 204 5.6.1 Multinomial Distributions . . . . . . . . . . . . . . . . . . . . . . . . . . 205 5.6.2 Exponential Families . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 216 5.7 Bibliographical Notes . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 221 5.8 Problems . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 222 5.A. Proof of Sanov’s Theorem . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 231 References . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 232 6 Robust Detection . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 235 6.1 Introduction . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 235 6.2 Measures of Model Proximity . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 236 6.3 Robust Hypothesis Testing . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 239 6.3.1 Robust Bayesian and NP Tests . . . . . . . . . . . . . . . . . . . . . . 239 6.3.2 Clipped LR Tests . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 241 6.4 Asymptotic Robustness . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 250 6.4.1 Least Favorable Densities . . . . . . . . . . . . . . . . . . . . . . . . . . . 251 6.4.2 Robust Asymptotic Test . . . . . . . . . . . . . . . . . . . . . . . . . . . 254 6.5 Robust Signal Detection . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 257 6.5.1 Least-Favorable Densities . . . . . . . . . . . . . . . . . . . . . . . . . . . 258 6.5.2 Receiver Structure . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 261 6.6 Bibliographical Notes . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 264 6.7 Problems . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 265 References . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 275 Part II Gaussian Detection 7 Karhunen-Lo`eve Expansion of Gaussian Processes . . . . . . . . . 279 7.1 Introduction . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 279 7.2 Orthonormal Expansions of Deterministic Signals . . . . . . . . . . . . 280 7.3 Eigenfunction Expansion of Covariance Kernels . . . . . . . . . . . . . 284 7.3.1 Properties of Covariance Kernels . . . . . . . . . . . . . . . . . . . . 285 7.3.2 Decomposition of Covariance Matrices/Kernels . . . . . . . . 289 7.4 Differential Characterization of the Eigenfunctions . . . . . . . . . . . 294 7.4.1 Gaussian Reciprocal Processes . . . . . . . . . . . . . . . . . . . . . . 294 7.4.2 Partially Observed Gaussian Reciprocal/Markov Processes . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 307 7.4.3 Rational Stationary Gaussian Processes . . . . . . . . . . . . . . 310 7.5 Karhunen-Lo`eve Decomposition . . . . . . . . . . . . . . . . . . . . . . . . . . . 313 7.6 Asymptotic Expansion of Stationary Gaussian Processes . . . . . . 315 7.7 Bibliographical Notes . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 316 7.8 Problems . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 317 References . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 324 8 Detection of Known Signals in Gaussian Noise . . . . . . . . . . . . . 327 8.1 Introduction . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 327 8.2 Binary Detection of Known Signals in WGN . . . . . . . . . . . . . . . . 328 8.2.1 Detection of a Single Signal . . . . . . . . . . . . . . . . . . . . . . . . . 328 8.2.2 General Binary Detection Problem . . . . . . . . . . . . . . . . . . 332 8.3 M-ary Detection of Known Signals in WGN. . . . . . . . . . . . . . . . . 338 8.4 Detection of Known Signals in Colored Gaussian Noise . . . . . . . 344 8.4.1 Singular and Nonsingular CT Detection . . . . . . . . . . . . . . 346 8.4.2 Generalized Matched Filter Implementation . . . . . . . . . . 348 8.4.3 Computation of the Distorted Signal g(t) . . . . . . . . . . . . . 352 8.4.4 Noise Whitening Receiver . . . . . . . . . . . . . . . . . . . . . . . . . . 356 8.5 Bibliographical Notes . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 362 XVI Contents 8.6 Problems . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 362 References . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 368 9 Detection of Signals with Unknown Parameters . . . . . . . . . . . . 371 9.1 Introduction . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 371 9.2 Detection of Signals with Unknown Phase . . . . . . . . . . . . . . . . . . 372 9.2.1 Signal Space Representation . . . . . . . . . . . . . . . . . . . . . . . . 373 9.2.2 Bayesian Formulation . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 374 9.2.3 GLR Test . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 377 9.2.4 Detector Implementation . . . . . . . . . . . . . . . . . . . . . . . . . . . 378 9.3 Detection of DPSK Signals . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 381 9.4 Detection of Signals with Unknown Amplitude and Phase . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 386 9.4.1 Bayesian Formulation . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 387 9.4.2 GLR Test . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 389 9.5 Detection with Arbitrary Unknown Parameters . . . . . . . . . . . . . . 389 9.6 Waveform Parameter Estimation . . . . . . . . . . . . . . . . . . . . . . . . . . 395 9.7 Detection of Radar Signals . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 402 9.7.1 Equivalent Baseband Detection Problem . . . . . . . . . . . . . 403 9.7.2 Cram´er-Rao Bound . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 406 9.7.3 ML Estimates and GLR Detector . . . . . . . . . . . . . . . . . . . 409 9.7.4 Ambiguity Function Properties . . . . . . . . . . . . . . . . . . . . . . 412 9.8 Bibliographical Notes . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 420 9.9 Problems . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 421 References . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 431 10 Detection of Gaussian Signals in WGN . . . . . . . . . . . . . . . . . . . . 433 10.1 Introduction . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 433 10.2 Noncausal Receiver . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 434 10.2.1 Receiver Structure . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 435 10.2.2 Smoother Implementation . . . . . . . . . . . . . . . . . . . . . . . . . . 442 10.3 Causal Receiver . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 448 10.4 Asymptotic Stationary Gaussian Test Performance . . . . . . . . . . 456 10.4.1 Asymptotic Equivalence of Toeplitz and Circulant Matrices . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 457 10.4.2 Mean-square Convergence of ST . . . . . . . . . . . . . . . . . . . . . 459 10.4.3 Large Deviations Analysis of the LRT. . . . . . . . . . . . . . . . 461 10.4.4 Detection in WGN . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 466 10.5 Bibliographical Notes . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 473 10.6 Problems . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 473 References . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 480 Contents XVII 11 EM Estimation and Detection of Gaussian Signals with Unknown Parameters . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 483 11.1 Introduction . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 483 11.2 Gaussian Signal of Unknown Amplitude in WGN of Unknown Power . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 485 11.3 EM Parameter Estimation Method . . . . . . . . . . . . . . . . . . . . . . . . 486 11.3.1 Motonicity Property . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 488 11.3.2 Example . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 489 11.3.3 Convergence Rate . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 492 11.3.4 Large-Sample Covariance Matrix . . . . . . . . . . . . . . . . . . . . 498 11.4 Parameter Estimation of Hidden Gauss-Markov Models . . . . . . 500 11.4.1 EM iteration . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 501 11.4.2 Double-sweep smoother . . . . . . . . . . . . . . . . . . . . . . . . . . . . 504 11.4.3 Example . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 507 11.5 GLRT Implementation . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 511 11.6 Bibliographical Notes . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 515 11.7 Problems . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 516 References . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 522 Part III Markov Chain Detection 12 Detection of Markov Chains with Known Parameters . . . . . . 527 12.1 Introduction . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 527 12.2 Detection of Completely Observed Markov Chains . . . . . . . . . . . 528 12.2.1 Notation and Background . . . . . . . . . . . . . . . . . . . . . . . . . . 528 12.2.2 Binary Hypothesis Testing . . . . . . . . . . . . . . . . . . . . . . . . . . 533 12.2.3 Asymptotic Performance . . . . . . . . . . . . . . . . . . . . . . . . . . . 534 12.3 Detection of Partially Observed Markov Chains . . . . . . . . . . . . . 543 12.3.1 MAP Sequence Detection. . . . . . . . . . . . . . . . . . . . . . . . . . . 546 12.3.2 Pointwise MAP Detection . . . . . . . . . . . . . . . . . . . . . . . . . . 563 12.4 Example: Channel Equalization . . . . . . . . . . . . . . . . . . . . . . . . . . . 571 12.4.1 Markov Chain Model . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 571 12.4.2 Performance Analysis . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 574 12.5 Bibliographical Notes . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 585 12.6 Problems . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 585 References . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 589 13 Detection of Markov Chains with Unknown Parameters . . . 593 13.1 Introduction . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 593 13.2 GLR Detector . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 595 13.2.1 Model . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 595 13.2.2 GLR Test . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 597 13.3 Per Survivor Processing . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 599 13.3.1 Path Extension . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 599 XVIII Contents 13.3.2 Parameter Vector Update . . . . . . . . . . . . . . . . . . . . . . . . . . 599 13.4 EM Detector . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 605 13.4.1 Forward-backward EM . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 608 13.4.2 EM Viterbi Detector . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 613 13.5 Example: Blind Equalization . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 619 13.5.1 Convergence Analysis . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 621 13.5.2 Convergence Rate . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 623 13.6 Bibliographical Notes . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 628 13.7 Problems . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 628 References . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 631 Index . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 633