1. Title & Journal

Title: MODEL EVALUATION GUIDELINES FOR SYSTEMATIC QUANTIFICATION OF ACCURACY IN WATERSHED SIMULATIONS

Journal: Transactions of the ASABE 50(3), 2007, 885-900

Authors: D. N. Moriasi, J. G. Arnold, M. W. Van Liew, R. L. Bingner, R. D. Harmel, T. L. Veith

2. Author's Background

D. N. Moriasi

- Research Hydrologist
- USDA-ARS Grazinglands Research Laboratory, El Reno, Oklahoma
- Great Plains Agroclimate and Natural Resources Research Unit 

3. Summary 

유역 모델은 토양과 수자원과 관련하여 유역 내에서 발생하는 일련의 과정과 관리방안의 효과를 모의하기 위한 유용하게 사용될 수 있다. 하지만, 실제 측정된 유량값과의 비교를 통해 유역 모델로부터 모의된 유량값의 정확도와 관련하여 모델 평가를 수행할 수 있는 온전한 지침은 연구된 바가 없었다. 따라서, 본 연구의 목표는 (1) 권장할 수 있는 모델 평가 관련 통계 기법을 제시하고, (2) 제시된 통계 기법에 대한 기존 문헌 고찰과 해당 기법의 평가 효율에 대해 설명하며, (3) 기존 문헌의 고찰 결과와 검증을 위한 단일 사안에 대한 특성을 고려하여 모델 평가 방안에 대한 평가 지침을 확정하고자 한다. 연구 목표를 수행하기 위한 일련의 과정들은 유량 예측과 퇴적물 및 영양 물질의 수송 기작과 관련한 내용들로 진행되었다. 연구 목표 수행을 위해 선정된 예측 능력 평가 기법과 유역 모델에 적용된 관련 연구 사례 및 문헌에 대한 전반적인 고찰이 진행되었다. 이러한 평가 계획에 기반하여, 본 연구에서는 모델 평가를 위해 Nash-Sutcliffe efficiency (NSE), percent bias (PBIAS), root mean square error to the standard deviation of measured data (RSR) 등 세 가지 평가기법을 제안하고자 한다. 일련의 과정에 따라 수반되는 모델 평가 결과는 각각의 제안된 통계적 평가 기법에 대한 비교를 통해 결정되었다. 전반적으로, 유역 모델의 모의 결과는 NSE가 0.5 이상이고 RSR이 0.7 이하일 때 만족한다고 할 수 있으며, 유량 예측의 경우 PBIAS가 ±25% 범위 이내일 때, 퇴적물 예측의 경우 ±55% 범위 이내일 때, 질소 및 인 등 영양 물질의 경우 ±70% 이내일 때 모의 결과가 만족한다고 할 수 있다. PBIAS의 경우, 개별적인 특성을 나타내는 평가 결과는 실제 측정된 정보의 불확정성에 기반하여 결정되며, 모델 평가 지침과 관련된 추가적인 사항 역시 고려되어야 할 것이다. 이러한 고려 사항으로는 해당 모의 내용이 단일 사상인지에 대한 여부, 실측 정보의 축적량 및 신뢰성 여부, 평가 대상 기간 동안의 시간 간격, 모의하고자 하는 사상의 목적 및 연구 방향 등이라고 할 수 있다. 
 
4. Originality and Creativity

본 연구를 통해 제시된 모델 평가 기법을 활용하여 유역 모델을 통한 예측값과 모니터링을 통한 실측값을 비교할 경우, 연구자가 제시한 모델 결과를 논리적으로 설명할 수 있도록 근거로 활용될 수 있으며, 유역 관리 방안 등을 제시할 경우 그에 대한 신뢰성을 부여할 수 있는 기초 문헌으로 활용될 수 있음, 

5. Reviewer contact: 이승원 (swonlee@gist.ac.kr)