Development of Operational Guide for Proficiency Testing of Infectious Disease Diagnostic Laboratories: Background, Key Contents, and Expected Effects Authors: Su Jeoung Ahn, Eun Kyoung Bae, Mi Seon Kim, Min Joon Kim, Jeonghwa Shin, Jae Sun Park, 수정 안, 은경 배, 미선 김, 민준 김, 정화 신, 재선 박 Published: 2026 ABSTRACT ObjectivesDiagnostic results for infectious diseases underpin patient care and public health responses, requiring continuous verification of laboratory competency. Proficiency testing (PT) provides an objective assessment of laboratory performance through interlaboratory comparisons, ensuring the reliability of test results. However, there has been no domestic reference document directly applicable to PT design, operation, and result evaluation for infectious disease diagnostic laboratories. This report outlines the background and key contents of the Operational Guide for Proficiency Testing of Infectious Disease Diagnostic Laboratories developed by the Korea Disease Control and Prevention Agency (KDCA).MethodsDomestic and international standards were reviewed, covering requirements for PT providers, interlaboratory comparison statistics, the assessment of PT material homogeneity and stability, and the production of reference materials. These standards included: KS Q ISO/IEC 17043, KS Q ISO 13528, KS A ISO 17034, the KOLAS (Korea Laboratory Accreditation Scheme) Proficiency Testing Operation Procedure, and KDCA’s Standard Operating Procedures for the National Reference Laboratory. To reflect laboratory workflows, PT preparation, implementation, reporting, and improvement were integrated into a single framework.ResultsBuilt on the framework of KDCA’s National Reference Laboratory for Infectious Diseases, the guide can be used by any organization that operates PT (i.e., a PT provider). The design stage defines the objectives, target diseases, participant criteria, test methods, PT material preparation, and statistical analysis. It also provides procedures for verifying homogeneity and stability, determining assigned values, selecting statistical techniques, and reporting results. Following each round, feedback from experts and participants is incorporated into subsequent operations.ConclusionsThe guide enables continuous management of PT from preparation through feedback, rather than serving as a one-time evaluation. Its consistent application and periodic revision are expected to improve operational consistency, enhance quality assurance, and strengthen national capacity to respond to infectious diseases. Key messages ① What is known previously? Proficiency testing (PT) provides an objective assessment of laboratory performance through interlaboratory comparisons, ensuring the reliability of test results. However, there has been no standardized national guidance incorporating international PT-related standards for infectious disease diagnostic laboratories in the Republic of Korea. ② What new information is presented? By reviewing relevant domestic and international standards and incorporating the operational realities of infectious disease diagnostic laboratories, the Korea Disease Control and Prevention Agency developed and published an operational guide that covers the entire PT cycle—from program design and material production to operation, assessment, reporting, and improvement. ③ What are the implications? The consistent application and ongoing revision of this guide are expected to improve operational consistency, enhance quality assurance of test results, and strengthen national capacity to respond to infectious diseases. Introduction Infectious disease diagnostic testing forms a key basis for patient care and disease control response. The accuracy of diagnostic testing results not only determines the course of treatment for patients but also directly affects epidemiological assessments of infectious disease outbreaks and decisions pertaining to disease control and prevention policies. Accordingly, objectively assessing and maintaining the testing capabilities of laboratories performing this diagnostic testing is an important public health task. Proficiency testing (PT) primarily evaluates the testing performance of laboratories. The international standard ISO/IEC 17043 defines PT as “the evaluation of participant performance against pre-established criteria by means of interlaboratory comparisons” and regards it as a fundamental element for quality assurance while ensuring the reliability of test results [1]. Through PT, laboratories can identify and address problems related to infectious disease diagnostic testing, validate new testing methods, and identify differences in test results among institutions. Furthermore, PT provides reliable evidence of a laboratory’s competence. The Korea Disease Control and Prevention Agency (KDCA) has implemented PT for infectious disease diagnostic testing through its National Reference Laboratory for Infectious Diseases institutions. However, PT involves multiple stages, including program design, PT material preparation, PT implementation, result evaluation, report preparation, and post-program improvement. Despite the need to adopt internationally accepted standards and procedures at each stage, no operational reference document has been developed to systematically support these processes. Hence, after reviewing relevant domestic and international standards and considering the laboratory operating conditions of domestic public testing institutions along with the characteristics of the infectious disease diagnostic testing field, KDCA developed and published the “Operational Guide for Proficiency Testing of Infectious Disease Diagnostic Laboratories” in 2026 [2]. The preparation of this guide was based on the organizational structure and operational framework of KDCA’s National Reference Laboratory for Infectious Diseases. This guide is intended to serve as a reference for the National Reference Laboratory when conducting PT for local governments (Research Institutes of Public Health and Environment), Regional Centers for Disease Control and Prevention, and private testing institutions. This report describes the background to its development and summarizes its main contents. Methods The “Operational Guide for Proficiency Testing of Infectious Disease Diagnostic Laboratories” was developed through KDCA’s commissioned research project titled “Study on the Improvement of the Operational System for National Infectious Disease Diagnostic Proficiency Testing” [2]. It was developed based on the PT operational activities of KDCA’s National Reference Laboratory for Infectious Diseases and reflects the laboratory operating conditions of domestic public testing institutions and the characteristics of infectious disease diagnostic testing. First, the PT operational requirements specified in KDCA’s Standard Operating Procedures for the National Reference Laboratory [3] were compared with the requirements of international standards to determine whether it would be appropriate to incorporate internationally accepted standards and identify areas of improvement in the current guidelines. Second, PT programs conducted by the KDCA over the past three years were analyzed with respect to PT material preparation, performance evaluation, statistical analysis, and result reporting to identify recurring issues encountered in practice. Third, interviews were conducted with staff from the department responsible for PT operations to identify operational constraints and improvement requisites that could not be fully identified solely through case analysis. These findings were incorporated into the guide. While developing the guide, the following applicable domestic and international standards for the design and operation of PT were reviewed: ISO/IEC 17043, which specifies the general requirements and operational procedures for PT, was adopted as the basic framework [1]. KS Q ISO 13528, which specifies statistical methods for PT by interlaboratory comparison, and KS A ISO 17034, which specifies the general requirements for the competence of reference material producers, were also adopted [4,5]. International standards such as (i) ISO 33405, which provides guidance on the homogeneity assessment, stability assessment, and assigned-value determination of PT materials, (ii) ISO 33406, which provides guidance on the design of qualitative PT materials [6,7], and (iii) the Korea Laboratory Accreditation Scheme (KOLAS) Proficiency Testing Operation Procedure (KOLAS-R-007; domestic guideline for PT operation) were also referenced [8]. Accordingly, internationally accepted standards and procedures were incorporated into each stage, from program design to PT material preparation, operation, performance evaluation, result reporting, and improvement. Emphasis was placed on adapting the general requirements of international standards to the operational context of infectious disease diagnostic testing and domestic laboratory conditions, presenting practical criteria and procedures for each stage of PT. Additionally, although this guide was prepared based on the operational framework of KDCA’s National Reference Laboratory for Infectious Diseases, it was designed to serve as a reference for any institution conducting PT, regardless of its organizational structure. Results This guide outlines the operational procedures for PT in the sequence of program design, PT material preparation, PT operation, performance evaluation, report preparation, and improvement and organizes them into a workflow of preparation, evaluation and determination, and reporting and feedback (Table 1). These six items were identified as key components by integrating a comparison of standard operating procedures and international standards conducted while developing the guide, a step-by-step analysis of operational cases from the KDCA’s PT program conducted over approximately three years, and recurring issues and improvement needs identified via interviews with operational staff. They were then organized to reflect the actual PT operational workflow. The guide places emphasis on the program design stage as PT programs can be operated in various ways depending on their intended use, characteristics of PT materials, and number of participants. In infectious disease diagnostic testing, PT is classified into quantitative, qualitative, and interpretative assessments, each requiring distinct approaches to PT material design and performance evaluation. Therefore, these aspects should be clearly defined during program design. ISO/IEC 17043 specifies a minimum of 21 items to be considered during the program design stage [1], and the guide provides instructions for reviewing these items during the program design stage using examples of PT schemes. Among these, items of particular importance in infectious disease diagnostic testing, such as the homogeneity assessment, stability assessment, and assigned-value determination of PT materials, are presented in separate chapters and explained in the context of PT operations. Before initiating a PT program, the laboratory director is required to prepare a program plan that defines the assessment purpose and type; eligibility criteria for participating institutions; test items and methods; requirements for the production, storage, and distribution of PT materials; and statistical analysis methods used for performance evaluation. During the PT material preparation stage, the guide emphasizes to ensure that the PT materials exhibit the required physical characteristics and analyte concentration, they are available in sufficient quantity, and they are stable under intended storage conditions. It also provides a procedure to verify the homogeneity and stability of the manufactured materials. Homogeneity assessment is the process of verifying that differences in characteristic values between material units remain within the permissible range. Meanwhile, stability assessment is the process of verifying that characteristic values do not change during the storage, transport, and testing periods. The aim is to ensure that differences in results among participating organizations stem from differences in laboratory testing capabilities rather than from differences in the manufactured materials [1,6]. Stability assessment aims to demonstrate that the characteristic values of the manufactured materials are maintained within the established acceptance criteria during the intended storage, transport, and testing periods. As random sampling of the PT materials must be performed to prevent arbitrary selection by practitioners, the guide presents a sampling method based on tools such as random number tables [6]. Through such sampling, homogeneity and stability are evaluated to verify that the produced materials represent equivalent assigned values. The applicable standards also differ according to the evaluation type. For quantitative PT, the guide follows the standard that recommends the random selection of at least 10 units from the produced materials for homogeneity assessment, with each unit tested at least twice [6]. For qualitative PT, the guide refers to ISO 33406 for material design according to the evaluation purpose [7]. When PT material production is outsourced, requirements regarding material production capability, homogeneity and stability assessment capability, and quality assurance capability should be confirmed in advance and reflected in the contract. The operational stage of PT begins with the preparation of participant instructions. These instructions should specify procedures for handling the PT materials, factors that may influence the examination, detailed pretreatment procedures, safety requirements, examination environmental conditions, and guidance on recording and reporting examination results and associated measurement uncertainty. Proper handling and storage of the PT materials are critical until they are delivered to the participating institutions. Accordingly, periodic checks for material deterioration under transport and storage conditions should be performed. For hazardous materials, separate safe handling procedures should also be established. During the packaging and distribution stage, each PT material should be labeled with a laboratory code (Lab-code) to ensure traceability. Upon receipt, the participating institution should confirm that the PT materials are delivered intact and submit an acknowledgment of receipt, enabling the PT-conducting institution to verify successful delivery. The guide also describes the use of statistical techniques suitable for different situations when analyzing PT results [4]. When determining the assigned value, which serves as the reference for performance evaluation, priority should be given to methods associated with low assigned-value uncertainty. Accordingly, the preferred sources include a value established during the PT material preparation stage, a certified value obtained using a precise analytical method, or a reference value traceable to a national standard. If such values are unavailable, a consensus value from expert laboratories should be used. If this is also unavailable, a consensus value derived by applying statistical methods to results from participating laboratories should be used. When the number of participants is very small or consensus among participants is inadequate, the guide recommends determining the assigned value based on external criteria, such as the certified value of a certified reference material, rather than a participant consensus value. Furthermore, it also presents an example of a performance evaluation procedure for PT programs involving two or three participating institutions. To reduce the influence of extreme results, the assigned value and the standard deviation for PT results may be estimated using robust statistical methods. The guide further specifies that the procedures for establishing the assigned value and its uncertainty, the standard deviation for PT results, and other evaluation criteria (e.g., tolerance limits), together with the rationale for their selection, should be predetermined and documented during the program design stage. Once the assigned value is determined, participant results should be expressed as deviations from the assigned value, and performance should be evaluated using the z-score, which should be standardized by the standard deviation for PT results. A z-score should be interpreted as satisfactory if its absolute value is ≤2, questionable (warning) when >2 and <3, and unsatisfactory (action) when ≥3. If the uncertainty of the assigned value is not negligible compared to the standard deviation for PT results, a modified z-score (z´) that accounts for the assigned-value uncertainty should be used. If participants also report measurement uncertainty, the En score should be used, with an absolute value of ≤1 indicating satisfactory performance. However, because the En score decreases as the uncertainty reported by participants increases, attention should be paid to ensure that the reported uncertainty is calculated accurately. When evaluating the combined results of multiple PT materials, either the mean of the z-scores or the mean of the absolute z-scores may be used. Meanwhile, Cochran’s test, Grubbs’ test, analysis of variance, and t-tests should be used to assess the homogeneity and stability of PT materials, as well as to evaluate whether differences in testing results exist among participating laboratories grouped by the reagents or equipment used for infectious disease diagnostic testing. Final performance judgments should be based on a comprehensive consideration of expert consensus, the fitness-for-purpose of the evaluation method, statistical decision criteria based on performance scores, and participant consensus. For qualitative tests, expert consensus should be used as the primary basis for performance evaluation. After analyzing the PT results, a report must be prepared to allow participating institutions to objectively assess their testing capabilities and identify areas for improvement. The report must include basic operational information, such as the operating institution’s information, issue date, and confidentiality level of results as well as a description of the evaluation process, including the characteristics of the PT materials, participants’ results, and the procedure used for determining the assigned value. Most importantly, it must include information that supports the improvement of future testing performance, including comments on each participating institution’s performance and advice on the interpretation of the statistical analyses. If a participant raises an objection, the outcome should be reflected in the report, and the reasons for any associated amendments should be clearly stated. After the report is distributed, a process should be established to facilitate continuous improvement through expert consultation and feedback from participating institutions before subsequent PT programs are conducted. Expert consultation should be leveraged to review the technical validity of PT program operation, and feedback from participating institutions should be used to identify operational issues that may not be readily recognized by the operating institution itself. Advisors should be able to provide consultation on the technical content of the program plan, the methods and results of the homogeneity and stability assessments of the PT materials, and the technical content of the performance evaluation and draft final report. However, to avoid conflicts of interest, consultation should exclude the development of the program plan and the approval of the performance evaluation method and final report so that the operating institution retains final responsibility and approval authority. In addition, advisors should sign a document pledging confidentiality and impartial review. Surveys of participating institutions should be conducted at least annually. The survey should assess satisfaction with the planning and implementation of the PT program, including the provision of advance information, the quality of PT materials, and test methods and procedures used. It should also collect feedback on the utilization of PT results, including the report and feedback provided to the operating institution, as well as suggestions for operational improvement. The collected survey results should be incorporated into future PT programs. Discussion This guide is important as it organizes the entire PT process for infectious disease diagnostic testing, from program design to feedback, into a unified framework. By adapting international standards for PT operations to the specific requirements of infectious disease diagnostic testing and domestic laboratory conditions, the guide serves as a practical reference that bridges the gap between international standards and their implementation in routine practice. Although detailed procedures, such as those related to the determination of the assigned value and selection of statistical methods, could previously vary depending on the operational round or the person in charge, the guide standardizes these processes by specifying criteria and procedures to be applied at each stage of PT operation. These standardized criteria and procedures enable consistent and reproducible PT operations regardless of the operating institution or operational round and can be applied not only when conducting PT operations for the first time but also when reviewing existing PT operational methods. Additionally, the guide defines performance evaluation not as a simple pass or fail judgment but as a tool for improving the testing capabilities of participating institutions. It further emphasizes that just as participating institutions improve through feedback, the operating institution should continuously improve the PT program through expert consultation and feedback from participating institutions. Although the guide was developed based on the operational framework of KDCA’s National Reference Laboratory for Infectious Diseases, it can serve as a reference for any institution that conducts PT. In addition to supporting similar PT activities at other institutions, it may serve as a reference for broader applications, such as internal laboratory quality control. Application experience of the guide across various settings is expected to accumulate in the future. Notably, although the guide presents alternatives for test items when the number of participating institutions is limited, such as determining the assigned value based on external criteria rather than based on participant consensus, further refinement of such methods will require additional operational experience under different conditions, including those involving extremely rare or newly emerging infectious diseases. International standards related to PT are continuously revised, and the field of infectious disease diagnostics continues to evolve with the emergence of new pathogens and advancements in diagnostic technologies. Consequently, this guide should be periodically revised to reflect revisions to relevant international standards and experience gained during field operation. As operational experience accumulates, opportunities for improvement can be identified and incorporated into future revisions. Through continued application and refinement, the guide is expected to contribute to improving the consistency of PT operations, ensuring the quality of diagnostic testing and strengthening national capabilities for infectious disease response. 핵심요약 ① 이전에 알려진 내용은? 숙련도평가는 실험실 간 비교를 통해 개별 실험실의 검사 수행 능력을 객관적으로 확인하고 검사 결과의 신뢰성을 확보하기 위한 주요 수단으로 활용되어 왔으나, 감염병 진단검사 분야에서 숙련도평가를 운영하기 위한 구체적인 참고 기준은 마련되어 있지 않았다. ② 새로이 알게 된 내용은? 질병관리청은 관련 국내외 기준을 검토하고 감염병 진단검사 실험실의 운영 여건을 반영하여, 숙련도평가의 프로그램 설계부터 평가물질 제작, 운영, 판정, 결과보고 및 개선에 이르는 전 과정을 정리한 운영가이드를 개발‧발행하였다. ③ 시사점은? 본 운영가이드를 감염병 진단검사 실험실의 숙련도평가 운영에 지속적으로 적용하고 보완해 나간다면, 평가 운영의 일관성을 높이고 검사 결과의 품질보증 및 국가 감염병 대응 역량 강화에 기여할 수 있을 것이다. 서 론 감염병 진단검사는 환자 진료와 방역 대응의 핵심 근거로 활용된다. 진단검사 결과의 정확성은 개별 환자의 치료 방향을 결정하는 데 그치지 않고, 감염병 유행 상황에 대한 역학적 판단과 방역 정책 결정에도 직접적인 영향을 미치기 때문이다. 이에 따라 감염병 진단검사를 수행하는 실험실의 검사 역량을 객관적으로 확인하고 유지하는 것은 공중보건 측면에서 중요한 과제이다. 숙련도평가(proficiency testing)는 실험실의 검사 수행 능력을 평가하는 주요 수단 중 하나이다. 국제표준 ISO/IEC 17043은 숙련도평가를 ‘시험기관 간 비교를 통하여 미리 확립된 기준에 대한 참가자의 수행도를 평가하는 것’으로 정의하며, 검사 결과의 품질보증 및 신뢰성 확보를 위한 기본 요소로 보고 있다[1]. 숙련도평가를 통해 실험실은 감염병 검사 수행상의 문제를 파악하여 개선하고, 새로운 검사법의 유효성을 검증하며, 기관 간 시험 결과의 차이를 확인할 수 있다. 또한 실험실 역량에 대한 신뢰할 수 있는 근거를 제공하는 역할도 한다. 질병관리청은 감염병 국가표준실험실을 중심으로 감염병 진단검사에 대한 숙련도평가를 운영해 왔다. 그러나 숙련도평가는 프로그램 설계, 평가물질 제작, 검사 수행, 결과 판정, 보고서 작성 및 사후 개선에 이르는 여러 단계로 이루어지며, 각 단계마다 국제적으로 통용되는 기준과 절차를 적용할 필요가 있음에도 이를 체계적으로 뒷받침할 수 있는 운영 참고문서는 마련되어 있지 않은 상황이었다. 이에 질병관리청은 관련 국내외 기준을 검토하고 국내 공공 검사기관의 실험실 운영 여건과 감염병 진단검사 분야의 특성을 반영하여, 2026년 「감염병 진단검사 숙련도평가 운영가이드」를 개발‧발행하였다[2]. 본 운영가이드는 질병관리청 감염병 국가표준실험실의 조직 및 업무 체계를 기반으로, 국가표준실험실이 지자체(보건환경연구원)‧질병대응센터‧민간 검사기관 등을 대상으로 숙련도평가를 운영할 때 참고할 수 있도록 작성되었다. 본 보고에서는 동 운영가이드의 개발 배경과 주요 내용을 소개하고자 한다. 방 법 「감염병 진단검사 숙련도평가 운영가이드」는 질병관리청의 「국가 감염병 진단검사 숙련도평가 운영 체계 개선 연구」용역을 통해[2], 질병관리청 감염병 국가표준실험실의 숙련도평가 운영 업무를 기반으로 국내 공공 검사기관의 실험실 운영 여건과 감염병 진단검사 분야의 특성을 반영하여 개발하였다. 먼저 질병관리청의 「감염병 국가표준실험실 표준운영지침」의 숙련도평가 운영요건[3]과 국제표준의 요구사항을 비교하여 국제적 기준을 반영하는 것이 적합한지, 현재의 지침에 보완이 필요한 영역이 무엇인지를 확인하였다. 다음으로 최근 약 3년간 질병관리청이 수행한 숙련도평가 운영사례를 평가물질 제작, 수행도 평가, 통계처리, 결과보고 등 항목별로 분석하여 현장에서 반복되는 문제를 도출하였다. 끝으로 숙련도평가 운영부서 실무자를 대상으로 면담을 실시하여 사례 분석만으로는 파악하기 어려운 운영상의 제약과 개선 요구를 확인하고 이를 운영가이드에 반영하였다. 개발 과정에서는 숙련도평가의 설계와 운영에 적용되는 국내외 기준을 검토하였다. 숙련도평가의 일반 요건과 운영 절차를 규정한 ISO/IEC 17043을 기본 틀로 삼았으며[1], 시험소 간 비교 숙련도평가를 위한 통계적 방법을 다룬 KS Q ISO 13528, 표준물질 생산기관의 역량에 관한 일반 요건을 담은 KS A ISO 17034를 따랐다[4,5]. 아울러 평가물질의 균질성‧안정성 평가와 특성치 부여에 관한 국제표준 ISO 33405, 정성 평가물질의 설계에 관한 ISO 33406 등을 함께 참고하였다[6,7]. 또한 국내 숙련도시험 운영기준인 Korea Laboratory Accreditation Scheme (KOLAS) 숙련도시험 운영요령(KOLAS-R-007)도 함께 참고하였다[8]. 이를 통해 프로그램 설계부터 평가물질 제작, 운영, 수행도 평가, 결과보고, 개선에 이르는 각 단계에 국제적으로 통용되는 기준과 절차를 반영하고자 하였다. 특히 국제표준이 제시하는 일반적 요건을 감염병 진단검사의 운영 맥락과 국내 실험실 여건에 맞추어 구체화함으로써 실무에서 직접 적용할 수 있도록 각 단계별 기준과 절차를 제시하는 데 중점을 두었다. 또한 본 운영가이드는 질병관리청 감염병 국가표준실험실의 업무 체계를 기반으로 작성하였으나, 특정 기관에 한정하지 않고 숙련도평가를 운영하는 기관이 공통으로 참고할 수 있도록 구성하였다. 결 과 본 운영가이드는 숙련도평가의 운영 절차를 프로그램 설계, 평가물질 제작, 숙련도평가 운영, 수행도 평가를 위한 통계적 방법, 결과보고서 작성, 숙련도평가 개선의 순서로 정리하였으며, 이를 평가 준비, 평가 수행 및 판정, 보고 및 환류의 흐름으로 구성하였다(표 1). 이 6가지 항목은 개발 과정에서 수행한 표준운영지침과 국제표준의 비교, 최근 약 3년간 질병관리청 숙련도평가 프로그램 운영 사례의 단계별 분석, 실무자 면담에서 반복적으로 확인된 문제와 보완이 필요한 영역을 종합하여 핵심 항목으로 선정한 것으로, 이를 숙련도평가의 실제 운영 흐름에 맞추어 배열하였다. 운영가이드에서 가장 비중 있게 다루는 부분은 프로그램 설계 단계이다. 숙련도평가 프로그램은 활용 목적, 평가물질의 특성, 참가자 수 등에 따라 다양하게 운영할 수 있기 때문이다. 감염병 진단검사에서 숙련도평가는 정량적, 정성적, 해석에 의한 평가로 구분되며, 유형에 따라 평가물질의 설계 방향과 수행도 판정 방법이 달라지므로 설계 단계에서 이를 명확히 결정하도록 하였다. ISO/IEC 17043은 이러한 설계 단계에서 고려할 최소 21개 항목을 제시하고 있으며[1], 운영가이드는 이 항목들을 숙련도평가 스킴 사례를 통해 설계 시 점검하도록 안내하였다. 이 가운데 감염병 진단검사에서 특히 중요한 항목인 평가물질의 균질성‧안정성, 설정값(assigned value) 결정 등은 별도의 장으로 구성하여 운영 맥락에 맞추어 설명하였다. 실험실 책임자는 숙련도평가를 시작하기에 앞서 평가 목적과 유형, 참가기관의 기준, 검사 항목 및 방법, 평가물질의 제조‧보관‧배포 요건, 통계분석 방법 등을 포함하는 프로그램 계획서를 작성하도록 하였다. 평가물질 제작 단계에서는 시료가 성상과 농도에 대한 대표성, 충분한 양, 보존 조건하에서의 안정성 등을 갖추도록 하였으며, 제조된 물질에 대해서는 균질성과 안정성을 검증하는 절차를 제시하였다. 균질성은 물질 단위 간 특성값의 차이가 허용 범위 이내인지, 안정성은 보관‧운송‧시험 기간 동안 특성값이 변화하지 않는지를 확인하는 과정으로, 참가기관 간 결과 차이가 물질의 차이가 아닌 실험실의 검사 능력 차이에서 비롯되도록 보장하기 위함이다[1,6]. 특히 안정성 확인은 의도된 보관‧운송 및 시험 기간 동안 평가물질의 특성값이 설정된 허용기준 이내로 유지됨을 입증하는 데 목적이 있다. 평가물질의 샘플링은 실무자의 임의적 선택이 개입되지 않도록 무작위로 수행하여야 하므로 난수표 등을 활용한 방법을 제시하였다[6]. 이러한 샘플링을 통해 균질성과 안정성을 평가하여 생산된 물질들이 서로 동일한 값을 대표할 수 있는지 검증하도록 하였다. 평가 유형에 따라 참고하는 기준도 달라지는데, 정량 물질은 균질성 평가를 위해 제작된 물질 중 최소 10개 단위를 무작위로 선정하여 각각 2회 이상 반복 시험하도록 권장한 표준을 따르도록 하였으며[6], 정성 물질은 평가 목적에 맞추어 ISO 33406을 참고하여 설계하도록 하였다[7]. 평가물질을 외부에 위탁하여 제작하는 경우에는 물질 생산 능력, 균질성‧안정성 평가 역량, 품질 유지 역량에 관한 요건을 사전에 확인하여 계약에 반영하도록 하였다. 숙련도평가 운영 단계는 참가요강 작성에서 시작된다. 참가요강에는 평가물질의 취급 방법과 검사에 영향을 미칠 수 있는 요인, 전처리 세부 절차, 안전요건, 검사 환경조건 등을 명시하도록 하였으며, 참가기관이 검사 결과 및 관련 불확도를 기록‧보고하기 위한 세부적인 내용 등을 안내하도록 하였다. 평가물질이 참가기관에 전달되기까지는 취급과 보관이 중요한데 운송‧보관 조건에 따른 변질 여부를 주기적으로 점검하도록 하였으며, 위험물질의 경우 안전한 취급 절차를 별도로 계획하여야 한다. 마지막으로 물질을 포장하여 배포하는 단계에서는 실험실 코드(Lab-code) 등의 라벨링을 통해 추적이 가능하도록 하였으며, 운송 후 참가기관은 평가물질이 온전히 배송됨을 확인하고 운영기관이 평가물질 수령 여부를 확인할 수 있도록 수령증(인수증)을 전달하도록 하였다. 숙련도평가 수행 결과를 분석하기 위해서는 각 상황에 맞는 적합한 통계적 기법을 사용하여야 한다[4]. 우선 결과 판정의 기준이 되는 설정값을 결정하는데, 설정값의 불확도가 낮은 방법을 우선하여 물질 제작 과정에서 이미 결정된 값이나 정밀한 분석법에 의한 인증값, 국가표준에 소급되는 기준값 등을 활용하도록 하였다. 이러한 값을 확보하기 어려운 경우에는 전문 시험소의 합의값을, 그마저 어려운 경우에는 참가 시험소 결과에 통계적 방법을 적용한 합의값을 활용하도록 하였다. 만약 참가자 수가 매우 적거나 참가자 간 합의가 충분하지 않은 경우에는 참가자 합의값 대신 인증표준물질의 인증값 등 외부기준에 근거하여 설정값을 결정하도록 하였으며, 참가기관이 2–3개소인 경우의 수행도 평가 절차도 사례로 제시하였다. 설정값과 숙련도평가를 위한 표준편차는 극단적인 결과의 영향을 줄이기 위해 로버스트(robust) 통계기법으로 추정할 수 있다. 설정값과 그 불확도, 숙련도평가를 위한 표준편차 또는 그 밖의 평가 기준(허용한계 등)을 확립하는 절차와 그 선정 사유는 프로그램 설계 단계에서 미리 정하여 문서화하도록 하였다. 설정값이 정해지면 참가기관의 결과를 설정값으로부터의 편차로 환산하고, 이를 숙련도평가를 위한 표준편차로 표준화한 z-점수(z-score)로 수행도를 평가한다. z-점수는 절댓값이 2 이하이면 만족, 2 초과 3 미만이면 의심(경고), 3 이상이면 불만족(조치)으로 해석한다. 설정값의 불확도가 표준편차에 비해 무시할 수 없는 경우에는 이를 반영한 수정 z-점수(z′)를, 참가자가 측정불확도를 함께 보고하는 경우에는 En 점수(절댓값 1 이하이면 만족)를 활용한다. 다만 En 점수는 참가자가 보고한 불확도가 클수록 값이 작아지므로, 불확도가 정확하게 산출되었는지에 유의하도록 하였다. 여러 물질의 결과를 종합하여 판정하는 경우에는 z-점수의 평균이나 절대 z값의 평균 등을 이용할 수 있다. 한편 코크란(Cochran)‧그럽스(Grubbs) 검정과 분산분석(analysis of variance)‧t-검정은 평가물질의 균질성‧안정성 평가와 시약‧장비 등 집단 간 차이의 검정에 활용한다. 이렇게 산출된 통계량으로 최종 수행도를 판정할 때는 전문가 합의, 방법의 합목적성, 점수에 대한 통계적 결정, 참가자 합의 등을 종합적으로 고려하며, 정성적 시험의 경우에는 전문가 합의가 대표적인 판정 방식으로 활용된다. 숙련도평가 결과를 분석하였다면 참가기관이 검사 역량을 객관적으로 파악하고 개선 방향을 확인할 수 있도록 결과보고서를 작성하여야 한다. 보고서에는 운영기관 정보와 발행일, 결과의 기밀유지 정도 등 운영에 관한 기본 사항과 함께 평가물질의 특성, 참가자의 결과, 설정값의 산출 절차 등 평가 결과를 도출한 과정이 제시되어야 한다. 무엇보다 참가기관별 수행도에 대한 의견과 통계분석 해석에 대한 조언과 같이 향후 검사 역량 향상으로 이어질 수 있는 내용을 반드시 포함하도록 하였다. 참가자의 이의제기가 있는 경우에는 처리 결과를 보고서에 반영하고 수정 사유를 명확히 밝히도록 하였다. 결과보고서가 배포된 이후에는 전문가 자문과 참가기관의 피드백을 통해 향후 숙련도평가를 이어 나가기에 앞서 개선이 이루어지도록 하였다. 전문가 자문을 통해 프로그램 운영의 기술적 타당성을 점검할 수 있으며, 참가기관 피드백을 통해 운영기관 스스로는 파악하기 어려운 운영상의 문제를 확인할 수 있다. 자문위원은 프로그램 계획서의 기술적 내용, 평가물질의 균질성‧안정성 평가 방법과 결과, 수행도 평가 및 최종 보고서(안)의 기술적 내용 등에 대해 자문할 수 있도록 하였다. 다만 이해충돌을 방지하기 위해 프로그램 계획의 수립과 수행도 평가‧최종 보고서의 승인은 자문 범위에서 제외하여, 최종 책임과 승인 권한은 운영기관이 보유하도록 하였다. 아울러 자문위원에게는 기밀유지와 공정한 검토를 서약하는 문서를 작성하도록 권장하였다. 참가기관에 대해서는 연 1회 이상 설문조사를 실시하도록 하였으며, 설문에는 사전 정보 제공‧평가물질 품질‧시험 방법 및 절차 등 준비 및 진행 과정에 대한 만족도와 결과보고서‧피드백 등 결과 활용에 대한 의견, 그리고 운영 개선을 위한 건의사항이 포함되도록 하였다. 회수된 설문 결과는 향후 숙련도평가 프로그램 운영에 반영하도록 하였다. 논 의 본 운영가이드는 프로그램 설계부터 결과 환류까지 감염병 진단검사 숙련도평가의 전 과정을 하나의 체계로 정리하였다는 점에서 의의를 지닌다. 숙련도평가 운영에 관한 국제표준을 감염병 진단검사 분야 및 실험실 여건에 맞게 구체화하였다는 점에서 기존 국제표준만으로는 채우기 어려웠던 현장 적용의 공백을 보완한 참고문서로 활용될 수 있다. 특히 기존에는 설정값 결정, 통계기법 선정과 같은 세부 절차가 운영 회차나 담당자에 따라 달라질 여지가 있었으나, 본 운영가이드는 숙련도평가 운영 각 단계에 적용할 기준과 절차를 구체적으로 제시함으로써 이를 표준화하였다. 이렇게 표준화된 기준과 절차는 운영 주체나 회차가 달라지더라도 일관되고 재현 가능한 운영을 가능하게 하며, 숙련도평가를 처음 운영할 뿐 아니라 기존 운영 방식을 점검하고자 할 시에도 활용할 수 있다. 또한 결과 판정을 단순한 합격‧불합격 구분이 아니라 참가기관의 개선을 돕는 신호로 규정하였으며, 참가기관이 피드백을 통해 개선하듯이 운영기관도 전문가 자문과 참가기관의 의견을 통해 프로그램을 개선해 나가도록 하였다. 본 운영가이드는 질병관리청 감염병 국가표준실험실과 같이 숙련도평가를 운영하는 기관이 활용할 수 있도록 구성되었다. 아울러 타 기관의 유사한 숙련도평가 업무뿐 아니라 실험실 내부 정도관리 등 더 넓은 범위에서도 참고할 수 있어 향후 다양한 현장에서의 활용 경험이 쌓여 나갈 것으로 보인다. 다만 참가기관 수가 제한적인 검사 항목에 대해서는 참가자 합의값 대신 외부기준에 근거하여 설정값을 결정하도록 하는 등의 대안을 제시하였으나, 극히 드문 감염병이나 신종 감염병 발생과 같이 기존과 다른 여건에서는 운영 경험을 축적해 가면서 세부 적용 방안을 구체화해 나갈 필요가 있다. 숙련도평가와 관련된 국제표준은 지속적으로 개정되고 있으며, 감염병 진단 분야 역시 새로운 병원체의 출현과 검사 기술의 발전에 따라 계속 변화한다. 이에 따라 본 운영가이드 또한 관련 국제표준의 개정 동향과 실제 운영 과정에서 확인되는 사항들을 반영하여 주기적으로 개정해 나갈 필요가 있으며, 운영 경험이 축적되면 이를 바탕으로 개선 사례를 확인하고 운영가이드에 반영할 수 있을 것이다. 향후 본 운영가이드를 지속적으로 적용하고 보완한다면, 숙련도평가 운영의 일관성을 높이고 검사 결과의 품질보증 및 국가 감염병 대응 역량 강화에 기여할 수 있을 것이다.