[팀블로그] 소프트웨어 테스팅 참고서

     

질문

“테스트 실행 결과”를 “Test Log”라고 부르나요? 테스트 결과는 "Test Result" 아닌가요?

Test Log와 Test Result는 같은 말인가요? 다른 말인가요? 용어가 너무 헷갈려요.

 

ISTQB 버전

ISTQB Syllabus 2018

 

답변

결론부터 말하자면 두 용어는 서로 다릅니다.

테스트 실무를 하다 보면 자주 쓰는 용어가 아닌 소프트웨어 공학 용어들이 등장하다보니, 용어들에 대해 혼동할 때가 꽤 많습니다. 경력이 많이 쌓여도 자주 안쓰는 용어들은 그런 경우들이 더러 있습니다. 꽤나 나이와 경력이 있는 경력자들도 프로젝트를 하다가 테스트 관련 용어를 혼동하는 경우가 있어 업무 시 가끔 실수할 때도 있는데요, 심각한 경우는 마지막 단계인 프로젝트 감사까지 가서야 문제점을 깨닫는 경우도 더러 있습니다. 그만큼 연륜 있는 프로젝트 관리자들에게도 테스트 관련 용어들은 어렵다는 의미로 이해하시면 좋겠습니다.

 

그래서 이번 글에서는 「테스트 로그」와 「테스트 결과」라는 용어에 대해 집중적으로 알아 본 후 필자들의 설명을 덧붙이려 합니다.

ISTQB 용어집

우선 ISTQB의 인터넷 용어집에는 아래와 같이 나와 있습니다.

용어 설명
Test log
(테스트 로그)
테스트의 실행에 관한 관련된 상세사항들의 시간적인 기록
(※필자 주 : 동의어로는 test run log, test record 등이 있습니다.)
Test logging
(테스트 로깅)
테스트 로그를 생성하는 활동
Test result
(테스트 결과)
테스트 실행의 출력/결과
Test report
(테스트 리포트)
테스트 활동과 결과를 요약하는 문서
Test reporting
(테스트 리포팅)
테스트 활동에서 데이터를 수집 및 분석하고, 이후 보고서의 데이터를 통합하여 이해관계자에게 정보 제공 하는 것

※ 위 설명은 영어를 필자들이 번역해서 기재한 내용입니다.

 

IEEE 24765:2017 - Software and System Engineering

국제 표준인 Software and System Engineering - IEEE 24765:2017 표준에서는 해당 용어에 대해 아래와 같이 설명하고 있습니다.

용어 설명
test log
(테스트 로그)
테스트의 수행에 대한 관련 세부 사항의 연대적인 기록.
(※필자 주 : 여기서의 연대적인 이라는 말은 시간상 순서를 말하는 것입니다.)
test execution log
(테스트 실행 로그)
하나 또는 그 이상의 테스트 프로시저 수행의 상세 내용을 기록한 문서
test result
(테스트 결과)
특정 시험사례의 합격여부, 불합격여부 표시, 즉 실제 결과가 시험항목으로 관측되는지 여부 출력은 예상 결과에 해당하거나 편차가 관측된 경우를 말합니다.
test report
(테스트 리포트)
시스템 또는 구성부품에 대하여 수행된 시험의 수행 및 결과를 기술하는 문서

(문서 종류 참고) 테스트 사례 사양, 테스트 완료 보고서, 테스트 사고 보고서, 테스트 항목 전송 보고서, 테스트 로그, 테스트 계획, 테스트 절차

※ 위 설명은 영어를 필자들이 번역해서 기재한 내용입니다.

 

IEEE 829:2013 - Software Test Documentation

IEEE 24765 보다 조금 더 오래된 국제 표준으로 Software Test Documentation - IEEE 829:2013 표준에서는 해당 용어에 대해 아래와 같이 설명하고 있습니다.

용어 설명
Level Test Log
(단계 별 테스트 로그)

테스트 실행에 대한 관련 세부 정보의 연대순 기록을 제공합니다.

예 : 실행 된 테스트 케이스, 실행 한 사람, 순서 및 각 테스트의 통과 또는 실패 여부를 기록

(※ 필자 주 : IEEE 829는 폭포수 개발 방법론 기반으로 점진-반복하는 Spiral을 기반으로 한 개발 방법론 모델이 유행할 때 처음 논의를 시작한 걸로 보입니다. 전체 표준에서 Level(단계)란 용어와 Master(총괄)이라는 용어가 등장하기 때문입니다. 이 Level이라는 용어는 SDLC 상에서 어떤 특정 시점에서의 테스트라고 이해하시면 되며, 그냥 Level을 빼고 Test Log로 읽으셔도 됩니다.)

Level Interim Test Status Report
(단계 별 테스트 중간 상태 보고서)
지정된 테스트 활동의 중간 상태를 요약하고, 선택적으로 특정 테스트 단계에 대한 결과를 기반으로 해당 상태를 평가하거나 혹은 제안 내용을 제공합니다.
Level Test Report
(단계 별 테스트 보고서)
지정한 테스트 활동의 결과를 요약하고 특정 테스트 단계에 대한 테스트 실행 활동의 완료된 결과를 기반으로 하여 해당 상태를 평가하거나 혹은 제안 내용을 제공합니다.

 

Test Log와 Test Result에 대한 결론

ISTQB 용어 사전을 포함한 위 표준들에서 설명하는 바와 같이 "테스트 로그"라 함은, 쉽게 요약해서 「계획된 기간/내용 내에서 수행한 각 테스트 활동의 세부 기록」을 의미합니다. 그 외, 정의는 위의 국제 표준 등을 참고해 주세요.

 

테스트 로그는 사람이 수기로 만들어도 되고, 녹음을 해도 됩니다. 혹은 콘솔에서 나타나는 각종 테스트 로그들을 말하기도 합니다. 예를 들어, 어떤 영화에 보면 과학자가 녹음기를 들고 "xxxx년 yy월 zz일, 152번째 시도, aa가 bb로 변했다."라는 식으로 녹음을 하는데, 이런게 바로 "테스트 로그"의 일종입니다. 또한, 콘솔에 찍히는 로그들 중 테스트와 관련된 내용들은 "테스트 로그"라 볼 수 있습니다.

Dmitry Golovach - Python Logging

 

"테스트 결과"라 함은 「테스트 활동을 특정 기간/조건 등으로 모은 결과의 모음」이라 요약할 수 있습니다. 예를 들어, '일주일 간 테스트 한 결과' 혹은 '테스트 조건 10개를 테스트한 결과', '1번 문제부터 100번 문제까지를 풀이한 결과', '어떤 조건을 변수로 대입하여 도출된 결과' 등과 같은 방식의 결과들을 말합니다. 

 

관련 사족 설명

사족1. IEEE의 문서는 유료로 구매하는 것입니다. 필자들에게 부탁하지 마세요. 불법이랍니다. 

 

사족2. Software Test Documentation 표준인 IEEE 829 표준은 2008년에 처음 발표된 이후 2013년 개정판이 있지만, 꽤 오래된 표준이라 더 이상 실무에서는 사용하지 않으시는게 좋겠다고 권유드립니다. 다만, IEEE 829 표준에서 정의된 테스트 문서와 관련된 용어를 알아 두는 건 분명 업무를 하거나, 테스팅 관련 지식을 쌓는 데에 도움이 됩니다. 

 

사족3. 우리는 또 「테스트 결과」와 「테스트 결과 보고서」를 혼동하지 않아야 합니다. 보고서는 테스트 결과에 대한 객관적, 주관적 견해가 들어갈 수 있고, 결과를 해석하고 사용하는 방향성에 대한 이야기가 추가될 수도 있습니다. 이 이야기는 또 길어 질 수 있으므로, 다음 번에 기회가 될 때 다시 한 번 이야기를 하겠습니다.

 

참여자 정보

 글쓴이 : Byungjoo, 천년나무

• 검토한이 : 품생품사

 

STEEG 개인 의견

※ STEEG 전문가들의 개인 의견은 각 전문가 개인이 경험한 경력에 따른 주관적 견해입니다. 
    이런 개인 의견들의 경우는 그룹 전체의 의견을 대표하지 않음을 알립니다.

(본 글에 대한 전문가의 별도 포스팅이 존재하지 않습니다.)

 

관련 참고 자료

 ※ 아래는 필자들이 선정한 관련 외부 자료입니다. 
     아래 자료들은 필자들이 작성한 본문 의견과 다를 수 있으며, 필자들과 관련되지 않았을 수 있습니다.
 

ISTQB Glossary : Test Logging

 

glossary.istqb.org

 

ISTQB Glossary : Test Log

 

glossary.istqb.org

 

ISTQB Glossary : Test Result

 

glossary.istqb.org

 

ISTQB Glossary : Test Report

 

glossary.istqb.org

 

ISTQB Glossary : Test Reporting

 

glossary.istqb.org

 

test log

ISTQB Glossary  definition   "A chronological record of relevant details about the execution of tests. [IEEE 829]" In Simple Engli...

istqb-glossary-explanations.blogspot.com

 

Test Results |Professionalqa.com

Test Results July 23, 2018 Introduction : Test results are the outcome of the whole process of software testing life cycle. The results thus produced, offer an insight into the deliverables of a software project, significant in representing the status of t

professionalqa.com

 

Software test documentation - Wikipedia

From Wikipedia, the free encyclopedia Jump to navigation Jump to search Software test documentation is the vital element that raises any experimental activities to the level of a software test.[1] International organisations like IEEE and ISO have publishe

en.wikipedia.org

 

ISO/IEC/IEEE 24765:2017

Systems and software engineering — Vocabulary

www.iso.org

 

 

이 글을 공유합니다.

facebook twitter kakaoTalk kakaostory naver band