[정보처리기사실기] 테스트 기법 / 테스트 오라클 / 테스트 커버리지 / 테스트 자동화 도구

1과목. 소프트웨어 구축

📒 17. 애플리케이션 테스트케이스 설계 및 관리

 

계획 - 요구사항 분석 - 소프트웨어 - 구현 - 테스트 - 유지보수

---

1. 소프트웨어 테스트

(1) 소프트웨어 테스트의 개념

• 구현된 소프트웨어가 사용자의 요구사항을 만족하는지 확인하며 결함을 찾는 활동
• 오류를 최소화하기 위해 실행하는 과정

(2) 소프트웨어 테스트의 필요성

• a) 오류 발견 관점
  - 테스트를 통해 결함을 찾아 수정
• b) 오류 예방 관점
  - 테스트를 통해 미래의 결함 발생을 방지
• c) 품질 향상 관점
  - 테스트를 통해 소프트웨어의 전반적인 품질을 향상

(3) 소프트웨어 테스트의 기본 원칙

• 테스팅은 결함을 찾아내는 활동
• 완벽한 테스팅은 불가능
• 테스팅은 개발 초기에 시작해야 함
• 테스팅 방법은 특정 상황에 의존적
• 파레토 법칙 : 20%의 핵심 모듈에서 80%의 오류가 나타나는 현상
• 살충제 패러독스 : 반복적인 테스트로는 새로운 결함을 찾기 어려움
• 오류-부재의 궤변 : 오류가 없다고 해도 사용자의 요구사항을 충족하지 않으면 품질이 좋다고 할 수 없음

(4) 소프트웨어 테스트 산출물

• a) 테스트 계획서
  - 테스트의 전반적인 계획 및 목적 등을 정의한 문서
• b) 테스트 케이스
  - 테스트 항목의 입력, 실행 조건 및 기대 결과를 포함한 명세서
• c) 테스트 시나리오
  - 동작 순서를 기술한 문서
• d) 테스트 결과서
  - 테스트의 결과와 평가를 정리한 문서

 

2. 테스트 오라클 ⭐

(1) 테스트 오라클의 개념

• 테스트의 결과가 참인지 거짓인지 판단하기 위해 사전에 정의된 참값을 입력하여 비교하는 활동

(2) 테스트 오라클의 유형

• a) 참 오라클(True)
  - 모든 입력 값에 대해 정확한 결과를 생성하는 오라클
• b) 샘플링 오라클(Sampling)
  - 제한된 입력 값들에 대해서만 예상되는 결과를 제공하는 오라클
• c) 휴리스틱 오라클(Heuristic)
  - 특정 입력 값들에 대해서 정확한 결과를 제공하나, 그 외의 값들에 대해서는 추정 결과를 제공하는 오라클
• d) 일관성 검사 오라클(Consistent)
  - 소프트웨어의 변경이 있을 때, 변경 전후의 결과가 동일한지 검증하는 오라클

 

3. 소프트웨어 테스트

(1) 단위 테스트

• a) 개념
  - 개별 소프트웨어 모듈 또는 구성요소의 기능적, 비기능적 측면을 검증하는 테스트 프로세스의 첫 단계
  - 주요 목적 : 코드의 효율성, 코딩 표준 준수, 기능의 정확성 등을 검증
• b) 유형
  ① 정적 테스트
    - 소프트웨어의 실행 없이 소스 코드나 설계 문서 등을 분석하여 문제점을 찾는 방식
    - 코드 검사, 워크스루, 인스펙션을 통해서 리펙토링을 수행함
    - 리펙토링 : 기능 변경 없이 소스 코드를 수정하는 작업
  ② 동적 테스트
    - 실제로 소프트웨어를 실행하며 문제점을 찾는 테스트 방식
    - 실행하고 제대로 된 출력값이 나오는지 테스트
  ③ 화이트박스 테스트
    - 개발자 관점에서 내부 구조와 동작을 중점으로 검사 (소스 코드 내부)
    - 기법 : 문장 검증, 선택(분기) 검증, 경로 검증, 조건 검증
    - 기초 경로 검사 : McCabe가 제안한 것으로 계산은 총 면의 수 + 1
  ④ 블랙박스 테스트 ⭐
    - 사용자 관점에서, 요구사항 명세를 보면서 일치하는지 확인하는 방법
    - 동등 분할 기법(Equivalence Partitioning Testing) : 입력 자료에 초점을 맞춰 테스트
    - 경계값 분석(Boundary Value Analysis) : 입력값의 경계값을 테스트 케이스로 선정
    - 원인-효과 그래프 검사(Cause-Effect Graphing Testing) : 입력과 출력에 맞춘 효용성 검사
    - 오류 예측 검사(Error Guessing) : 과거의 경험이나 감각으로 테스트
    - 비교 검사(Comparison Testing) : 여러 버전에서 동일한 결과가 출력되는지 테스트
    - 상태전이 검사(State Transistion Testion) : 상태를 변화시키는 이벤트와 입력값 파악

(2) 통합 테스트

• a) 개념
  - 소프트웨어 각 모듈 간의 인터페이스 관련 오류 및 결함을 찾아내기 위한 테스트 기법
  - 각각의 모듈이 서로 어떻게 동작하는지 확인하는 작업이 포함됨
  - 점증적 방식(상향식, 하향식) / 비점증적 방식(빅뱅)이 있음
• b) 유형
  ① 하향식 통합 테스트(Top Down)
    - 메인 제어 모듈로부터 아래 방향으로 이동하면서 하향식으로 테스트
    - 아직 개발되지 않은 하위 모듈은 더미 모듈인 스텁(Stub)을 개발하여 진행
    - 장애 위치 파악이 쉽지만 하위 모듈의 테스트가 불충분함
  ② 상향식 통합 테스트(Bottom Up)
    - 최하위 레벨의 모듈부터 위쪽 방향으로 통합하면서 테스트
    - 하위 모듈을 클러스터(Cluster)로 결합하면서 위쪽 방향으로 진행
    - 아직 개발되지 않은 상위 모듈은 더미 모듈인 드라이버(Driver)를 개발하여 진행
    - 장애 위치 파악이 쉽지만 중요 모듈들이 마지막에 테스트될 가능성이 높음
  ③ 빅뱅 테스트
    - 모든 구성요소들을 한꺼번에 통합하여 테스트
    - 소규모 시스템에 편리한 테스트 방식
    - 단시간에 테스트 할 수 있지만, 장애가 일어난 위치를 파악하기 어려움
  ④ 백본 테스트(샌드위치 테스트)
    - 상향식과 하향식의 장점을 이용하는 방식
    - 드라이버/스텁을 필요에 따라 만들어 사용

(3) 시스템 테스트

• a) 개념
  - 완전히 통합된 소프트웨어를 대상으로, 기능적 요구사항 뿐만 아니라 비기능적 요구사항에 대한 검증도 포함
• b) 유형
  ① 기능 테스트
    - 고객의 기능적 요구사항 중점
    - 기능의 구현 여부 및 동작 여부에 대해 테스트
  ② 비기능 테스트
    - 고객의 성능 요구사항 중점
    - 성능, 신뢰성, 안전성 등 품질 확인

(4) 인수 테스트

• a) 개념
  - 시스템을 배포하거나 실제 사용할 만한 준비가 되었는지에 대해 평가
• b) 유형
  ① 알파 테스트 : 개발자와 사용자가 함께 테스트
  ② 베타 테스트(필드 테스팅) : 사용자가 실제 운영환경에서 수행하는 테스트

 

4. 소프트웨어 테스트 기법

(1) 시각에 따른 테스트

• a) 검증(Verification)
  - 소프트웨어의 개발 과정을 테스트
  - 올바른 소프트웨어가 만들어지고 있는지 검증
  - 완성시키기 전, 잘 되고 있는지 검증하는 것
• b) 확인(Validation)
  - 완성된 소프트웨어의 결과를 테스트
  - 완성된 소프트웨어가 사용자의 요구사항을 만족하는지 확인
  - 완성된 소프트웨어가 정상적으로 동작하는지 확인

(2) 목적에 따른 테스트

목적	설명
회복(Recovery)	시스템에 고의로 실패를 유도, 정상적으로 복귀하는지 테스트
안전(Security)	보안적인 결함을 미리 점검하는 테스트
강도(Stress)	시스템 과부하 시 정상적으로 작동되는지 검증하는 테스트
성능(Preformance)	시스템의 응답하는 시간, 처리량, 반응속도 등을 테스트
구조(Structure)	시스템의 내부 구조를 평가하는 테스트
회귀(Regression)	변경 또는 수정된 코드에 대하여 새로운 결함 여부를 평가하는 테스트
병행(Parallel)	변경된 시스템과 기존 시스템을 같이 비교하는 테스트
A/B 테스트	새로운 서비스(B)가 기존 서비스(A)에 비해 효과가 있는지 알아보는 테스트
스모크 테스트(Smoke)	테스트의 환경을 테스트

 

(3) 종류에 따른 테스트

• a) 명세 기반 테스트
  - 요구사항 명세서를 보면서 빠짐없이 구현하고 있는지 확인하는 테스트
• b) 구조 기반 테스트
  - 소스코드 내부의 복잡도를 확인하는 테스트
  - 소프트웨어 내부 논리 흐름에 따라 테스트 케이스를 작성하고 확인하는 테스트
• c) 경험 기반 테스트
  - 경험이 많은 테스터의 직관과 기술 능력을 기반으로 수행하는 테스트

 

6. 테스트 커버리지

(1) 테스트 커버리지의 개념

• 테스트를 얼마나 수행했는지 측정하는 기준
• 테스트의 정확성과 신뢰성을 향상시키는 역할

(2) 테스트 커버리지의 유형

• a) 기능 기반 커버리지
  - 전체 기능을 모수로 설정하고, 실제 테스트가 수행된 기능의 수를 측정하는 방법
• b) 라인 커버리지
  - Line 수를 모수로 테스트 시나리오가 수행한 소스 코드의 Line 수를 측정하는 방법
• c) 코드 커버리지
  - 소스 코드의 구문, 조건 등의 구조 코드 자체가 얼마나 테스트되었는지 측정하는 방법
  

  유형	설명
  구문 커버리지(Statement)	코드 구조 내의 모든 구문에 대해 한 번 이상 수행
  조건 커버리지(Condition)	결정포인트 내의 모든 개별 조건식에 대해 수행, 개별 조건식이 각각 True와 False만 만족하면 됨
  결정 커버리지(Decision)	결정포인트에 대해 수행, 결정포인트가 각각 True와 False만 만족하면 됨
  조건/결정 커버리지	결정포인트 True/False, 개별조건식 True/False를 만족해야 함
  변경 조건/결정 커버리지	모든 결정포인트 내의 개별 조건식이 True/False를 만족해야 함
  다중 조건 커버리지	결정포인트 내 모든 개별 조건식의 가능한 조합을 100% 보장해야 함

 

7. 결함관리 도구

(1) 결함관리 도구의 개념

• 테스트 수행 후 발생한 결함을 추적하고 관리할 수 있게 해주는 도구

(2) 결함관리 프로세스

• 에러 발견 → 에러 등록 → 에러 분석 → 결함 확정 → 결함 할당 → 결함 조치 → 검토 및 승인

(3) 결함관리 측정 지표

• a) 결함 분포 : 특정 속성에 해당하는 결함의 수를 측정하여 결함의 분포 분석
• b) 결함 추세 : 테스트 진행 시간의 흐름에 따른 결함의 수를 측정하여 결함 추세 분석
• c) 결함 에이징 : 특정한 결함 상태의 지속 시간을 측정하여 분석

 

8. 테스트 자동화 도구

(1) 테스트 자동화 도구의 개념

• 스크립트나 도구를 활용하여 반복적인 테스트 작업을 자동화하는 방법

(2) 테스트 자동화 도구의 장/단점

• 장점 : 반복 테스트의 효율화, 일관성 및 정확성 향상, 즉각적인 피드백 제공
• 단점 : 초기 도입 비용 및 시간, 도구의 사용 방법 교육 필요, 변경사항에 대한 스크립트 수정 필요

(3) 테스트 자동화 도구 유형

• a) 정적 분석 도구(Static Analysis Tools)
  - 애플리케이션을 실행하지 않고 분석하는 방법
  - 종류 : Pmd, SonarQube, Cppcheck, Checkstyle 등
• b) 테스트 실행 도구(Test Execution Tools)
  - 사전에 작성된 테스트 스크립트나 시나리오를 실행하는 도구
  - 종류 : Selenium, JUnit, TestNG
• c) 성능 테스트 도구(Performance Test Tools)
  - 시스템의 성능, 부하, 스트레스 테스트를 위한 도구
  - 종류 : JMeter, LoadRunner
• d) 테스트 통제 도구(Test Control Tools)
  - 테스트의 전체 프로세스를 관리하는 도구
• e) 테스트 장치(Test Harness) ⭐
  - 애플리케이션의 단위 또는 모듈 테스트에 사용하는 환경 및 도구
  

  구성요소	설명
  테스트 드라이버	상향식 테스트에 필요
  테스트 스텁	하향식 테스트에 필요
  테스트 슈트	테스트 케이스의 집합
  테스트 케이스	하나의 기능(입력 값, 실행 조건, 기대 결과)을 테스트
  테스트 스크립트	자동화된 테스트 실행 절차에 대한 명세
  목 오브젝트	행위를 조건부로 입력해두면, 그 상황에 예정된 행위를 수행하는 객체

 

참고자료

흥달쌤,  '흥!나게 합격 달성! 2024 정보처리기사 실기 클래스'

1억뷰 N잡