시스템개발사업 구조적 정보공학적 모델, 시험 단계, 시험활동 세부검토내용 "01. 시험 대상 선정기준과 전제사항이 합리적이고, 결과평가를 위한 품질목표가 구체적으로 정의되었는지 확인한다."의 세부검토방법
01. 시험대상 선정기준이 실제 운영환경을 모의하기에 충분하고 합리적으로 설정되었는지 확인한다. - 통합시험계획서/통합시험시나리오/시스템시험계획서/시스템시험 시나리오의 시험대상 선정기준과 대상 업무를 검토한다. - 응용시스템 흐름도/작업(업무)흐름도를 참조하여 시험대상에서 시험 수행이 필요한 업무의 누락이 있는지 확인한다. . 성능 및 가용성 관련 대상 업무 : 프로그램 복잡도가 높아 오류 발생 가능성이 큰 업무, 사용자수가 많은 업무, 시스템에 과부하를 발생하는 조회 및 대량 데이터 처리업무, 금액 계산 등 오류로 인한 손실이 큰 업무, 사용빈도가 빈번한 업무 . 보안성 관련 대상 업무 : 개인신상/회원정보, 금융거래 등 보안성 확보가 중요한 업무 . 네트워크 가용성 관련 대상 업무 : 시스템 오픈에 영향을 줄 수 있는 컴포넌트 및 운영파라미터 배포 - 시스템 시험 유형에 따른 특성을 고려하여 시험대상 제외 기능이 합리적으로 선정되었는지 여부를 검토한다. . 표준 준수 여부(화면, 메시지 등) . 인증기관의 보안검증 등 외부 기능 . 기존 시스템 기능 . 커스터마이즈(Customize) 대상이 아닌 패키지 기능 - 선정된 시험대상이 기준과 불일치하거나 선정기준이 불합리하여 시험대상의 추가 및 조정이 필요한지 확인한다. 02. 시험 수행의 전제사항이 명확하고 합리적인지 확인한다. - 통합시험계획서/통합시험시나리오/시스템시험계획서/시스템시험 시나리오의 다음 사항을 검토한다. . 성능관련 참조자료 : 업무프로세스 현황 (DFD, 작업흐름도), 시험시나리오(수행절차, 수행내용, 스크립트, 부하레벨), 사용자 현황분석, 주요 테이블 데이터 건수, 부하레벨 분석, 대상 업무 및 성능목표(응답시간/목표 처리 건수), 아키텍처 분석(시스템, 서버 파라미터 설정값) . 가용성관련 참조자료 : 사용자 현황분석, 트랜잭션 분석, 주요 테이블 데이터 건수, 아키텍처 분석(시스템, 서버 파라미터 설정값) . 보안성관련 참조자료 : 사용자 현황분석, 아키텍처 분석(시스템, 서버 파라미터 설정값) . 네트워크 가용성관련 참조자료 : 사용자 현황분석, 트랜잭션 분석 - 통합시험계획서/시스템시험계획서의 시험 수행을 위한 전제사항을 검토한다. . 성능관련 전제사항 : 동시부하 사용자 수(Active User) 산정의 가정, 부하량 산정 기초 데이터 전제, 응답시간에 화면 표시시간 포함여부(Presentation Time), 아키텍처 및 프로그램 변경 가능성, 시험 대상 업무선정 기준의 전제 . 가용성관련 전제사항 : 성능 대상 업무 기능 완전성 가정, . 보안성관련 전제사항 : 인프라 환경 변경 가능성 . 네트워크 가용성관련 전제사항 : 네트워크 특성에 의해 발생할 수 있는 응답시간 지연, - 시험수행 전제사항이 사실과 다르거나 모순 또는 비약이 있는지 확인한다. 03. 통합 및 시스템시험 수행 후 결과평가에 대한 품질목표가 명확히 정의되었는지 확인한다. - 통합시험계획서/통합시험시나리오/시스템시험계획서/시스템시험 시나리오의 다음 사항을 검토한다. . 시험활동별 산출물 . 시험 유형(성능시험, 부하시험, 보안시험, 복구시험, 신뢰성시험, 볼륨시험 등) . 시험 유형에 적합한 중점 점검사항(응답시간, 트랜잭션 처리량, 자원사용량, DBMS, 네트워크, 부하분산 여부 등) - 통합시험의 결함내역에 대한 정량적 목표수치가 정의되었는지 확인한다. . 화면당 평균 주요 결함건수 . 주요 결함 발생화면 비율 . 결함조치율 - 시스템시험 유형에 적정한 정량적 목표수치가 정의되었는지 확인한다. . 성능관련 정량적 수치 : 가상 사용자 수(최대, 적정 동시사용자), 성능척도(초당히트율-Hit Per Second, 초당트랙잭션처리건수-Transaction Per Second, 처리량-Throughput, 응답시간-최소:Min, 최대:Max, 평균:AVG, 90%번째:90%th) . 가용성관련 정량적 수치 : 시스템자원사용율(System Resource) -CPU 사용율, CPU 런큐 크기(CPU Run Queue), 메모리 사용율, 메모리페이징 입출력(Memory Paging I/O), 디스크사용율(Disk Usage), 디스크입출력페이징(Disk I/O Paging), 데이터베이스관리시스템 락, 세션 추이(DBMS Lock, Session) . 보안성관련 정량적 수치 : 암호변경 주기, 데이터 갱신 감사 추적 주기 . 네트워크 가용성관련 정량적 수치 : 네트워크 회선 속도, 여유 네트워크 용량 - 통합시험의 결함발생 목표수준과 시스템시험 성능목표수치가 정의되어 있지 않거나 구체화되지 않은 항목이 있는지 확인한다.