[컨퍼런스] QA 코리아 컨퍼런스 후기 (2)

지난 1편에서 이어집니다..

https://janguri.tistory.com/24

[컨퍼런스] QA 코리아 컨퍼런스 후기 (1)

---

3. 옴니서비스의 S/W Quality를 높이기 위한 QA Engineer 역할

온/오프라인이 융합된 서비스에서 품질을 높이기 위한 역할에 대해 소개하는 세션이다.

연사는 CJ 올리브영 QA 팀장이 담당하였다.

3-1. 서비스 규모가 커지면, 리스크도 커진다.

올영세일이라고 하는, 연 4회 할인 이벤트가 있다.

이러한 이벤트에서, 오류가 발생하면 유저수가 굉장히 많은 만큼 손실액이 커진다.

예를 들어, 특정 방법으로 1,000원 더 싸게 구매하는 장애가 발생한다고 하면,

소비자 개인에게는 단 돈 1,000원 이득일지언정 올리브영 에서는 발생하더라도 굉장히 큰 손실액을 맞이하게 된다.

리스크가 큰 만큼, 인시던트 대응 체계를 굉장히 고도화해 놓았다.

/으악

3-2. 카오스 엔지니어링

카오스 엔지니어링은, 일부러 장애를 일으켜 시스템이 잘 버티는지 실험하는 것이다.

성능 테스트에서, 한계 파악을 위해 실행하는 스트레스 테스트랑 어느정도 유사한.. 잔혹한 테스트다!

비유하자면

스트레스 테스트는 "어느정도 성능으로 돌려야 적당할까? 한번 천천히 올려보면서 알아보자!"

카오스 엔지니어링은 "난 이 컴퓨터가 작살나길 원해. 최대 성능 초과로 ON. 작살난 후 컴퓨터가 어떻게 복원되는지 보자."

이런 느낌인 것 같다!

최고로 똑똑한 사람들만 모여 안정적인 서비스를 만들더라도, 다양한 이유에서 서비스가 망가질 수 밖에 없다.

갑자기 서버 컴퓨터가 터지고 예비전력도 안먹는다던지.. 끼야악

당장 내가 생각나는, 실무에서 쓸만한 카오스 엔지니어링 사례는 생각나지 않는다.

대부분 생각나는 카오스 엔지니어링 사례는, 발생 확률이 매우 낮은 것 같아서이다!

하지만! 이런 카오스 엔지니어링을 하면서, 예측할 수 없는 장애에도 시스템이 견고하게 작동을 보장할 수 있다.

 

우리나라 기업은 많고, 그만큼 QA도 많지만, 올리브영 QA가 특히나 흥미있고 유용한 내용이 많았다.

아래 링크는, UI 테스트 자동화 구조를 잘 정리한 글이다. 프로젝트때 유용하게 쓰면서, 사실상 아래 링크의 구조를 대부분 참고했다.

https://oliveyoung.tech/2023-11-11/qa/

UI 테스트 자동화 구조 | 올리브영 테크블로그

그래서인지, 올리브영 QA 세션이 굉장히 기대되었는데, 역시나 흥미보따리 가득!

---

4. A홀 PPT 보면서 인상깊은 내용

4-1. QA가 선호하는 기획자, 기획자가 선호하는 QA

QA는,

1. 요구사항이 명확

❌ 빠른..? 얼마나 빠른데..?

✅ 0.5초! 오케이!

2. 용어 일관성이 유지

❌ 앞에서는 헤더라고했는데 GNB..? 아 헤더랑 같은건가? 헷갈리네..? 다른게 있는걸까?

✅ GNB로 다 통일해 적혀있음

3. 테스트에 필요한 정보가 정확히 기재

❌ 에러 메세지가 노출됨..? 어떤 에러메세지?

✅ 중앙에 "에러입니다." 라는 글자가 적힌 에러메세지가 노출되는구나!

4. 기획서 갱신 시 변경사항 표기

❌ v1에서 v2로 넘어오면서 뭐가 달라졌지..?

✅ 아! v1 읽었었는데 v2는 이런부분이 달라져있다고 목차에 적혀있구나! 그부분만 읽어봐야겠다.

를 잘 지키는 기획자를 선호한다.

당연히, 모든 기획자들은 말해주기 전까지는 모를 수 있다.

QA의 역할은, 위 요구사항을 정확히 전달해서 기획자가 인지하게 해줘야 서로에게 도움이 될 듯 싶다.

놀랍게도, 이전 회사 기획서를 봤을때 정말로 저 네가지 원칙이 너무나도 잘 지켜져있었다!

당연한줄 알았는데.. 사실은 그 기획자도 여러번 피드백 받으면서 개선된 것이겠지?

 

또, 기획자는

1. 정확한 피드백

❌ 이거 클릭이 안돼요.. // 아니 그거 클릭하는 오브젝트 아니라고 적어뒀는데요..?

✅ 기획서 기반으로 테스트 케이스 만들었는데, 정확하게 이해한 테스트 케이스

2. 적극적인 참여

❌ 이 QA는 테스트 단계에서만 있는 존재인걸까?

✅ 와.. 유사 타 서비스까지 한번 분석해서 이 기획서의 허점을 파악해왔어?

3. 원활한 소통

❌ 이사람 뭔가 말하고있다.. 근데 뭔말인지 전혀 모르겠다

✅ 정확하고, 간결하고, 필요하다면 이미지/영상/숫자 모든걸 써서 대화하기

4. 외적인 요소도 챙겨주기

❌ 기획서 안에 있는거 다 TC 만들고 테스트했으니 끗! Bye Bye~ 

✅ 버튼마다 크기가 다르다는 UX 개선점 도출

를 잘하는 QA를 좋아한다.

잘 참고하자!

4-2. 4L 회고

자기 회고를 체계적으로 회고하기 위해, 하나의 방법을 소개한 듯.

Liked: 좋았던 점.

Learned: 배운 점. 

Lacked: 부족한 점.

Longed for: 바라는 점.

이렇게 네가지만 적어도 회고가 되고, 그다음 뭘 할지 생각해볼 수 있다고 한다!

사실 이전 프로젝트에 대해 4L 회고를 잠깐 써봤는데, 너무 오글거려서 삭제🗑️ 후 PASS  ㅎ-ㅎ;;😑

하지만 뭔가 해보고싶은 방법론이라 탐나서 적어두었다. 

---

5. 마무리

우선 QA 컨퍼런스 관계자에게 감사인사를 드리고 싶다.

무엇보다도 공짜💲(약간의 노동력 제공으로) 컨퍼런스를 듣다니.. 너무나도 행복했다 !!

또, 여기서 들었던 내용 중 최근 인터뷰에서도 레퍼런스로 써먹었던 내용이 있다.

정말 인생에 큰 도움되는 시간이었다!

말고도, 교육에서 만난 반가운 얼굴들도 보고, 이전에 면접 에서 봤었던 면접관님..반갑지는 않고 알아볼까 민망한 얼굴도 보고.. 이력서 첨삭 해주신 멘토님도 보고!

또 취업 관련 내용에 대해서 (한탄이 가득해 공기가 무거웠긴 하지만) 공유하는 순간도 값졌다.

 

끝!