2024 삼정 KPMG 아이디어톤 후기 + 회고 (3위)

2024 삼정 KPMG 아이디어톤에서 준준우승을 하였다. (65팀 중 3위)

 

회고 겸 후기 겸 정리를 하면 좋을 것 같아 글로 남긴다.

 

참여하게 된 계기는 우선, 작년에 사회 문제에 대한 시민의 의견을 모아 발의 법률안으로 작성하는 MEFETO를 함께 만들었던 C 후배의 제안으로 참가하게 되었다.

나머지 팀원인 PJ와 PS 모두 학생회 정보국 소속으로 잘 알고, 프로덕트에 대한 책임감도 강하다는 것을 알고 있었기에 대회 시작 전부터 너무 좋은 경험이 될 것이라 생각했다.

 

대회의 순서는 우선 서류 평가로 아이디어 기획서를 작성하고, 통과하면 실제 본선에서 LLM token과 GPU를 제공받아 프로토타입을 만들고 이를 발표하는 형식이었다.

 

주제가 ' 생성형 AI 모델을 활용한 기업업무 자동화 및 생산성 향상 '이었는데, 실제 실무자가 아닌 대학생으로서 좋은 아이디어를 내기가 까다로웠다. 아이디어에 대해 많은 논의가 이루어졌고, 1차 회의에서 각자 아이디어를 생각한 후 2차 회의에 최종 주제를 골라보자고 얘기하였다.

회사원에 빙의하고, 1학년 때 스타트업에서 그리고 이후 기업 관계자들과의 대화했던 기억들이 종합되어 'HR'과 관련된 아이디어를 내었으나 최종적으로 PJ의 Docuflow 아이디어로 대회를 진행하게 되었다.

 

Docuflow란, 개발자들의 협업 도구인 Git을 문서 작업에 옮겨 보자는 아이디어로 PJ가 직전 학기에 '기술벤처창업론'에서 최종 과제로 제출했던 것이었는데 아이디어의 구체성과 논리성이 뛰어나서 다들 이를 주제로 가져가는 것에 동의하였다.

 

https://github.com/gist-optima

gist-optima

 

이후 서류에 합격하여 약 한 달간 아이디어 구현에 매진했다.

마지막 1.5주일동안은 거의 밤샘에 가깝게 작업하였다. 제출 코드는 위의 레포지토리로 공유한다!

(괜찮다면 스타도 한 번씩 눌러주시면... 🩷)

코드의 완성도는 좋았다고 생각한다. 나는 AI feature 개발을 맡았는데, 적절한 prompt를 작성하고 이를 GPT로 태워 그 결과값을 flask API로 띄웠다. 이렇게 만들어진 API는 백엔드 서버가 프론트엔드로 전달하여 전체 프로덕트가 동작한다.

 

PJ가 AI 파트의 코드 구조를 만드는 데에 많은 기여를 하고, 또 새로운 영감을 많이 주었다.

특히, Abstraction(추상화)를 코드에 반영한다는 것이 무엇인지 이번 대회를 통해 많이 배우게 되었다.

class를 잘 활용하여 코드 구조를 깔끔하게 하여 가독성을 높이고, utils, src, api 프로젝트 구조도 명확하여 이후 코드를 재사용하고 코드 생산성을 높이는 데에 도움을 받았다.

 

utils의 유틸리티가 무엇을 위해 존재하는 개념인지 잘 몰랐는데, 일반적인 함수들을 의미하며 곧 다른 함수와 클래스에서 자주 사용되는 함수들을 유틸화하여 코드의 구조를 더욱 간결하게 하는 것이다.

본 프로젝트의 경우 GPT call을 포함하여 chunk와 같은 기능을 유틸리티로 만들어 사용하였다.

더불어 flask도 알고만 있는 상태였는데 대회를 계기로 사용할 수 있었어서 좋았다.

 

사실 본 아이디어에서 Input이 '작성 중인 보고서'로 길이가 길어 latency 문제가 있었다. 심하면 하나의 응답에 5분 이상 걸리는 경우가 있어 상당히 곤란했다. 실제 Demo에서는 용인할 수 있는 1분 이내의 속도로 실행할 수 있었는데, 우선 prompt를 명확하게 개선함으로써 응답 속도도 함께 개선된 부분이 있었고, soft cache 개념을 도입하여 과거의 로그 데이터를 답변에 활용한다는 개념을 추가하여 문제를 해결하였다.

 

LLM prompt를 효과적으로 작성하기 위해 몇 가지 지켜야할 사항들이 있는데, 그 중 개선에 반영되었던 부분은 '하나의 prompt에 여러 개의 작업을 동시에 명령하지 않을 것'과 'prompt의 입출력 예시를 명확하게 제시하는 것'이었다.

 

작성 prompt 예시

당신은 사용자가 입력한 문서를 분석하는 엔진입니다.
당신은 입력된 문서를 분석하여 다중 JSON으로 재구성한 결과를 사용자에게 제공합니다.
사용자는 한국인이며, 당신의 문서 분석 내용을 바탕으로 기업의 보고서나 기획서를 작성하는 전문가입니다.

사용자는 JSON형식으로 다음과 같이 입력을 제공합니다.
{"all articles": string 형태의 문서 내용 전체}

먼저, 문서에서 같은 내용으로 포함되는 문장들을 모아 배열들을 만듭니다. 각 배열을 snippet이라 합니다.
그리고, 전체 문서를 각 snippet의 다중 JSON으로 재작성합니다. 각 딕셔너리를 container라고 합니다.
container의 key 값은 value 값들을 설명하는 제목이며, container의 요소로 container가 들어갈 수 있습니다.

all contents는 가능한 모든 snippets를 포함하고 있어야 합니다.
한 snippet의 내용을 이해하기 위해 다른 글의 내용을 알아야하는 경우, 해당 글을 같은 snippet에 포함합니다. 예를 들어, '대중 매체는 광고의 수단으로 사용됩니다.'와 '이는 OTT, TV, 신문 등으로 구분됩니다.'는 같은 snippet으로 분류되어야 합니다.

문서를 분석하여 아래와 같이 JSON 형식으로만 출력하십시오.
{
    "all contents": {
        [str]: str[] // container의 key값을 key로 하고, snippet의 배열을 value로 하는 쌍
    }
}
설명을 덧붙이지 말고, 당신의 응답 내용은 전부 JSON형식으로 decode가능해야 합니다. JSON indent 외의 공백을 생성하지 마십시오.

이제 유저의 INPUT이 주어집니다:

 

여러 prompt 문을 테스트하면서, 에러가 발생하는 부분은 출력 형식을 명시해주는 방식으로 개선하였다.

 

최종 발표 때, 분위기가 엄청 좋다고 느꼈음에도 3위라는 결과를 얻었던 이유에는 아이디어 자체에 한계가 있었기 때문인 것 같다. (개발자 분께서 당장 이어서 개발해도 될 것 같다고 극찬해주셔서 정말 감사했다. 🥹)

1위 팀은, 회사의 전체 워크플로우에서 당장 적용하여도 특별히 추가적인 교육이나 비용 없이 효과를 얻을 수 있는 아이디어였다. 무역업을 하시는 부모님의 실제 프로세스에 기반해서 고안한 아이디어라는 점도 정말 스토리텔링이 좋았다. Chrome Extension 프로그램으로 구현했다는 것 자체도 직장인들을 배려했다는 인상을 주어 긍정적으로 작용했을 것으로 보인다.

반면, 우리 팀의 아이디어의 경우 다소 혁신적으로 기존 일하는 방식 자체를 바꾸어야 하다보니 현실적인 측면에서 도입하기 망설여지는 포인트가 약점으로 작용한 것으로 보인다.

 

이번 대회를 통해 대회 심사위원들의 평가가 어떤 기준으로 이루어지는지, 또 발표와 전달이라는 요소의 중요성을 다시금 생각할 수 있었다.

더불어 개발 경험이 즐겁고 좋았어서, 팀원들에게 X100 감사하다!