์ฑ๊ฒฝ ๊ธฐ๋ฐ ์๋ด์
์ธ์์์ ๋๊ตฌ๋ ๊ณ ๋ฏผ์ ์๊ฐ์ด ์ฐพ์์จ๋ค. ํนํ ์ข ๊ต์ ๊ฒฝ์ฐ, ์ธ๊ฐ์ด ๋์ฝํด์ง๋ ์๊ฐ์ ๊ธฐ๋ ๊ต๋ ๊ธฐ๋, ๋ฌด์์ ์์ ๊ตฟ, ๋ถ์ , ๊ทธ๋ฆฌ๊ณ ๊ธฐํ ์ฌ์ฃผ, ์ค๋์ ์ด์ธ ๋ฑ ๊ฐ ์ข ๊ต์ ๋ฐฉ์์ผ๋ก ๊ทน๋ณตํ๊ณ ์ ํ๋ค.
๊ตํ ๋ด๋ถ์ ์ปค๋ฎค๋ํฐ๊ฐ ์ ๊ตฌ์ถ๋ ๊ฒฝ์ฐ์๋ ๊ฑฑ์ ์๊ฒ ์ง๋ง, ๊ทธ๋ ์ง ์์ ๊ฒฝ์ฐ ์ค์ค๋ก๊ฐ ๋ฌธ์ ๋ฅผ ๋์ง๋ ๊ธฐ๋๋ง์ด ์ ์ผํ ๊ณ ๋ฏผ ํด์ ๋ฐฉ๋ฒ์ผ๊น? (๊ธฐ๋๊ฐ ํ๋๋๊ณผ์ ๋ํ๋ผ๊ณ ํ์ง๋ง ๋ง์ด๋ค.!)
โ๏ธ ์๋ด์ ๋ฌด์์ผ๊น?
LLM์ benchmark, metrics๋ ๋ชจ๋ธ์ ์ ์์์ ๋นผ๋์ ์ ์๋ ์์์ด๋ค.
์๋ฅผ ๋ค์ด, Software developing LLM์ ๋ฒค์น๋งํฌ(SWE-bench)์ ๊ฒฝ์ฐ, test case๊ฐ ๋ง๋ จ๋ Github์ Pull Request(PR)์์ LLM์ด ํน์ PR์ ๋์ํ๋ issue๋ฅผ ๋ณด๊ณ ์ง ์ฝ๋๊ฐ test case๋ฅผ ํต๊ณผํ๋ฉด ์ ๋ต ์ฒ๋ฆฌ๋ฅผ ํ๋ค.
๋งค์ฐ ๋ช ํํ Optimization target์ด๋ฉฐ, ๋ช ํํ ๋ฐ์ ๋ฐฉํฅ์ฑ์ ๋๊ณ ๊ฐ๋ฐํ๋ ๋ชจ๋ธ์ ๊ทธ ๊ฒฐ๊ณผ ๋ํ ์ข์ ์๋ฐ์ ์๋ค.
๊ทธ๋ ๋ค๋ฉด, ์๋ด์ LLM์ ์ด๋ค ๋ฐ์ดํฐ๋ฅผ ๊ธฐ๋ฐ์ผ๋ก ์์ง์ฌ์ผํ๋ ๊ฒ์ผ๊น? (์ ๋์ ์ธ ์งํ๊ฐ ์กด์ฌํ๋ ์์ฐ๊ณผํ๊ณผ ์ฌํ๊ณผํ์ ๊ฒฐ์ด ๋ค๋ฅด๋ค๋ ๋๋์ ๋ฐ๋ ์๊ฐ์ด๋ค.)
์ฐ์ ์๋ด์ ์ ์์ ๋ชฉ์ . ์ฌ๊ธฐ์๋ถํฐ ์ง๋ฌธ์ด ์์๋์ด์ผํ ๊ฒ ๊ฐ๋ค. ๊ทธ๋ฐ๋ฐ ๋ด ์ค์ค๋ก ์ด๋ฌํ ๊ธฐ์ค์ ์ธ์ฐ๋ ๊ฒ์ ๋น์ฐํ๊ฒ๋ ์์ ์ด ์๋ค. ์ดยท์คยท๊ณ ๋ฑํ๊ต ๋ ๋๋ ์๋ด์์กฐ์ฐจ ํด๋ณธ ์ ์์์ผ๋ฉฐ, ์๋ด์ด๋ผ๋ ๊ฒ์ ๋ํด ์ง์งํ๊ฒ ์๊ฐํ๋ ๊ฒฝํ์ด ๋ถ์กฑํ๊ธฐ ๋๋ฌธ์ด๋ค.
๐ ์๋ด์ GOAT์ ์๊ฐ์ ์ฟ๋ณด์
Greatest of All Time, ์ฐ๋ฆฌ๋๋ผ์์ ์๋ด ์ชฝ์์ ์ํ์ธ ์ค์์ ์ ์๋๊ป์ '์๋ด์ด๋ ๋ฌด์์ธ๊ฐ'์ ๋ํด ๊ธ์ชฝ ์๋ด์์์ ์ธ๊ธํ์ ์ ์ด ์๋ค.
1. ์๋ด์ ๋ชฉ์ ์? ๋ด๋ด์์ ๋ด๋ฉด์ ํ์ ํค์์ฃผ๋ ๊ฒ์ด๋ค.
2. ์๋ดํ ๋, ๋ด๋ด์์ ๋ง์์ผ๋ก ์ ๋ค์ด๊ฐ๋ ๋์, ์ํฉ์ ๊ฐ๊ด์ ์ผ๋ก ๋ฐ๋ผ๋ณด๋ ๋๋ฅผ ๋๋ ทํ๊ฒ ๊ตฌ๋ถํด์ผ ํ๋ค.
https://www.youtube.com/watch?v=Dvj0_hCwFCA&ab_channel=play%EC%B1%84%EB%84%90A
๊ทธ๋์?
์์ง ํด๊ฒฐํด์ผ ํ ๋ช ๊ฐ์ง ์ง๋ฌธ์ด ๋ ๋จ์์๋ค. LLM์ ํ๋ฅด์๋๋ ์ด๋ป๊ฒ ์ก์์ผํ ๊น? ์ ์ฝํ ๋๋ฌผ์ด๋ ์์ด, ๋๋ ์ธ๊ณ์ธ์ด๋ ์ด์์ ์ธ ์ ๊ฐ์ ์ด๋ฏธ์ง?
๊ทธ๋ฆฌ๊ณ ์ฌ์ฉ์์ ํ๋ก๊ทธ๋จ์ ์ด์ด์ฃผ๋ User Interface(UI)๋ ์ด๋ค ๋ชจ์ต์ด์ด์ผ ํ ๊น? ์๋ด์์ ๊ตฌ์ฒด์ ์ธ ํ์๊น์ง ํํ๋๋ ๋ชจ์ต, ๋๋ ๋น์ด๋ ๊ทธ๋ฆผ์๋ก ๊ฐ์ ์ ์ผ๋ก ํํ๋๋ ๊ฒ์ผ๋ก ์ถฉ๋ถํ ์ง ๊ทธ ์ธ์ ๋ฐฐ๊ฒฝ ์์ ์ด๋ ๋ํ์ ์๋ฆฌ๊ฐ ์๋๊ฒ ์ข์์ง...
๋ง์ง๋ง์ผ๋ก ๋ด๋ด์๋ ์ฑํ ์ผ๋ก ์๋ดํ๋์ง, ๋ง๋ก ์๋ดํ๋์ง ์ํธ์์ฉ์ ๋ฐฉ์๋ ๊ตฌ์ฒดํ๋ ํ์๊ฐ ์๋ค.
๋ณธ ์์ด๋์ด๋ฅผ ํผ์ ๊ตฌ์ฒดํํ๋ฉฐ ๋ํ ๋ ๊ฒ์ ๋๋ฌผ์ ์ฒ ๊ฐ์ ๊ฒ์์ ์ด๋ฏธ์ง๊ฐ ์๊ฐ๋๋ค. ํํธ์ผ๋ก, ๋ณ๊ฐ์ ์์ด๋์ด๋ก 3D ์ผ๊ตด ์บ๋ฆญํฐ์ ์ํธ์์ฉํ๋ ์ฑ(์๋น์ค๋ณด๋ค๋ ๊ธฐ์ ์์ด๋์ด์ ๊ฐ๊น๋ค.), ๊ทธ๋ฆฌ๊ณ ์ฌ๋ ์๋ด๋งํผ ์ ๋์ ์ผ๋ก ๋ต๋ณํ๋ LLM ์๋ด์ฌ ์์ด๋์ด๊ฐ ๋ ์ค๋ฅธ๋ค.
'๐ธ ํ๋ก์ ํธ' ์นดํ ๊ณ ๋ฆฌ์ ๋ค๋ฅธ ๊ธ
์ฑ๊ฒฝ ๊ธฐ๋ฐ ์๋ด์
์ธ์์์ ๋๊ตฌ๋ ๊ณ ๋ฏผ์ ์๊ฐ์ด ์ฐพ์์จ๋ค. ํนํ ์ข ๊ต์ ๊ฒฝ์ฐ, ์ธ๊ฐ์ด ๋์ฝํด์ง๋ ์๊ฐ์ ๊ธฐ๋ ๊ต๋ ๊ธฐ๋, ๋ฌด์์ ์์ ๊ตฟ, ๋ถ์ , ๊ทธ๋ฆฌ๊ณ ๊ธฐํ ์ฌ์ฃผ, ์ค๋์ ์ด์ธ ๋ฑ ๊ฐ ์ข ๊ต์ ๋ฐฉ์์ผ๋ก ๊ทน๋ณตํ๊ณ ์ ํ๋ค.
๊ตํ ๋ด๋ถ์ ์ปค๋ฎค๋ํฐ๊ฐ ์ ๊ตฌ์ถ๋ ๊ฒฝ์ฐ์๋ ๊ฑฑ์ ์๊ฒ ์ง๋ง, ๊ทธ๋ ์ง ์์ ๊ฒฝ์ฐ ์ค์ค๋ก๊ฐ ๋ฌธ์ ๋ฅผ ๋์ง๋ ๊ธฐ๋๋ง์ด ์ ์ผํ ๊ณ ๋ฏผ ํด์ ๋ฐฉ๋ฒ์ผ๊น? (๊ธฐ๋๊ฐ ํ๋๋๊ณผ์ ๋ํ๋ผ๊ณ ํ์ง๋ง ๋ง์ด๋ค.!)
โ๏ธ ์๋ด์ ๋ฌด์์ผ๊น?
LLM์ benchmark, metrics๋ ๋ชจ๋ธ์ ์ ์์์ ๋นผ๋์ ์ ์๋ ์์์ด๋ค.
์๋ฅผ ๋ค์ด, Software developing LLM์ ๋ฒค์น๋งํฌ(SWE-bench)์ ๊ฒฝ์ฐ, test case๊ฐ ๋ง๋ จ๋ Github์ Pull Request(PR)์์ LLM์ด ํน์ PR์ ๋์ํ๋ issue๋ฅผ ๋ณด๊ณ ์ง ์ฝ๋๊ฐ test case๋ฅผ ํต๊ณผํ๋ฉด ์ ๋ต ์ฒ๋ฆฌ๋ฅผ ํ๋ค.
๋งค์ฐ ๋ช ํํ Optimization target์ด๋ฉฐ, ๋ช ํํ ๋ฐ์ ๋ฐฉํฅ์ฑ์ ๋๊ณ ๊ฐ๋ฐํ๋ ๋ชจ๋ธ์ ๊ทธ ๊ฒฐ๊ณผ ๋ํ ์ข์ ์๋ฐ์ ์๋ค.
๊ทธ๋ ๋ค๋ฉด, ์๋ด์ LLM์ ์ด๋ค ๋ฐ์ดํฐ๋ฅผ ๊ธฐ๋ฐ์ผ๋ก ์์ง์ฌ์ผํ๋ ๊ฒ์ผ๊น? (์ ๋์ ์ธ ์งํ๊ฐ ์กด์ฌํ๋ ์์ฐ๊ณผํ๊ณผ ์ฌํ๊ณผํ์ ๊ฒฐ์ด ๋ค๋ฅด๋ค๋ ๋๋์ ๋ฐ๋ ์๊ฐ์ด๋ค.)
์ฐ์ ์๋ด์ ์ ์์ ๋ชฉ์ . ์ฌ๊ธฐ์๋ถํฐ ์ง๋ฌธ์ด ์์๋์ด์ผํ ๊ฒ ๊ฐ๋ค. ๊ทธ๋ฐ๋ฐ ๋ด ์ค์ค๋ก ์ด๋ฌํ ๊ธฐ์ค์ ์ธ์ฐ๋ ๊ฒ์ ๋น์ฐํ๊ฒ๋ ์์ ์ด ์๋ค. ์ดยท์คยท๊ณ ๋ฑํ๊ต ๋ ๋๋ ์๋ด์์กฐ์ฐจ ํด๋ณธ ์ ์์์ผ๋ฉฐ, ์๋ด์ด๋ผ๋ ๊ฒ์ ๋ํด ์ง์งํ๊ฒ ์๊ฐํ๋ ๊ฒฝํ์ด ๋ถ์กฑํ๊ธฐ ๋๋ฌธ์ด๋ค.
๐ ์๋ด์ GOAT์ ์๊ฐ์ ์ฟ๋ณด์
Greatest of All Time, ์ฐ๋ฆฌ๋๋ผ์์ ์๋ด ์ชฝ์์ ์ํ์ธ ์ค์์ ์ ์๋๊ป์ '์๋ด์ด๋ ๋ฌด์์ธ๊ฐ'์ ๋ํด ๊ธ์ชฝ ์๋ด์์์ ์ธ๊ธํ์ ์ ์ด ์๋ค.
1. ์๋ด์ ๋ชฉ์ ์? ๋ด๋ด์์ ๋ด๋ฉด์ ํ์ ํค์์ฃผ๋ ๊ฒ์ด๋ค.
2. ์๋ดํ ๋, ๋ด๋ด์์ ๋ง์์ผ๋ก ์ ๋ค์ด๊ฐ๋ ๋์, ์ํฉ์ ๊ฐ๊ด์ ์ผ๋ก ๋ฐ๋ผ๋ณด๋ ๋๋ฅผ ๋๋ ทํ๊ฒ ๊ตฌ๋ถํด์ผ ํ๋ค.
https://www.youtube.com/watch?v=Dvj0_hCwFCA&ab_channel=play%EC%B1%84%EB%84%90A
๊ทธ๋์?
์์ง ํด๊ฒฐํด์ผ ํ ๋ช ๊ฐ์ง ์ง๋ฌธ์ด ๋ ๋จ์์๋ค. LLM์ ํ๋ฅด์๋๋ ์ด๋ป๊ฒ ์ก์์ผํ ๊น? ์ ์ฝํ ๋๋ฌผ์ด๋ ์์ด, ๋๋ ์ธ๊ณ์ธ์ด๋ ์ด์์ ์ธ ์ ๊ฐ์ ์ด๋ฏธ์ง?
๊ทธ๋ฆฌ๊ณ ์ฌ์ฉ์์ ํ๋ก๊ทธ๋จ์ ์ด์ด์ฃผ๋ User Interface(UI)๋ ์ด๋ค ๋ชจ์ต์ด์ด์ผ ํ ๊น? ์๋ด์์ ๊ตฌ์ฒด์ ์ธ ํ์๊น์ง ํํ๋๋ ๋ชจ์ต, ๋๋ ๋น์ด๋ ๊ทธ๋ฆผ์๋ก ๊ฐ์ ์ ์ผ๋ก ํํ๋๋ ๊ฒ์ผ๋ก ์ถฉ๋ถํ ์ง ๊ทธ ์ธ์ ๋ฐฐ๊ฒฝ ์์ ์ด๋ ๋ํ์ ์๋ฆฌ๊ฐ ์๋๊ฒ ์ข์์ง...
๋ง์ง๋ง์ผ๋ก ๋ด๋ด์๋ ์ฑํ ์ผ๋ก ์๋ดํ๋์ง, ๋ง๋ก ์๋ดํ๋์ง ์ํธ์์ฉ์ ๋ฐฉ์๋ ๊ตฌ์ฒดํ๋ ํ์๊ฐ ์๋ค.
๋ณธ ์์ด๋์ด๋ฅผ ํผ์ ๊ตฌ์ฒดํํ๋ฉฐ ๋ํ ๋ ๊ฒ์ ๋๋ฌผ์ ์ฒ ๊ฐ์ ๊ฒ์์ ์ด๋ฏธ์ง๊ฐ ์๊ฐ๋๋ค. ํํธ์ผ๋ก, ๋ณ๊ฐ์ ์์ด๋์ด๋ก 3D ์ผ๊ตด ์บ๋ฆญํฐ์ ์ํธ์์ฉํ๋ ์ฑ(์๋น์ค๋ณด๋ค๋ ๊ธฐ์ ์์ด๋์ด์ ๊ฐ๊น๋ค.), ๊ทธ๋ฆฌ๊ณ ์ฌ๋ ์๋ด๋งํผ ์ ๋์ ์ผ๋ก ๋ต๋ณํ๋ LLM ์๋ด์ฌ ์์ด๋์ด๊ฐ ๋ ์ค๋ฅธ๋ค.