스스로 학습하는 알파고(AlphaGo)의 간단한 원리(?)

알파고는 단순히 모든 경우의 수를 계산하는 컴퓨터에 불과할까?

 

아니다.

 

알파고는 스스로 유리한걸 판단할줄 아는 인공지능이다.

 

 

(아래 내용들은 내가 궁금해서 찾아보고 정리한거라 100% 정확하지 않을수도 있고 이해를 잘못했을수도 있다)

 

 

 구글의 알파고는 스스로 학습하고 또 예측할 수 있는 컴퓨터이다. 사람들은 알파고가 수많은 기보를 통해 경우의수를 계산한다고 오해하는데 틀린 내용이다. 우선 아무것도 입력되지 않은 알파고에 수만개의 기보를 개발진들이 입력한것은 사실이다.(수만개도 알파고에게는 적은양의 기보일뿐이다) 이것은 알파고가 스스로 바둑이 어떻게 운영되는지, 규칙은 어떻게 되는지 스스로 학습하는 단계로 알파고는 스스로 바둑의 룰을 깨우치며 성장해나간다.

 

 이후 알파고는 스스로와의 미러전을 통해 방금 깨우친 바둑의 룰이 맞는지 검증해나가며 서서히 실력을 키우는 단계에 돌입하게 되고 사람으로 치면 수많은 사람들과의 대국을 통해 실력을 쌓는것처럼 알파고는 '이런수는 사람들이 잘 안두더라','이렇게 하니 유리해지더라', '이렇게 하니 경기가 잘 안풀리더라' 라는식으로 스스로의 실력을 데이터화 한다. 정석대로 둬보기도하고 기보에 없는 수를 둬보기도 해서 유불리를 검증하고 학습한다.

 

<알파고의 이런과정은 정책망(Policy Network) 그리고 가치망(Value Network)라는 것을 통해 이루어진다. 정책망을 통해 여러 경우의수 중에서 몇개를 추려낸다. 가령 사람들이 잘 두지않는다고 '판단되는' 경우의수는 제외시키고 어디에 놓을지 결정한다. 이후 가치망을 통해 현재 판세를 분석한다.>

 

<초기의 알파고는 입력받은 기보를 통해 프로기사를 따라한다. 이후 자신만의 방법을 찾아나가기 시작한다. 예를들면 프로기사를 따라하기만 하는 판단모델1을 사용해 어떤판에서 프로기사의 방법을 따라했더니 형세가 불리하게 될 수도 있고 유리하게 변할수도 있다. 알파고는 형세가 불리하게 된다면 그 방법의 가치를 낮게 평가하고 유리하게 된다면 가치를 높게 판단한다. 이렇게 판단해서 판단모델2로 업데이트한다. 이후 알파고는 또 대국을 통해 특정방법이 불리한지 유리한지 판단을 하고 판단모델3로 업데이트한다. 이렇게 수많은 대국을 통해 판단모델100 … 판단모델 58492 … 판단모델 4983739 이런식으로 업데이트 하며 최적의 수와 새로운 전략을 찾는 과정을 실시한다. 이과정을 스스로 학습한다고 표현하는것이다.>

 

 이세돌과의 경기에서도 인간이 이해 할 수없는 변칙수가 남발했던것도 알파고가 스스로 '이렇게 둬보면 어떻게 될까?'라며 스스로 학습한 결과를 토대로 나온것이다. 당연히 이런 변칙수는 초기 학습단계에 입력된 수만건의 기보에는 전혀 없다. 가장 중요한 사실은 이 변칙수가 알파고가 스스로 터득을 했다는 사실이며 이는 단순히 경우의 수를 따지는 방식과는 전혀 다르다. 또한 알파고는 대국도중에 그 기보들을 다시 검색하는일 따위는 하지 않는다. 그저 수많은 기보들과 스스로와의 미러전을 통해 터득한 경험에 기초에 판단을 내리는것뿐이다.

 

 실제로 알파고는 대국종료 30분전에 자신이 무조건 이길 것이라고 자체적인 판단보고서를 만들었고 이는 구글 딥마인드 최고 경영자인 '데미스 허사비스'에게 전해졌다고 한다. 알파고의 이런 보고를 들은 허사비스는 미소를 지었다고.

 

 참고할만한 자료들

 

알파고 (바둑인공지능)의 원리 : http://www.slideshare.net/ShaneSeungwhanMoon/ss-59226902

알파고는 어떤 바둑을 둘까: http://www.slideshare.net/madlymissyou/ss-59007491

딥마인드와 알파고에 대해 자주 묻는 질문들 : https://brunch.co.kr/@techsuda/17