인간의 두뇌는 외부 세상으로부터 감각 정보를 받아들이기 이전부터 자발적인 무작위 활동을 통해 학습을 시작합니다. KAIST 연구진이 개발한 기술은 뇌 모방 인공신경망에서 무작위 정보를 사전 학습시켜 실제 데이터를 접했을 때 훨씬 빠르고 정확한 학습을 가능하게 하는데요. 향후 뇌 기반 인공지능 및 뉴로모픽 컴퓨팅 기술 개발의 돌파구를 열어줄 것으로 기대됩니다.
KAIST는 뇌인지과학과 백세범 교수 연구팀이 뇌 모방 인공신경망 학습의 오래된 난제였던 가중치 수송 문제(weight transport problem)를 해결하고, 이를 통해 생물학적 뇌 신경망에서 자원 효율적 학습이 가능한 원리를 설명했다고 23일 밝혔습니다. 가중치 수송 문제란 생물학적 뇌를 모방한 인공지능 개발에 가장 큰 장애물이 되는 난제로, 현재 일반적인 인공신경망의 학습에서 생물학적 뇌와 달리 대규모의 메모리와 계산 작업이 필요한 근본적인 이유입니다.
지난 수십 년간 인공지능의 발전은 올해 노벨 물리학상을 받은 제프리 힌튼(Geoffery Hinton)이 제시한 오류 역전파(error backpropagation) 학습에 기반합니다. 그러나 오류 역전파 학습은 생물학적 뇌에서는 가능하지 않다고 생각되어 왔는데, 이는 학습을 위한 오류 신호를 계산하기 위해 개별 뉴런들이 다음 계층의 모든 연결 정보를 알고 있어야 하는 비현실적인 가정이 필요하기 때문입니다.
가중치 수송 문제라고 불리는 이 난제는 1986년 힌튼에 의해 오류 역전파 학습이 제안된 이후, DNA 구조의 발견으로 노벨 생리의학상을 받은 프랜시스 크릭(Francis Crick)에 의해 제기됐습니다. 이후 자연신경망과 인공신경망 작동 원리가 근본적으로 다를 수밖에 없는 이유로 여겨지는데요.
인공지능과 신경과학의 경계선에서, 힌튼을 비롯한 연구자들은 가중치 수송 문제를 해결함으로써 뇌의 학습 원리를 구현할 수 있는, 생물학적으로 타당한 모델을 만들고자 하는 시도를 계속해 왔습니다.
지난 2016년, 영국 옥스퍼드(Oxford) 대학과 딥마인드(DeepMind) 공동 연구진은 가중치 수송을 사용하지 않고도 오류 역전파 학습이 가능하다는 개념을 최초로 제시해 학계의 주목을 받았습니다. 그러나, 가중치 수송을 사용하지 않는 생물학적으로 타당한 오류 역전파 학습은 학습 속도가 느리고 정확도가 낮은 등 효율성이 떨어져, 현실적인 적용에는 문제가 있었습니다.
연구팀은 생물학적 뇌가 외부적인 감각 경험을 하기 이전부터 내부의 자발적인 무작위 신경 활동을 통해 이미 학습을 시작한다는 점에 주목했습니다. 이를 모방해 연구팀은 가중치 수송이 없는 생물학적으로 타당한 신경망에 의미 없는 무작위 정보(random noise)를 사전 학습시켰습니다.
그 결과, 오류 역전파 학습을 위해 필수적 조건인 신경망의 순방향과 역방향 신경세포 연결 구조의 대칭성이 만들어질 수 있음을 보였는데요. 즉, 무작위적 사전 학습을 통해 가중치 수송 없이 학습이 가능해진 것입니다.
연구팀은 실제 데이터 학습에 앞서 무작위 정보를 학습하는 것이 ‘배우는 방법을 배우는’메타 학습(meta learning)의 성질을 가진다는 것을 밝혔습니다. 무작위 정보를 사전 학습한 신경망은 실제 데이터를 접했을 때 훨씬 빠르고 정확한 학습을 수행하며, 가중치 수송 없이 높은 학습 효율성을 얻을 수 있음을 보였습니다.
백세범 교수는 “데이터 학습만이 중요하다는 기존 기계학습의 통념을 깨고, 학습 전부터 적절한 조건을 만드는 뇌신경과학적 원리에 주목하는 새로운 관점을 제공하는 것”이라며 “발달 신경과학으로부터의 단서를 통해 인공신경망 학습의 중요한 문제를 해결함과 동시에, 인공신경망 모델을 통해 뇌의 학습 원리에 대한 통찰을 제공한다는 점에서 중요한 의미를 가진다”고 언급했습니다.
연구 결과는 인공지능 학회인 '제38회 신경정보처리학회(NeurIPS)'에서 발표될 예정입니다.
논문명: Pretraining with random noise for fast and robust learning without weight transport
#용어설명
1. 인공신경망 (artificial neural networks)
인공신경망 모델은 생물학적 신경망에서 영감을 얻어 만들어진 기계학습 알고리즘이다. 인공신경망은 인공 뉴런들과 그들의 사이를 연결해 주는 시냅스로 구성되어 있으며, 네트워크 단위에서 각 뉴런의 시냅스 연결 강도를 변화시켜 특정한 작업을 수행할 수 있도록 만든 모델을 일컫는다. 최근에는 컴퓨터 비전, 음성 인식, 대규모 언어 모델 등 다양한 분야에서 인공신경망이 사용되고 있다.
2. 오류 역전파 (error backpropagation)
인공 신경망은 입력 계층으로부터 받아들인 정보를 은닉 계층을 거쳐 출력 계층으로 내보낸다. 이때, 신경망이 출력한 답과 실제 기대 출력 사이 사이에 오류가 발생할 경우, 이를 줄여 신경망이 기대했던 출력을 만들어낼 수 있는 방향으로 시냅스의 결합 세기를 조정하는 것이 오류 역전파 알고리즘이다. 1986년 제프리 힌튼이 동료 연구자들과 공동 개발한 오류 역전파 방법은 인간이 일일이 신경망의 연결을 설계할 필요 없이 데이터를 통한 학습을 가능하게 만들어 인공신경망 훈련을 혁신했다고 평가받는다.
3. 가중치 수송 문제 (weight transport problem)
오류 역전파는 계층적 인공신경망이 효과적으로 학습할 수 있는 핵심적 알고리즘이지만, 생물학적 뇌에서는 이러한 일이 일어날 수 없을 것으로 생각된다. 오류 역전파 학습을 위해서는 역방향 계산에 순방향 가중치를 그대로 사용하기 때문이다. 이는 개별 뉴런이 오류 신호 계산을 위해 후속 레이어의 모든 연결을 알고 있어야 하는 상황으로, 국소 정보만을 이용해 학습해야하는 뇌에서는 불가능한 일이다. 프랜시스 크릭에 의해 인식된 이 가중치 수송 문제는 인공신경망과 뇌의 학습을 구분짓는 가장 큰 차이이다. 최근에는 가중치 수송 문제를 해결해 뇌의 학습 원리를 모사한 생물학적으로 타당한 모델을 만들고자 하는 다양한 시도가 이어지고 있다.
4. 자발적 신경 활동 (Spontaneous neural activity)
두뇌에서 외부의 자극이나 입력과 관계없이 뉴런들이 자발적으로 만들어내는 신경 활동을 의미한다. 발달 과정에 있는 감각 신경 회로에서는 시각이나 청각등의 감각 정보를 경험하기 전, 심지어 태어나기 전부터 자발적 신경 활동이 관측된다. 뇌신경과학에서는 이러한 자발적 신경 활동을 통해 초기 신경망의 구조가 결정되고 조정된다고 알려져 있으며, 이들 활동이 결핍될 경우 신경 회로의 발달과 학습에 심각한 문제가 생긴다는 것이 보고된 바 있다.
