M42/docs: view doc:98/v1

grandmother neuron에 대한 생각

v1Ossia
요약

grandmother neuron에 대한 생각입니다.

grandmother neuron이란 특정 대상에 대하여만 활성화되는 가상의 뉴런이다. 뇌를 환원주의적으로 분석할 때 순진한 사람은 grandmother neuron 모형을 사용하고 싶어 할 수도 있는데, 뇌는 이런 식으로 분석될 수 없다고 한다. 이는 뉴런이 이런 식으로 동작하였을 때 저장용량이 부족하게 되기 때문이라고 한다(https://youtu.be/_njf8jwEGRo에서). 이것에 관해 생각해 보자.

모든 뉴런이 할머니 뉴런이고, 한 대상에 대한 할머니 뉴런이 하나만 있다고 하자. 뉴런은 간단히 0 또는 1의 상태를 갖는다고 하자. 만약 A, B, C, D에 대해 다른 상태를 가지려면 뉴런은 0001, 0010, 0100, 1000과 같은 상태를 각각에 부여해야 함을 알 수 있다. 즉 nn개의 뉴런으로 nn개밖에 기억하지 못한다. 반면 할머니 뉴런 모형을 사용하지 않는다면 A, B, C, D을 00, 01, 10, 11에 대응시킬 수 있다. 즉 nn개의 뉴런으로 2n2^n개의 상태를 나타낼 수 있다. 할머니 뉴런 모형에서 저장용량이 부족해진다는 말은 이 뜻일 것이다.

뉴런 상태로부터 출력을 내는 과정이 카오스하지 않아서 연속적인 동작을 한다고 해 보자. 즉 비슷한 뉴런 상태가 비슷한 출력을 낸다. 그렇다면 비슷한 뉴런 상태에 대응된 대상의 경우 비슷한 출력을 내야 하므로 그러한 점에서 비슷하다고 생각할 수 있다. 즉 매 대상에 대해 뉴런 상태를 대응시키는 과정은, 출력이 비슷하도록 하는 특성을 기준으로 대상들을 분류하는 과정일지도 모른다. 또 이러한 연속적인 동작 방식은 사람의 연역·귀납·유추 등의 사고 방식과 관련이 있을지도 모른다.