프랙탈과 망델브로 집합 이야기

혹시 영국의 해안선 길이를 재 본 사람이 있을까요? 이상한 질문처럼 들리겠지만, 이 질문은 20세기 기하학의 가장 위대한 발견 중 하나의 출발점이었습니다. 지도를 보면 해안선은 그저 구불구불한 선처럼 보입니다. 하지만 자의 눈금을 줄여 더 자세히 들여다보면 어떨까요? 큰 자로는 무시했던 작은 곶과 만이 보이기 시작하고, 길이는 처음보다 훨씬 길어집니다. 여기서 돋보기를 꺼내 모래알 하나하나의 굴곡까지 잰다면, 해안선의 길이는 상상 이상으로, 아니, 이론상으로는 무한히 늘어납니다.

 

이처럼 우리가 사는 세상은 학교에서 배운 반듯한 직선과 매끄러운 원으로는 도저히 설명할 수 없는 거칠기로 가득합니다. 구름은 뭉게뭉게 피어오르고, 산맥은 톱니처럼 솟아 있으며, 나뭇가지는 어지럽게 뻗어 나갑니다. 오랫동안 수학은 이런 불규칙함을 혼돈이나 오류로 치부하며 외면해 왔습니다.

 

하지만 이 모든 불규칙함 속에 숨겨진 놀라운 질서를 발견한 한 남자가 있었습니다. 그의 이름은 브누아 망델브로(Benoît Mandelbrot). 그는 세상의 모든 거칠고 복잡한 것들을 위한 새로운 언어, 프랙탈(Fractal)을 세상에 선물했습니다. 이것은 어느 날 갑자기 떠오른 영감의 결과가 아니었습니다. 수십 년에 걸쳐 서로 아무 상관없어 보이는 현상들을 꿰뚫어 본 한 수학계의 이단아가 펼친 탐험에 가까운 이야기입니다.

 

1. 수학의 다락방에 갇힌 괴물들

이야기는 망델브로가 태어나기도 전인 19세기 말로 거슬러 올라갑니다. 당시 수학자들은 상식적으로 이해하기 힘든 기묘한 도형들을 발견하고는 당혹감에 빠졌습니다. 선분을 3등분해 가운데를 계속 파내면 먼지만 남는 칸토어 집합, 선분을 꺾고 또 꺾어 유한한 공간 안에 무한한 길이를 구겨 넣은 코크 곡선 같은 것들이었죠.

 

당시 수학계는 이 기괴한 도형들을 병리학적(pathological) 혹은 괴물(monsters)이라 부르며 기피했습니다. 완벽하고 질서정연한 유클리드 기하학의 세계에 나타난 이 돌연변이들은, 어느 한 점에서도 매끄럽게 이어지지 않았고, 1차원(선)도 2차원(면)도 아닌 기묘한 차원을 가진 것처럼 보였습니다. 결국 이 괴물들은 현실과 동떨어진 수학자들의 머릿속 장난감 취급을 받으며, 반세기 넘게 학문의 어두운 다락방에 갇히게 됩니다. 아무도 이 괴물들이 사실은 자연의 얼굴을 하고 있다는 사실을 상상조차 하지 못했습니다.

 

2. 세상을 다르게 본 아웃사이더, 단서를 발견하다

이 잠들어 있던 괴물들을 깨운 사람이 바로 망델브로였습니다. 그는 처음부터 주류 수학계와는 거리가 먼 아웃사이더였습니다. 폴란드 유대인 가정에서 태어나 나치를 피해 프랑스로 이주한 그는, 정규 교육에서 벗어나 독학으로 세상을 배웠습니다. 그는 "주변의 모든 것에 눈을 뜨는 법"을 강조한 삼촌의 가르침대로, 공식보다는 눈으로 보고 직관으로 파악하는 것을 더 신뢰했습니다.

 

이런 기질은 그가 당대 최고의 수학 명문 에콜 노르말을 "지나치게 추상적"이라는 이유로 단 하루 만에 그만두고, 현실 문제에 더 가까운 에콜 폴리테크니크를 선택한 일화에서 잘 드러납니다. 훗날 그는 IBM 연구소에서 35년간 몸담으며 학문의 경계를 자유롭게 넘나들 수 있는 환경을 얻게 됩니다. 바로 이 자유로운 지적 유랑 속에서, 그는 서로 다른 세계에 흩어져 있던 결정적인 단서들을 발견하기 시작합니다.

 

첫 번째 단서: 요동치는 목화 가격 (경제학)

1960년대 초, 망델브로는 수십 년 치 목화 가격 변동 데이터를 분석하고 있었습니다. 당시 경제학자들은 가격 변화가 완만한 종 모양의 정규분포를 따른다고 믿었습니다. 즉, 주가 폭락이나 폭등 같은 극단적인 사건은 거의 일어나지 않아야 했죠. 하지만 망델브로가 본 데이터는 달랐습니다. 시장은 이론의 예측보다 훨씬 더 거칠고 변덕스러웠습니다.

 

그때, 그는 놀라운 패턴을 발견합니다. 하루 동안의 가격 변동 그래프와 한 달, 심지어 1년 동안의 그래프가 놀랍도록 닮아 있었던 것입니다. 축척을 알려주는 범례가 없다면 어떤 것이 일간 그래프이고 어떤 것이 연간 그래프인지 구분할 수 없을 정도였죠. 그는 이것을 척도 불변성(scaling)이라 불렀습니다. 크기를 바꿔도 본질적인 패턴은 변하지 않는다는, 프랙탈의 핵심적인 속성을 현실 세계에서 발견한 첫 순간이었습니다.

 

두 번째 단서: 전화선 속의 유령 (정보이론)

다음 단서는 IBM 연구실에서 나왔습니다. 그는 전화선을 통한 데이터 전송 시 발생하는 잡음(noise) 문제를 연구하고 있었습니다. 엔지니어들은 통신 오류가 무작위로 발생한다고 생각했지만, 망델브로는 데이터를 직접 눈으로 확인했습니다.

 

그의 눈에 비친 오류 패턴은 무작위가 아니었습니다. 오류는 특정 구간에 집중적으로 몰려있는 군집(cluster) 형태로 나타났습니다. 그런데 그 군집을 확대하자 더 놀라운 사실이 드러났습니다. 오류가 들끓는 시끄러운 구간 안에 잠시 오류가 없는 고요한 순간이 있었고, 그 고요한 순간을 또 확대하니 그 안에 다시 작은 오류 군집이 나타나는 패턴이 끝없이 반복되었습니다.

 

이 패턴을 본 순간, 망델브로의 머릿속에서 100년 전 수학의 다락방에 갇혀 있던 괴물이 뛰쳐나왔습니다. 시끄러운 구간과 조용한 구간이 무한히 반복되는 이 구조는, 선분의 가운데를 계속해서 파내는 방식으로 만드는 칸토어 집합과 완벽하게 똑같았습니다. 순수 수학의 추상적인 괴물이 20세기 최첨단 기술의 심장부에서 발견된 것입니다!

 

3. 괴물의 부활, 그리고 새로운 언어의 탄생

이제 모든 조각이 맞춰지기 시작했습니다. 경제학에서 발견한 척도 불변성, 정보이론에서 발견한 칸토어 집합의 구조, 그리고 서두에서 이야기했던 해안선 문제는 모두 같은 것을 가리키고 있었습니다. 바로 자기 유사성(self-similarity), 즉 부분을 확대하면 전체와 똑같은 모습이 무한히 반복되는 구조입니다.

 

망델브로는 해안선의 길이를 재는 문제의 판을 바꿨습니다. 그는 "얼마나 긴가?"라는 질문 대신 "얼마나 거친가?"라고 물었습니다. 그리고 이 거칠기의 정도를 측정하기 위해 1.25와 같은 소수점 차원, 즉 분수 차원(fractional dimension)이라는 혁명적인 개념을 도입했습니다. 드디어 인류는 복잡함을 숫자로 표현할 도구를 갖게 된 것입니다.

 

이 모든 발견을 하나로 묶기 위해, 그는 1975년 새로운 이름을 고안합니다. 부서진, 불규칙한이라는 뜻의 라틴어 형용사 fractus에서 영감을 얻어 프랙탈(fractal)이라는 말을 만들어냈습니다. 부서진 돌조각처럼 거친 자연의 모습을 담은 이름이었죠. 이 단어 하나가 경제학, 정보이론, 지리학, 그리고 100년 묵은 수학의 괴물들을 하나의 장대한 이야기로 엮어냈습니다.

 

 

4. 기계의 눈으로 본 신의 지문

 

이야기의 마지막 퍼즐은 IBM의 컴퓨터가 맞춰주었습니다. 20세기 초 수학자 가스통 쥘리아가 연구했던 쥘리아 집합은 아주 간단한 수식을 무한히 반복할 때 나타나는 도형입니다. 하지만 인간의 손으로는 도저히 계산할 수 없어 그 진짜 모습은 아무도 본 적 없는 미지의 영역이었습니다.

 

망델브로는 컴퓨터를 이용해 이 무한한 계산을 시각화했습니다. 인류 역사상 처음으로, 100년간 잠들어 있던 괴물이 모니터 위에 그 모습을 드러내는 순간이었습니다. 화면에 나타난 것은 혼돈이 아니었습니다. 무한히 반복되는 자기 유사성, 경이로울 정도로 정교하고 아름다운 패턴의 우주였습니다.

 

여기서 그는 한 걸음 더 나아가, 수식의 변수 c 값을 바꿔가며 쥘리아 집합이 어떻게 변하는지 관찰했습니다. 그는 어떤 c 값을 넣어야 쥘리아 집합이 한 덩어리로 연결된 모양을 유지하는지, 그 c 값들만 모아서 점을 찍어보았습니다. 1980년 3월 1일, 그렇게 탄생한 이미지가 바로 그의 이름을 딴 망델브로 집합이었습니다.

 

놀랍게도, 이 단 하나의 이미지는 무한히 다양한 모든 쥘리아 집합의 형태를 알려주는 일종의 지도 역할을 했습니다. 만약 c 값이 망델브로 집합 안에 있다면, 그 쥘리아 집합은 한 덩어리로 연결된 모양이 되고, c 값이 밖에 있다면 산산이 부서진 먼지처럼 나타났습니다. 마치 신이 남겨놓은 지문처럼, 가장 단순한 규칙 안에 가장 복잡한 우주를 담고 있는 궁극의 청사진이었습니다.

 

 

 

브누아 망델브로의 여정은 결국 어떻게 보느냐에 대한 이야기입니다. 남들이 혼돈과 무질서, 혹은 괴물이라 치부했던 것들 속에서 그는 깊은 질서와 통일된 패턴을 발견했습니다. 프랙탈은 우리에게 세상을 보는 새로운 눈을 선물했습니다. 그의 덕분에 우리는 이제 구름 한 조각, 나무 한 그루, 우리 몸속의 혈관 하나하나가 무질서한 것이 아니라, 모든 규모에서 스스로를 닮아가는 정교하고 아름다운 질서의 표현임을 압니다. 프랙탈은 단순한 수학 이론을 넘어, 우리가 사는 이 거칠고 아름다운 세상을 이해하는 가장 강력한 언어가 되었습니다.