소수에서 왜 파이가 나올까? 바젤 문제와 리만 가설, RSA 암호 속 π의 비밀

3.14. 원을 처음 배울 때 만나는 숫자, 원주율 π. 원의 둘레를 지름으로 나눈 이 값은 영원히 '원'의 전유물처럼 보인다.

그런데 수학의 깊은 지하에는 원과 아무 상관도 없어 보이는 세계가 있다. 2, 3, 5, 7, 11, 13… 끝없이 이어지는 소수(prime number)의 세계다. 그런데 이 소수들을 곱셈으로 무한히 엮었더니, 믿기 어렵게도 거기서 π가 튀어나왔다. 원은 없는데 원주율이 나온 것이다.

대체 어떻게 이런 일이 가능할까? 지금부터 300년에 걸친 수학의 가장 아름다운 '우연' — 아니, 필연 — 을 따라가 보자.

π는 왜 끝이 없는 수일까?

먼저 주인공 π부터 제대로 알자. π는 소수점 아래가 영원히, 그것도 아무런 반복 없이 이어지는 수다. 이런 수를 무리수라 하고, 1761년 수학자 람베르트가 π가 무리수임을 증명했다. 나중에는 어떤 대수방정식의 근도 될 수 없는 '초월수'임까지 밝혀졌다.

그런데 솔직히 말하면, π의 자릿수가 무한하다는 사실은 오늘 이야기의 전주에 불과하다. 진짜 놀라움은 이 '원의 수'가 원 바깥의 세계에서 발견된다는 점이다.

소수는 왜 '수의 원자'라 불릴까?

소수는 1과 자기 자신으로만 나누어떨어지는 수다. 모든 자연수는 소수들의 곱으로 단 한 가지 방식으로만 표현된다(산술의 기본정리). 물질을 이루는 원자처럼, 소수는 수를 이루는 더 이상 쪼갤 수 없는 기본 입자다.

기원전 300년경 유클리드는 소수가 무한히 많다는 것을 증명했다. 하지만 다음 질문이 문제였다. 소수는 '어디에' 나타날까? 2와 3은 나란히 붙어 있고, 113과 127 사이에는 14라는 간격이 벌어진다. 소수의 출현 패턴은 2천 년 넘게 수학자들을 괴롭혀 온 난제였다. 규칙 없어 보이는 이 혼돈 속에, 뜻밖의 질서가 숨어 있었다.

원은 없는데 왜 π가 나왔을까? (바젤 문제)

1644년, 이탈리아의 수학자 멩골리는 이런 문제를 냈다. 1 + 1/4 + 1/9 + 1/16 + 1/25 + … — 자연수의 제곱의 역수를 무한히 더하면 얼마가 될까? 분모에는 제곱수만 있고, 원은커녕 곡선 하나 보이지 않는 문제였다.

90년 동안 당대 최고의 수학자들이 달려들었지만 풀리지 않았다. 그러다 1734년, 스물일곱 살의 레온하르트 오일러가 답을 내놓았다. π²/6. 답은 원주율의 제곱이었다.

오일러의 아이디어는 이랬다. 사인 함수 sin x를 무한히 긴 다항식으로 보고 그 '근'들을 이용해 식을 전개하면, x²의 계수에서 저 무한급수가 튀어나온다. 사인 함수는 파도처럼 출렁이는 곡선 — 즉 원의 그림자다. 원은 문제 속에 숨어 있었던 것이다.

그리고 바로 여기서 소수가 등장한다. 오일러는 이 급수를 모든 소수에 대한 곱으로 다시 썼다. 이른바 오일러 곱셈식 — 모든 소수 p에 대해 1/(1−1/p²)을 곱하면 정확히 π²/6이 된다. 다시 말해, 2, 3, 5, 7… 모든 소수를 곱셈으로 엮으면 원주율이 만들어진다. 소수의 세계 한가운데 π가 숨어 있었던 이유다.

허수와 리만 가설은 어떻게 연결될까?

오일러의 발견은 시작에 불과했다. 1859년, 베른하르트 리만은 오일러의 급수를 실수 너머 복소수의 세계로 확장했다. 제곱해서 −1이 되는 허수 i를 품은 복소평면 위에서, 이 함수(리만 제타 함수)가 0이 되는 지점들을 조사한 것이다.

리만은 놀라운 예언을 남겼다. 자명하지 않은 모든 영점은 실수부가 1/2인 일직선 위에 있다는 것. 이것이 바로 수학 최대의 미해결 난제 리만 가설이다. 160년이 넘도록 풀리지 않았고, 현상금 100만 달러가 걸려 있다.

왜 이렇게 중요할까? 소수가 나타나는 리듬 — 소수 정리 너머의 미세한 출렁임 — 이 바로 이 영점들의 위치에 의해 결정되기 때문이다. 존재하지 않는 수처럼 보이는 허수가 소수의 분포를 조율하는 지휘자가 된 셈이다. 허수의 세계가 궁금하다면 복소수에 관한 이전 글도 함께 읽어 보자.

쓸모없던 소수가 내 비밀번호를 지키게 된 사연은?

20세기 초까지만 해도 소수는 '아름답지만 쓸모없는' 학문의 상징이었다. 영국의 수학자 하디는 소수 연구가 현실에 아무 쓸모도 없다는 것을 오히려 자랑스러워했다.

그런데 1977년, 세 사람의 이름 — 리베스트, 샤미르, 애들먼 — 이 모든 것을 바꿨다. RSA 암호의 탄생이다. 원리는 단순하다. 커다란 소수 두 개를 곱하는 것은 1초도 안 걸리지만, 그 곱을 다시 두 소수로 쪼개는(소인수분해) 것은 천문학적으로 어렵다. 이 비대칭성이 공개키 암호의 심장이 되었다.

지금 이 글을 읽는 당신의 브라우저 주소창에 떠 있는 자물쇠, 온라인 뱅킹, 메신저의 종단간 암호화 — 모두 소수의 어깨 위에 서 있다. 2천 년간 '쓸모없음'의 대명사였던 소수가 어느 날 갑자기 디지털 문명의 경비원이 된 것이다.

수학의 상수가 현실 세계를 어떻게 움직이는지 더 알고 싶다면 미세구조상수에 관한 이전 글도 추천한다.

마무리: 아름다움을 쫓던 사람들이 세상을 지켰다

4천 년 전, 바빌로니아의 서기관들은 원의 둘레를 재며 π의 첫 자릿수를 구했다. 오일러는 그저 아름다운 식을 좇았고, 리만은 허수의 세계에서 영점을 좇았다. 하디는 쓸모없음을 자랑했다.

그런데 그 '쓸모없는' 아름다움의 부산물이 오늘 우리의 비밀번호를 지키고, 소수의 비밀을 풀 열쇠가 되었다. 수학자들은 세상을 구하려 한 적이 없다. 그저 아름다움을 좇았을 뿐이다. 그리고 그 아름다움이, 결국 세상을 지키고 있다.

자주 묻는 질문 (FAQ)

Q1. π는 정말 소수와 관련이 있나요?
A. 네, 실제로 연결되어 있습니다. 오일러 곱셈식에 따르면 모든 소수 p에 대한 1/(1−1/p²)의 무한곱이 정확히 π²/6과 같습니다. 소수들의 곱셈 구조 속에 원주율이 숨어 있는 셈입니다.

Q2. 리만 가설이 증명되면 어떤 일이 생기나요?
A. 소수의 분포를 지금보다 훨씬 정밀하게 이해하게 됩니다. RSA 암호가 당장 무너지는 것은 아니지만, 수론 전체가 재편되고 암호 체계의 안전성 평가도 다시 쓰이게 될 것입니다.

Q3. 왜 하필 소수가 암호에 쓰이나요?
A. 큰 수의 소인수분해가 극도로 어렵기 때문입니다. 수백 자리의 소수 두 개를 곱하는 것은 순식간이지만, 그 곱을 다시 소인수분해하는 데는 우주의 나이보다 긴 시간이 필요합니다. 이 '한 방향으로만 쉬운' 성질이 암호의 핵심입니다.

영상으로 보기: https://youtu.be/HHuB50k9BZc