yeolyi.com성열의 컴퓨터공학

버퍼 오버플로

초안아직 검토하지 않은 글이라 틀린 곳이 있을 수 있습니다.

메모리 실수 글에서 C가 배열 끝을 넘어 써도 막지 않는 것을 보았습니다. 그런데 스택 프레임에는 지역 변수 바로 옆에 돌아올 주소가 있습니다. 지역 배열 끝을 넘어 쓰면 어떻게 될까요?

고정 크기 버퍼

이름을 입력받아 인사하는 함수 greet를 C로 만든다고 합시다. 프레임 크기는 컴파일러가 미리 정하니, 함수 안의 배열도 칸 수를 미리 정해야 합니다.

char name[8];

입력을 잠시 담아 두는 이런 구역을 버퍼(buffer)라 합니다. 이제 입력 input의 글자 n개를 버퍼로 옮깁니다.

while (i < n) {
    name[i] = input[i];
    i = i + 1;
}

i가 8보다 작은지 확인하지 않습니다. C는 name[i]를 시작 주소에서 i칸 뒤의 칸으로 바꿀 뿐입니다. 이름이 9글자면 배열 바로 다음 칸에 씁니다. 거기에는 무엇이 있을까요?

넘친 글자가 덮는 곳

스택은 높은 주소에서 낮은 주소로 자랍니다. main은 지역 변수 score를 둔 채 greet를 부릅니다. 그러면 돌아올 주소를 먼저 쌓고, 그 아래에 name 자리를 잡습니다. 그런데 배열은 인덱스가 커질수록 높은 주소로 갑니다. 그래서 넘친 글자는 바로 위의 돌아올 곳으로 올라갑니다. 글자는 문자열 글에서 본 대로 A가 65인 번호로 저장됩니다.

이름 (영어·숫자, 10글자까지)
greet 안의 코드
char name[8]; int i = 0; while (i < n) { name[i] = input[i]; i = i + 1; }
높은 주소
main의 프레임
209score90
greet의 프레임
208돌아올 곳14
207name[7]-
206name[6]-
205name[5]-
204name[4]-
203name[3]'a' 97
202name[2]'n' 110
201name[1]'i' 105
200name[0]'M' 77
낮은 주소

4글자가 name 안에 들어갑니다. 함수가 끝나면 14번 주소로 돌아갑니다.

이름을 한 글자씩 늘려 10글자까지 입력해 봅시다.

이처럼 버퍼의 칸 수보다 많이 써서 옆 메모리를 덮는 것을 버퍼 오버플로(buffer overflow)라 합니다. greet가 끝나면 CPU는 바뀐 주소로 점프해, 그곳에 무엇이 있든 명령어로 여기고 실행합니다.

더 큰 문제는 그 값을 입력하는 사람이 정한다는 점입니다. 입력을 골라 넣으면 프로그램을 만든 사람의 뜻과 다른 코드를 실행하게 할 수 있습니다. 그래서 버퍼 오버플로는 보안 문제가 됩니다.

막는 법

가장 확실한 방법은 칸 수를 넘지 않게 쓰는 것입니다.

while (i < n && i < 8) {  // &&는 '그리고'

많은 언어는 아예 칸에 접근할 때마다 인덱스를 확인하고, 벗어나면 오류를 냅니다.

C 프로그램에는 컴파일러가 덫을 놓기도 합니다. 버퍼와 돌아올 곳 사이에 비밀 값을 넣어 두고, 돌아가기 직전에 그 값이 그대로인지 확인합니다. 이 값을 카나리(canary)라 합니다. 유독 가스를 먼저 알려 주던 탄광의 카나리아에서 온 이름입니다.

입력Maximilian (10글자)
반복 조건
while (i < n)
높은 주소
main의 프레임
209score90
greet의 프레임
208돌아올 곳14
207name[7]-
206name[6]-
205name[5]-
204name[4]-
203name[3]-
202name[2]-
201name[1]-
200name[0]-
낮은 주소

greet가 불렸습니다. 돌아올 곳에는 14가 적혀 있습니다.

  1. “막지 않음”에서 다음을 끝까지 눌러 봅시다.
  2. “길이 검사”와 “카나리”로 바꿔 차례로 다시 해 봅시다.

카나리는 넘치는 것을 막지는 못하고, 엉뚱한 곳으로 가기 전에 멈출 뿐입니다.

마무리

C는 메모리를 바이트 단위로 직접 다루게 해 주는 대신, 그 바이트가 어디에 쓰이는지 지키는 일은 프로그래머에게 맡깁니다. 다음 파트부터는 이렇게 다룰 수 있게 된 메모리 위에서 문제를 푸는 절차를 세우고, 그 절차가 얼마나 빠른지 재 봅니다. 첫 글은 알고리즘입니다.

도전 문제

greet의 프레임은 글처럼 낮은 주소부터 name[0]~name[7], 돌아올 곳, main의 score 순으로 붙어 있습니다. 길이 검사를 아래처럼 넣고 입력 Mina2026XYZ(n은 11)를 옮기면, greet가 끝날 때 몇 번 주소로 점프할까요? 글자 번호는 A가 65, B가 66처럼 대문자를 알파벳 순서대로 하나씩 늘려 셉니다. 숫자로 답하세요.

while (i < n && i <= 8) {
    name[i] = input[i];
    i = i + 1;
}