빨래하면서 건조하기
지금 컴퓨터는 클럭 한 번에 명령어 하나를 처음부터 끝까지 처리합니다. 그래서 클럭 간격을 명령어 하나를 처리하는 시간보다 짧게 할 수 없습니다.
명령어 하나를 처리하는 일은 세 단계로 나눌 수 있습니다. PC가 가리키는 명령어를 메모리에서 가져오고(Fetch), 제어 장치가 작업 번호를 해석하고(Decode), 레지스터와 ALU가 실행합니다(Execute). CPU는 이 명령어 사이클을 끝없이 되풀이합니다.
긴 클럭 한 번 동안 PC와 메모리는 처음 Fetch에만 일하고, 나머지는 해석과 실행이 끝나기를 기다립니다. 그동안 다음 명령어를 미리 가져올 수는 없을까요?
빨래 세 바구니를 세탁, 건조, 개기 순서로 처리한다고 해 봅시다. 단계마다 한 시간씩 걸린다고 하면, 한 바구니를 다 개고 나서 다음 바구니를 넣을 때 9시간이 걸립니다.
| 시간 | 1 | 2 | 3 | 4 | 5 | 6 | 7 | 8 | 9 |
|---|---|---|---|---|---|---|---|---|---|
| 바구니 1 | 세 | 건 | 개 | ||||||
| 바구니 2 | 세 | 건 | 개 | ||||||
| 바구니 3 | 세 | 건 | 개 |
바구니 3개를 9시간 만에 모두 끝냅니다.
첫 바구니가 건조기로 옮겨 가자마자 둘째 바구니를 세탁기에 넣으면 세 일이 동시에 진행되어 5시간 만에 끝납니다. 이렇게 일을 여러 단계로 나누고 단계들을 겹쳐 처리하는 방식을 파이프라인(pipeline)이라고 합니다.
Fetch는 PC와 메모리를, Decode는 제어 장치를, Execute는 ALU와 레지스터를 씁니다. 단계마다 쓰는 부품이 다르니 한 명령어를 해석하는 동안 다음 명령어를 가져올 수 있습니다. 단계 사이에 결과를 잡아 둘 레지스터를 두고, 클럭 한 번에 한 단계씩 나아가게 합시다.
다음을 누를 때마다 레지스터에 든 값이 한 단계씩 내려갑니다.
아래 표에서는 한 단계에 1ns(10억 분의 1초)가 걸린다고 합시다.
| 시간(ns) | 1 | 2 | 3 | 4 | 5 | 6 | 7 | 8 | 9 | 10 | 11 | 12 | 13 | 14 | 15 |
|---|---|---|---|---|---|---|---|---|---|---|---|---|---|---|---|
| 0: LDI R0, 2 | F D E | ||||||||||||||
| 1: LDI R1, 3 | F D E | ||||||||||||||
| 2: ADD R0, R1 | F D E | ||||||||||||||
| 3: ADDI R0, 1 | F D E | ||||||||||||||
| 4: STORE 15 | F D E | ||||||||||||||
명령어 5개, 3ns 클럭 5번에 15ns가 걸립니다.
클럭이 짧아지고 단계가 겹쳐, 15ns 걸리던 일이 7ns에 끝납니다. 명령어 하나가 끝나기까지는 여전히 3ns가 걸립니다. 대신 파이프라인이 차고 나면 클럭이 올 때마다 명령어가 하나씩 끝납니다. 파이프라인은 명령어 하나에 걸리는 시간은 줄이지 않고, 정해진 시간에 끝내는 명령어 수인 처리량(throughput)을 늘립니다.
늘 이렇게 매끄럽게 흐르지는 않습니다. 대표적인 경우가 점프입니다. 점프는 Execute 단계에서 PC를 바꾸고, JZ는 Zero Flag를 보고 점프할지도 그때 정합니다.
1번째 클럭. JUMP 3이 아직 Execute에 닿지 않아, PC는 다음 칸을 가리킵니다.
| 클럭 | 1 | 2 | 3 | 4 | 5 | 6 |
|---|---|---|---|---|---|---|
| 0: JUMP 3 | F |
다음을 눌러 JUMP 3이 Execute에 닿을 때까지 넘겨 봅시다.
JUMP가 Execute에 닿을 때 CPU는 이미 다음 두 명령어를 가져와 해석하고 있습니다. 점프하면 이 둘은 버리고 점프할 주소에서 다시 가져와야 합니다. 둘 다 아직 Execute에 닿지 않아 레지스터나 메모리를 바꾼 적이 없으니, 단계 사이 레지스터에 든 둘을 아무 일도 하지 않는 명령어로 바꿔 두기만 하면 됩니다.
점프 글의 1부터 R0까지 더하는 프로그램을 R0 = 2로 돌려 봅시다.
| 시간(ns) | 1 | 2 | 3 | 4 | 5 | 6 | 7 | 8 | 9 | 10 | 11 | 12 | 13 | 14 | 15 | 16 | 17 | 18 | 19 | 20 | 21 | 22 | 23 | 24 | 25 | 26 | 27 | 28 | 29 | 30 |
|---|---|---|---|---|---|---|---|---|---|---|---|---|---|---|---|---|---|---|---|---|---|---|---|---|---|---|---|---|---|---|
| 0: LDI R0, 2 | F D E | |||||||||||||||||||||||||||||
| 1: ADD R1, R0 | F D E | |||||||||||||||||||||||||||||
| 2: SUBI R0, 1 | F D E | |||||||||||||||||||||||||||||
| 3: JZ 5 | F D E | |||||||||||||||||||||||||||||
| 4: JUMP 1 | F D E | |||||||||||||||||||||||||||||
| 1: ADD R1, R0 | F D E | |||||||||||||||||||||||||||||
| 2: SUBI R0, 1 | F D E | |||||||||||||||||||||||||||||
| 3: JZ 5 | F D E | |||||||||||||||||||||||||||||
| 5: MOVE R0, R1 | F D E | |||||||||||||||||||||||||||||
| 6: STORE 15 | F D E | |||||||||||||||||||||||||||||
명령어 10개, 3ns 클럭 10번에 30ns가 걸립니다.
파이프라인에서 JZ와 JUMP 뒤에 줄 그어진 줄이 가져왔다 버린 명령어입니다.
버린 만큼 손해를 보지만 그래도 파이프라인이 훨씬 빠릅니다.
파이프라인은 단계를 겹쳐서, 부품을 늘리지 않고도 처리량을 늘립니다. 다만 이 계산은 메모리를 읽는 일도 클럭 한 번에 끝난다는 가정 위에 있습니다. 다음 글부터는 메모리 쪽을 살펴봅시다.
빨래를 세탁기, 건조기, 개기 순서로 처리합니다. 세탁기와 건조기는 한 대씩, 개는 사람은 한 명이고 저마다 한 번에 한 바구니만 다룹니다. 세탁은 1시간, 건조는 2시간, 개기는 1시간이 걸립니다. 단계를 겹쳐 처리할 때 네 바구니를 모두 개기까지 최소 몇 시간이 걸릴까요? 숫자로 답하세요.