멀티프로세싱 기반의 틱 데이터 유실 방지 링 버퍼(Ring Buffer)와 공유 메모리(IPC) 설계

1. 파이썬 GIL의 한계와 공유 메모리(IPC) 아키텍처 설계

파이썬의 표준 멀티스레딩은 하나의 바이트코드만 실행할 수 있도록 제약하는 GIL(Global Interpreter Lock)로 인해, 멀티코어 CPU를 탑재하더라도 단일 코어의 성능 이상을 발휘할 수 없습니다. 특히 수신 스레드가 소켓 버퍼를 비우는 동안 계산 집약적인 지표 연산이나 디스크 쓰기가 실행되면 수신 버퍼가 즉각 포화되어 소켓이 강제 단절됩니다.

이를 극복하기 위해 `multiprocessing.shared_memory` 모듈을 활용하여 C 구조체 스타일의 고정 크기 바이너리 메모리 블록을 생성하고, 프로세스들이 락 없이 원자적 포인터(Atomic Head/Tail Pointer) 이동만으로 틱 데이터를 읽고 쓰도록 격리해야 합니다.

2. 무잠금(Lock-Free) 링 버퍼 핵심 구조체와 파이썬 구현

링 버퍼는 고정된 크기(예: 65,536개 슬롯)의 순환 배열로 동작합니다. 생산자(수신 프로세스)는 `head` 인덱스를 1씩 증가시키며 데이터를 쓰고, 소비자(분석 프로세스)는 `tail` 인덱스를 추적하며 데이터를 읽습니다. 두 인덱스가 겹치지 않는 한 락(Mutex)을 획득할 필요가 전혀 없어 지연시간이 4마이크로초 수준으로 수렴합니다.

# 공유 메모리 기반 고성능 틱 링 버퍼 골격
import mmap
from multiprocessing import shared_memory
import struct
import time

# 틱 데이터 바이너리 포맷: 타임스탬프(d), 가격(i), 수량(i), 호가1(i), 호가2(i)
TICK_STRUCT = struct.Struct("=diiii")
SLOT_SIZE = TICK_STRUCT.size # 24 bytes
RING_SIZE = 65536 # 2^16 고정 슬롯

class SharedMemoryTickBuffer:
    def __init__(self, name="tick_shm", create=False):
        self.total_bytes = RING_SIZE * SLOT_SIZE + 16 # 헤더 16바이트(head, tail)
        if create:
            self.shm = shared_memory.SharedMemory(name=name, create=True, size=self.total_bytes)
            # head(8B), tail(8B) 초기화
            struct.pack_into("=QQ", self.shm.buf, 0, 0, 0)
        else:
            self.shm = shared_memory.SharedMemory(name=name)

    def write_tick(self, timestamp, price, vol, ask1, bid1):
        head, tail = struct.unpack_from("=QQ", self.shm.buf, 0)
        next_head = (head + 1) % RING_SIZE
        # 버퍼 오버플로우 방어: tail을 추월하지 못하도록 제한
        if next_head == tail:
            return False # 버퍼 가득 참
            
        offset = 16 + (head * SLOT_SIZE)
        TICK_STRUCT.pack_into(self.shm.buf, offset, timestamp, price, vol, ask1, bid1)
        # 원자적 헤드 포인터 전진
        struct.pack_into("=Q", self.shm.buf, 0, next_head)
        return True

3. 틱 데이터 수신과 영속화 디스크 I/O의 완전 분리

초단타 트레이딩 봇에서 틱을 수신하는 즉시 SQLite나 파일에 `f.write()`를 수행하는 것은 자살행위입니다. 디스크 I/O 쓰기 지연은 수 밀리초에서 길게는 수백 밀리초까지 튀기 때문입니다. 공유 메모리 링 버퍼 구조를 사용하면 수신 프로세스는 4마이크로초 만에 메모리에 밀어넣고 즉시 다음 소켓 패킷을 대기하며, 별도의 보조 프로세스가 0.5초마다 링 버퍼에서 틱을 벌크로 긁어모아 디스크에 일괄 기록(Batch Ingestion)할 수 있습니다.

4. 시스템 장애 복구와 메모리 언링크(Unlink) 생명주기 관리

공유 메모리 기반 IPC를 구현할 때 주의해야 할 점은, 비정상적인 프로세스 종료 시 OS 커널에 공유 메모리 세그먼트가 좀비 형태로 남아 재부팅 전까지 메모리를 누수시킬 수 있다는 것입니다. 이를 방어하기 위해 프로세스 시작 시 기존 공유 메모리 핸들을 안전하게 감지하고 언링크(Unlink)한 뒤 재할당하는 `atexit` 핸들러와 POSIX 시그널 트랩을 시스템 레벨에서 결합해야 합니다.