1. GPU 프로세스 타입 개념

1.1 기본 타입 분류

• C(Compute): GPU의 연산 자원(CUDA 등)만 활용.
• G(Graphics): 그래픽 자원(OpenGL/DirectX 등)만 활용.
• C+G(Compute+Graphics): 연산(CUDA)과 그래픽(OpenGL 등) 자원을 모두 활용.

1.3 실전 구분 기준

• 동일한 python 프로세스라도 연산만 할 경우 C,
  그래픽까지 사용할 경우 C+G로 나타남.
• 복합적 GPU 작업 환경에서 리소스 충돌(예, VRAM 부족) 원인 분석에 활용.

1. FC 레이어의 입력 제약

1.1 입력 형식 제한

• 1차원 벡터 입력: FC 레이어는 기본적으로 1차원 벡터 또는 2차원([batch, features]) 형태의 입력을 처리.

• 자동 Flatten 또는 명시적 Flatten: 다차원 텐서 입력 시 내부적으로 Flatten되거나 오류 발생.

2. 다차원 입력의 비효율성

2.1 파라미터 폭증 문제

• 내부적 Flatten 처리: 다차원 텐서 입력 시 모든 요소를 독립적인 입력 뉴런으로 간주하여 Flatten.

• 기하급수적 파라미터 증가: 입력 차원 수에 따라 파라미터 수가 폭발적으로 증가 (예: 8x8x128 입력 -> 2백만 개 이상 파라미터).

• 오버피팅 및 메모리 문제: 과도한 파라미터로 인한 오버피팅 및 학습/추론 시 메모리 부족 발생.

3. 다차원 데이터 처리 전략

3.1 차원 축소 및 특징 요약

• Convolutional/Pooling 레이어 활용: 공간 구조 유지를 위한 컨볼루션 및 풀링 레이어 사용.

• GlobalAveragePooling: 다차원 텐서의 차원을 축소하고 특징을 요약하는 기법.

• Flatten 단계 필수: FC 레이어 연결 전 Flatten 등의 차원 변환 단계 필수.

1. 기억 형성의 핵심 구성 요소

1.1 일반화된 추상 구조 (G)

• MEC (Medial Entorhinal Cortex) 역할

• ‘a > b’와 같은 추상적 관계 표현

• 비공간적 정보(예: 사회 계층) 일반화 효율성

1.2 구체적 감각 정보 (X)

• 외부 환경으로부터의 직접적인 감각 입력

• 특정 시점, 특정 장소의 고유한 경험

2. 기억 패턴의 안정화 및 일반화

2.1 구체 기억 형성 (P)

• 해마(Hippocampus)에서의 초기 기억 인코딩

• G와 X의 통합을 통한 패턴 형성

2.2 반복 경험과 기억 안정화

• G+X 결합의 반복적 노출

• Attractor Network를 통한 기억 패턴 안정화

• ‘기억 골짜기’ 심화: 새로운 입력 시 유사 패턴으로 수렴

3. 기억의 일반화 및 활용

3.1 기억 골짜기 형성

• 반복 학습을 통한 기억 패턴의 견고화

• 새로운 유사 입력에 대한 빠른 인식 및 분류

3.2 비공간 정보의 일반화

• 사회 계층과 같은 추상적 관계에도 적용 가능

• 효율적인 정보 처리 및 예측 능력 향상

• 핵심: vlPFC, model-based, model-free 두 시스템 신뢰도 비교 및 중재

• 원리: 각 전략의 신뢰도를 비교, 전략 가중치(w) 결정

  vmPFC: 가치 통합과 계산

• 핵심: vmPFC, 가중치 기반 통합 가치 산출

• 특징: vlPFC로부터 받은 전략 가중치를 반영해 최종 통합 가치 계산

• 연결: PE 기준선 조정에 따라 가치 표현 선명도 변화

환경 불확실성 및 PE 기준선

• 핵심: 예측 오차(PE) 기준선, 환경 불확실성 지표

• 문제: 환경이 변동성이 커질 때 기존 전략 신뢰성 저하

• 해법: PE 기준선 상승 시 모델 기반(MB) 시스템 의존 강화, 가치 계산 방식 조정

가치 계산 방식 전환 신호

• 핵심: PE 기준선, vmPFC의 가치 표현 형태 결정 신호

• 문제: 단순 합산(elemental)과 전체론적(configural) 계산 전환 필요성

• 해법: PE 기준선이 복잡한 가치 계산 필요 시 vmPFC에 신호 제공

• 정의: Dropout은 학습 시 뉴런을 임의로 비활성화하여 특정 패턴 의존을 줄이는 정규화 기법.

• 중요 이유: Dropout 비율을 높이면(random 비활성화) 모델의 복잡도 감소 → 과적합 현상(새로운 데이터 일반화 실패) 완화에 효과적.

• 핵심 요소:

• 비율 증가 효과: dropout_rate를 0.2→0.5로 올리면 regularization이 강화됨.

• 작동 원리: 학습마다 무작위로 뉴런을 off, 앙상블 효과로 모델 일반화 성능 개선.

• 연결: → Filter 수 감소와 병행 시 구조적 복잡도 조정 가능.

Batch Size 조정 ⭐⭐

• 개요: Batch size는 파라미터가 업데이트되는 미니 배치 데이터의 크기로, 일반화와 학습 효율에 영향.

• 주요 특징:

• 크기 증가 시: 더 평탄한 gradient 사용 → 데이터 특이치 민감도 감소, 초과 과적합 방지에 기여할 수 있음.

• 실제 활용: 32→128 등 단계적 증대로 적정 범위 탐색(과대 설정 시 오히려 일반화 악화).

• 주의점: 지나치게 크면 학습 속도는 빨라지나 모델이 데이터 분포 세부 특성 파악에 실패할 수 있음.

Conv2D Filter 값 줄이기 ⭐

• 요약: 필터 개수를 줄이면 파라미터나 표현력 감소로 과적합 위험 줄어듦.

• 활용: 초기 filter1,2를 64→32 등으로 조정해 검증 성능관찰, 필요시 재조정.

• 참고: 너무 적게 줄일 경우 주요 feature 추출 성능 저하될 수 있음.

핵심 연결고리

• Dropout 증가, Filter 감소 → 모델 복잡도 구조적 축소 → 과적합 저감

• Batch Size 증가는 학습 과정의 노이즈/평균값 조정 → 일반화 성능 유동적 변화

• 전체 흐름: 하이퍼파라미터별 조정은 과적합 완화와 성능 저하(또는 과소적합) 위험 사이 trade-off 필요. 실험적으로 한 번에 하나씩 변경, 검증 데이터 기반으로 판단할 것.

• Dropout과 Filter 조정은 네트워크 구조 자체의 regularization 강화를, Batch Size 조정은 학습 프로세스 관점의 일반화 강화를 의미함.

• 모든 파라미터 조정은 실험적 튜닝과 검증 셋 성능 관찰이 필수적임.

Promptfoo에서 — 구분자가 프롬프트 파일을 여러 시나리오로 분리하는 기능을 이해하고, 이를 활용하거나 피하는 방법을 학습함.

📍 학습 내용

1. Promptfoo 구분자 기능

1.1 — 구분자의 특별한 기능

• —가 프롬프트 분리자로 작동함을 이해함

• Promptfoo가 —를 기준으로 파일을 독립적인 프롬프트 시나리오로 인식함을 파악함

• 하나의 파일에서 여러 프롬프트 변형을 테스트할 때 유용함을 확인함

2. 문제 해결 및 대안

2.1 구분자 변경을 통한 문제 해결

• 프롬프트 내용의 시각적 구분을 유지하는 방법을 모색함

• — 대신 ===나 *** 등 다른 마크다운 구분자를 사용할 수 있음을 인지함

• Promptfoo의 자동 분리 기능을 비활성화하는 방법을 습득함

• 정의: LLM의 제한된 컨텍스트 창으로 인한 ‘망각’ 문제를 해결하고, 장기적인 대화 연속성을 보장하기 위해 설계된 아키텍처

• 중요성: 복잡한 행동 규칙, 변수 등 핵심 정보의 소실을 방지하고, 세션 재시작 시 작업 상태를 복원하여 장기 상호작용의 일관성 유지

• 세부:

• 단기 기억 (Short-Term Memory) ⭐⭐:

• 구현: 동적 데크(dynamic deque) 자료 구조

• 작동: 최신 대화 내용을 임시 저장하며, 토큰 한계 도달 시 오래된 내용 순차 삭제. 매 요청 시 LLM에 전달되어 현재 맥락 형성.

• 역할: 현재 진행 중인 대화의 흐름 유지 및 즉각적인 상호작용 담당.

• 장기 기억 (Long-Term Memory) ⭐⭐⭐:

• 구현: RAM 상주 딕셔너리 형태, 필요시 디스크 저장으로 영속성 확보.

• 쓰기: <

  심볼_이름

  > 사용 시 해당 맥락 전체를 ‘심볼_이름’으로 저장 (예: Define <

  head_dips

  >).

• 읽기: <심볼_이름> 사용 시 저장된 정보를 단기 기억 맨 앞에 삽입, LLM이 핵심 전제로 인식.

• 역할: 복잡한 행동 정의, 중요 변수, 반복 사용 규칙 등 핵심 정보 보호 및 세션 간 영속성 제공.

핵심 개념 2: 최신 LLM 메모리 활용 패러다임 ⭐⭐⭐

• 개요: AmadeusGPT 이중 메모리 시스템의 기반이 되는 두 가지 주요 LLM 메모리 활용 패러다임과 최적 활용 전략.

• 특징:

• 메모리 증강 생성 (Memory-Augmented Generation, MAG) ⭐⭐⭐:

• 정의: 대화의 내부적, 동적인 맥락(이전 상호작용 기록)을 보존하여 연속성과 개인화를 목표. AmadeusGPT 이중 메모리 시스템과 일치.

• 최적 활용법:

• 복잡한 규칙/상태 저장: 분석 중 생성되는 복잡한 행동 정의(chase, huddle)나 ROI 설정값 등을 <

  심볼_이름

  >으로 장기 기억에 명시적 저장하여 분석 일관성 유지 및 반복 작업 감소.

• 점진적 분석 구축: 간단한 분석 후 결과를 확인하고, 저장된 심볼을 <>로 불러와 더 복잡한 분석을 점진적으로 구축 (예: 이벤트 정의 후 "Plot trajectory during ").

• 검색 증강 생성 (Retrieval-Augmented Generation, RAG) ⭐⭐⭐:

• 정의: LLM이 응답 생성 전, 위키피디아, 내부 문서 등 외부의 정적인 지식 소스를 검색하여 답변의 사실적 정확성과 신뢰도 향상. ‘환각’ 현상 감소에 효과적.

• 최적 활용법 (AmadeusGPT와 결합 시):

• 과학적 근거 확보: “의학 문헌에서 ‘생쥐의 얼어붙는 행동’ 정의 기준은?” 질문으로 RAG가 관련 논문 검색, 답변 제공 후 AmadeusGPT에 정확한 분석 명령.

• 내부 문서/코드 검색: “우리 연구실의 표준 EPM 분석 프로토콜은?” 질문으로 내부 데이터베이스 검색, 분석 방향 설정 및 필요 정보 획득.

• 문제 해결/고객 지원: “L2 고객 지원팀의 자주 발생하는 문제 유형은?” 질문으로 과거 지원 티켓 검색, 문제 해결 우선순위 설정.

연결고리 ⭐⭐⭐

• MAG ↔ RAG: AmadeusGPT의 이중 메모리 시스템(MAG)은 LLM의 내부적인 대화 맥락을 기억하게 하고, RAG는 외부의 검증된 지식을 통합하여 답변의 정확성을 높임.

• 전체 흐름: 하이브리드 워크플로우는 RAG를 통해 분석의 사실적 기반을 다지고, MAG를 통해 얻은 지식을 바탕으로 정교한 분석 규칙을 정의 및 저장하며, 저장된 규칙을 불러와 현재 분석에 적용함으로써 객관적 사실과 대화의 고유 맥락이 결합된 신뢰도 높은 결과물을 생성함.

2025년 5월 “월드 모델” 담론에서 Discrete-JEPA의 위치를 명확히 하고, 물리적/인과적 월드 모델(V-JEPA 2)과 상징적/논리적 월드 모델(Discrete-JEPA)의 차이 파악

📍 학습 내용

1. 월드 모델 담론 이해

1.1 현재 AI 연구 흐름 분석

• “월드 모델” 개념을 중심으로 두 가지 주요 흐름이 존재함을 파악함.

• Meta의 V-JEPA 2가 물리적/인과적 월드 모델.

• Discrete-JEPA 이 상징적/논리적 월드 모델.

2. Discrete-JEPA 포지셔닝 전략

2.1 혼동 방지 및 차별화

• Discrete-JEPA를 V-JEPA 2의 경쟁자가 아닌 상호보완적 접근법으로 프레이밍함.

• V-JEPA 2가 ‘어떻게(how)’ 작동하는지를 학습한다면, Discrete-JEPA는 ‘무엇(what)’이며 그 관계를 학습함을 명시함.

3. 학술적 기여 명확화

3.1 개념적 구분 및 정의

• 서론에서 ‘물리적/인과적 월드 모델’과 ‘상징적/논리적 월드 모델’을 명시적으로 구분하고 정의함.

• 논문의 기여를 명확히 하고, 월드 모델에 대한 정교한 분류 체계를 제시함.

• 학술적 담론을 한 단계 격상시키는 효과를 기대함.

얀 르쿤의 언급을 바탕으로, 4세 아동이 LLM보다 50배 더 많은 시각 정보를 처리한다는 주장을 데이터 대역폭 계산을 통해 분석함. [[Visual_Information_Bandwidth_vs_LLMs - 얀 르쿤의 언급.]]

📍 학습 내용

1. LLM 정보량 분석

1.1 LLM 훈련 데이터 규모

• 최신 LLM은 약 1x10^13개의 2바이트 토큰(약 2x10^13 바이트)으로 훈련됨.

• 이는 약 5x10^12 단어에 해당함.

1.2 텍스트 데이터 처리 시간

• 평균 독서 속도(250wpm)로 12시간/일 독서 시, LLM 훈련 데이터를 모두 읽는 데 약 76,000년이 소요됨.

• 텍스트는 정보 대역폭이 낮음을 시사함.

2. 인간 시각 정보량 분석

2.1 시신경 정보 전달률

• 인간은 두 개의 시신경을 가지며, 각 시신경은 약 10^6개의 신경 섬유를 포함함.

• 각 신경 섬유는 초당 약 10바이트의 정보를 전달함.

2.2 4세 아동의 시각 정보량

• 4세 아동의 총 깨어있는 시간은 약 57.6 x 10^6초로 추정됨.

• 4년간 총 시각 정보량은 약 1.15 x 10^15 바이트로 계산됨.

3. LLM과 인간 시각 정보량 비교

3.1 정보 대역폭 차이

• 4세 아동의 시각 정보량(1.15 x 10^15 바이트)은 LLM 훈련 데이터(2 x 10^13 바이트)보다 약 57.5배 많음.

• 이는 얀 르쿤의 “50배” 언급과 일치함.

3.2 시사점 및 한계

• 언어는 저대역폭, 시각은 고대역폭 정보임을 확인함.

• 차세대 파운데이션 모델은 시각/인지 기반이 되어야 할 필요성을 시사함.

• 계산은 근사치이며, 신경과학적 세부 사항은 고려되지 않음.