📄 Visual_Information_Bandwidth_vs_LLMs

20 Jul 2025 in Til on Til

✨ 요약

얀 르쿤의 언급을 바탕으로, 4세 아동이 LLM보다 50배 더 많은 시각 정보를 처리한다는 주장을 데이터 대역폭 계산을 통해 분석함. [[Visual_Information_Bandwidth_vs_LLMs - 얀 르쿤의 언급.]]

📍 학습 내용

1. LLM 정보량 분석

1.1 LLM 훈련 데이터 규모

• 최신 LLM은 약 1x10^13개의 2바이트 토큰(약 2x10^13 바이트)으로 훈련됨.

• 이는 약 5x10^12 단어에 해당함.

1.2 텍스트 데이터 처리 시간

• 평균 독서 속도(250wpm)로 12시간/일 독서 시, LLM 훈련 데이터를 모두 읽는 데 약 76,000년이 소요됨.

• 텍스트는 정보 대역폭이 낮음을 시사함.

2. 인간 시각 정보량 분석

2.1 시신경 정보 전달률

• 인간은 두 개의 시신경을 가지며, 각 시신경은 약 10^6개의 신경 섬유를 포함함.

• 각 신경 섬유는 초당 약 10바이트의 정보를 전달함.

2.2 4세 아동의 시각 정보량

• 4세 아동의 총 깨어있는 시간은 약 57.6 x 10^6초로 추정됨.

• 4년간 총 시각 정보량은 약 1.15 x 10^15 바이트로 계산됨.

3. LLM과 인간 시각 정보량 비교

3.1 정보 대역폭 차이

• 4세 아동의 시각 정보량(1.15 x 10^15 바이트)은 LLM 훈련 데이터(2 x 10^13 바이트)보다 약 57.5배 많음.

• 이는 얀 르쿤의 “50배” 언급과 일치함.

3.2 시사점 및 한계

• 언어는 저대역폭, 시각은 고대역폭 정보임을 확인함.

• 차세대 파운데이션 모델은 시각/인지 기반이 되어야 할 필요성을 시사함.

• 계산은 근사치이며, 신경과학적 세부 사항은 고려되지 않음.