신경 연결은 어떻게 마음이 되는가?

개요

인간 뇌의 신비를 풀려면 전통적 신경과학을 넘어서는 과감한 도약이 필요하다. 대규모 언어 모델(LLM)의 성공에서 영감을 얻은 Neuro-X 프로젝트는 뇌의 구조·활동·행동을 담은 대규모 멀티모달 데이터셋으로 사전학습한 통합 AI 시스템, 곧 대규모 뇌 모델(Large Brain Model, LBM)의 개발을 목표로 삼는다.

아폴로 프로젝트에 견줄 만한 과학적 도전으로서, Neuro-X는 뇌 고유의 자기조직화 원리에 기대어 정신 과정을 예측하고 해석하며, 궁극적으로 마음의 신경 구문(neural syntax)을 해독하고자 한다.

인사이드아웃 프레임워크와 시간적 구문

Neuro-X는 죄르지 부자키(György Buzsáki)의 “인사이드아웃(inside-out)” 신경과학 프레임워크를 따른다. 뇌는 내적 행동 계획을 끊임없이 만들어 내고 그 결과에서 배우는 예측 기계라는 관점이다.

LBM은 시공간 뇌 트랜스포머(Spatiotemporal Brain Transformer)와 상태공간 모델(State-Space Model, 예: Mamba)로 위계적 공간 영역에 걸친 신경 리듬과 자기조직화 궤적을 포착하고, 영역 간 소통을 떠받치는 시간적 구문을 읽어 낸다.

핵심 프런티어

1. 동적 기능 커넥토믹스: 정적 상관 행렬을 넘어, 순간적인 인지 상태, 정서적 전환, 미세한 신경병리학적 변화를 포착하는 시변(time-varying) 어텐션 패턴을 학습한다.
2. 멀티모달 뇌 트랜스포머: 기능적 MRI(높은 공간 해상도), EEG(높은 시간 해상도), 확산 MRI(신경섬유 추적 기반 구조적 골격), 다유전자 점수를 하나의 결합 잠재 공간으로 융합한다.
3. 해독 가능한 표상: 제로샷·퓨샷 과제 적응으로 인지 상태 디코딩, 정신의학적 위험 계층화, 생성적 신경 시뮬레이션까지 나아간다.

4D 뇌 신호를 위한 새로운 아키텍처

생물학적 신경 신호는 고유한 공간적 대칭성과 연속적인 시간 흐름, 비유클리드 기하 구조를 지닌다. 컴퓨터 비전이나 NLP에서 쓰이는 기존 아키텍처를 그대로 가져다 쓰기 어려운 이유다. Connectome Lab은 신경과학의 제1원리에서 출발해 이러한 신호에 맞는 딥러닝 아키텍처를 새로 설계한다.

1. NeuroMamba: fMRI를 위한 상태공간 파운데이션 모델

• 저자: 최주빈 외 (NeurIPS 2025 Foundation Models for Brain and Body - Spotlight)
• 핵심 혁신: 선택적 상태공간 모델(Mamba)을 도입해, 길고 연속적인 4D fMRI 스캔을 처리할 때 트랜스포머가 부딪히는 이차(quadratic) 계산 복잡도의 한계를 넘어섰다. 수만 개의 뇌 복셀과 수천 개의 시간 프레임에 걸친 문맥을 선형 시간으로 모델링한다.

2. DIVER-0: 완전 채널 등변 EEG 파운데이션 모델

• 저자: 한동엽, 이아현, 이태양, 이세빈 외 (ICML 2025 GenBio - Spotlight)
• 핵심 혁신: 어떤 채널 배치에서도 공간 등변성(spatial equivariance)이 엄밀하게 성립하도록 설계해, 임상용과 연구용 EEG 데이터셋 사이의 고질적인 전극 몽타주 불일치를 해소했다.

3. 시공간 다중 대역 동역학

• 저자: 배상윤 외 (arXiv:2503.23394)
• 핵심 혁신: fMRI의 저주파 혈류역학적 변동 속에 얽혀 있는 정준(canonical) 신경 진동 대역들을 분리해 내는 주파수 특이적 다중 대역 어텐션 메커니즘을 제안했다.

유전자-뇌-행동의 복잡한 동역학 규명

주요우울장애, 불안, 신경발달장애 같은 정신질환은 발달 과정 전반에서 다유전자 위험 구조와 환경적 스트레스가 복잡하게 얽히며 생겨난다.

주요 연구 성과

1. 아동기의 다유전자 구조 (Nature Communications, 2025):
   • 이은지·김보겸 학생과 차지욱 교수 등은 ABCD 연구의 수천 명 아동을 대상으로, 전장유전체에 분포된 다유전자 위험 점수(PRS)가 거시 수준의 대뇌피질 형태, 기능적 커넥톰 재구성, 행동 표현형으로 어떻게 발현되는지를 밝혔다.
2. 다세대 다유전자 매개 효과 (Molecular Psychiatry, 2025):
   • 부모와 조상 세대의 정신질환 병력이 특정 다유전자 위험 프로파일과 백질 미세구조의 변화를 거쳐 자녀에게 신경생물학적 취약성으로 이어지는 기제를 규명했다.
3. 청소년 우울증 예측을 위한 백질 기반 딥러닝 (Communications Medicine, 2026):
   • 민정윤 졸업생과 주윤정 교수, 차지욱 교수 등은 백질 미세구조 지표와 전장유전체 PRS를 결합한 확산 MRI 기반 딥러닝으로 청소년 우울증 예측 성능을 끌어올렸다.

왜 양자인가, 그리고 무엇이 실제로 발목을 잡는가

양자 머신러닝은 대개 점근적 이득으로 이야기된다. 그러나 현장에서 부딪히는 벽은 더 산문적이다. 지금의 하드웨어에서 변분 양자 회로는 노이즈가 많고, 작고, 학습이 어렵다. 회로가 넓어질수록 기울기가 평평해지는 배런 플래토(barren plateau)가 나타나고, 소자 노이즈는 모든 기댓값에 편향을 얹으며, 매개변수 이동(parameter-shift) 규칙 탓에 하드웨어 위에서의 학습 비용은 파라미터를 더할 때마다 함께 불어난다.

연구실의 작업은 상당 부분 브룩헤이븐 국립연구소(BNL)와 함께 바로 그 벽에서 이뤄진다. 갈래는 셋이다. 회로를 규모에서 학습 가능하게 만들 것, 실제 뇌 신호에 맞을 것, 그리고 실제 장치에서 돌아갈 것.

1. 규모에서 학습 가능하게 — 멀티칩 앙상블

• 저자: 박정훈, 차지욱, Samuel Yen-Chi Chen, Huan-Hsin Tseng, Shinjae Yoo — arXiv:2505.08782
• 착상: 고차원 연산을 더 작고 독립적으로 동작하는 여러 양자 칩의 앙상블로 분할하고, 얽힘은 통제된 칩 간 경계에서만 허용한다.
• 결과: 배런 플래토를 완화하고 일반화 성능을 높이면서, 드물게도 양자 오차의 편향과 분산을 동시에 줄인다. 별도의 오차 완화 단계 없이 그렇다. MNIST, FashionMNIST, CIFAR-10과 실제 PhysioNet EEG 데이터셋에서 검증했다.
• 같은 앙상블 착상은 강화학습으로도 이어진다. It’s-A-Me, Quantum Mario (IEEE QAI 2025)가 그것이고, 그 앞에는 변분 양자 회로를 Rainbow DQN 에이전트와 결합한 뒤 블랙박스로 남겨 두지 않고 설명까지 시도한 Over the Quantum Rainbow (IEEE QCE 2024)가 있다.

2. 실제 뇌 신호에 맞추기

• 양자 시계열 트랜스포머(Quantum Time-series Transformer) — 박정훈, 서정우, 배상윤, Samuel Yen-Chi Chen, Huan-Hsin Tseng, 차지욱, Shinjae Yoo (IEEE QCE 2025). 고전적 셀프어텐션은 이차 시간과 큰 파라미터 예산을 요구하는데, 뉴로이미징 코호트가 늘 그만큼을 먹여 줄 수 있는 것은 아니다. 유니터리 선형결합(LCU)과 양자 특이값 변환(QSVT)으로 어텐션을 구성하면 복잡도가 폴리로그 수준으로 내려가고, 파라미터와 표본이 적을 때도 성능이 버틴다. ABCD와 UK Biobank의 휴지기 fMRI에서 평가했다.
• Q-DIVER — 박정훈, YeongHyeon Park, 차지욱 (IEEE QCNC 2026). 연구실이 사전학습한 DIVER-1 EEG 인코더 위에 미분 가능한 양자 분류기를 얹고, 회로 구조를 손으로 고정하는 대신 미분 가능한 양자 아키텍처 탐색(DQAS)이 엔드투엔드 미세조정 도중에 찾아내게 했다. PhysioNet 운동 심상 과제에서 고전 MLP 헤드와 같은 성능(테스트 F1 63.49%)을 과제 특화 파라미터 약 50분의 1 (2.10M 대 105.02M)로 달성했다. 휴대용 BCI가 실제로 감당할 만한 예산이다.
• HQTCN — 박정훈, 박마리아, 이세빈, Samuel Yen-Chi Chen, Shinjae Yoo, Huan-Hsin Tseng, 차지욱 (IEEE QCNC 2026). 하이브리드 양자 시간 합성곱 신경망이다. 확장(dilated) 시간 윈도를 공유 양자 회로로 표집해, 하나의 회로가 여러 시간 척도를 읽으면서도 파라미터 수가 시퀀스 길이를 따라 늘지 않게 했다.

3. 실제 장치에서 돌리기

• Image Classification on IBM Quantum Computers — 박정훈, 차지욱, Jun-gyeong Park, Hwidong Yoo, Kwangmin Yu — arXiv:2607.17705. 10클래스 MNIST를 127큐비트 IBM Eagle 프로세서에서 학습부터 추론까지 엔드투엔드로 수행했다. 인코더와 판독부의 기울기 기반 고전 최적화를 양자 파라미터의 기울기 없는 최적화와 분리하는 2단계 프로토콜로, 하드웨어 위 학습을 비현실적으로 만들던 매개변수 이동 비용을 걷어냈다. 또한 학습이 끝난 양자 분류기에 양자 다중 프로그래밍(Quantum Multi-Programming)을 적용한 첫 사례다. 회로 사본 여러 개를 한 장치에 실어 평균 정확도 손실 없이 병렬 추론을 얻는다.
• QPATE (ICASSP 2024) — William H. Watkins, 왕희환, 배상윤과 함께. 교사 앙상블의 사적 집계를 통해 차등 프라이버시 보장을 양자 분류기로 가져왔다.

이 갈래가 향하는 곳

확장 압력이 실제로 존재하는 곳이 뇌 데이터다. 4D fMRI 스캔이나 긴 EEG 몽타주는 고전적 어텐션이 비싸지고 양자 인코딩이 흥미로워지기 시작하는, 바로 그 고차원·장시퀀스 영역이다.

위의 어느 결과도 오늘의 뇌 데이터에서 양자 우위(quantum advantage)를 주장하지 않는다. 주장은 더 좁고 더 쓸모 있다. 학습이 되고, 신호에 맞고, 실제로 도는 회로.

이 갈래에서 학부 연구 인턴을 상시 모집한다. 양자역학 사전 지식은 필요하지 않다.

정서의 어려운 쪽 끝

정서 신경과학의 상당 부분은 실험 통제를 위해 고른 자극 위에서 돌아간다. 정지 이미지, 맥락에서 떼어 낸 얼굴, 정서가 척도 위의 형용사 하나. 그런데 사람들이 실제로 중요하게 여기는 감정은 그런 모습으로 오지 않는다. 경외, 어떤 음악에 마음이 움직이는 순간, 다시 떠올릴 때 기억에 입혀지는 특유의 색조 — 이것들은 뒤섞여 있고, 시간에 걸쳐 펼쳐지며, 맥락에 묶여 있다.

이 축은 정서를 그 어려운 쪽 끝에서 다룬다. 방법은 셋이다. 하나의 척도로 눌러지지 않는 감정을 측정하는 것, 그 감정을 불러오는 매체 자체를 모형화하는 것, 그리고 때로는 그 장치 전체를 관객이 있는 방에 놓아 보는 것.

1. 경외는 양가적이다

• 저자: 이진우, 한동엽, Seung-Yeop Oh, 차지욱 — Communications Psychology (2025)
• 경외는 보통 긍정 정서로 분류된다. 그러나 이 연구는 행동과 피질 반응 양쪽에서 경외가 양가적(ambivalent) 정서로 기술되는 편이 낫다는 것을 보였다. 정서가 축의 한쪽 끝에 놓이는 대신, 긍정과 부정을 동시에 지닌다는 뜻이다.
• 이 결과는 경외 하나에 그치지 않는다. 표준적인 1차원 정서가 모형이 흘려버리는 정보를 뇌는 분명히 붙들고 있다는, 구체적인 사례이기 때문이다.

2. 기억에 남은 감정을 되살리기

• Revisiting Your Memory: Reconstruction of Affect-Contextualized Memory via EEG-guided Audiovisual Generation — 권준우, 왕희환, 이진우, 김수영, Shinjae Yoo, Yuewei Lin, 차지욱 (ACM Multimedia 워크숍, 2025).
• 기록된 EEG가 생성형 오디오·비주얼 시스템을 조종해, 회상된 사건을 그 회상이 실제로 지니고 있던 정서적 색조와 함께 다시 그려 낸다. 기억의 내용이 아니라 기억의 감정 결을 복원하는 셈이다.

3. 미적 스타일을 모형화하기

• AesFA: An Aesthetic Feature-Aware Arbitrary Neural Style Transfer — 권준우, Soo Young Kim, Yuewei Lin, Shinjae Yoo, 차지욱 (AAAI 2024). 무거운 사전학습 인코더에 기대는 대신, 주파수 단위로 미적 특징을 분리하는 스타일 전이 모형이다.
• Repurposing Image Diffusion Models for Training-Free Music Style Transfer on Mel-Spectrograms — 왕희환, 권준우, 김수영, 서정우, Shinjae Yoo, Yuewei Lin, 차지욱 (IEEE ICIP 2026). 이미지 확산 모델을 멜 스펙트로그램에 겨누는 것만으로, 추가 학습 없이 음악 스타일을 옮긴다.
• 이것들은 곁가지가 아니다. 스타일의 생성 모형은 곧 ‘자극이 듣는 이와 보는 이에게 무엇을 하는가’에 대한 작업가설이고, 정서 실험이 조작해야 하는 것이 정확히 그것이다.

4. 자연주의적 자극이라는 무대

영화와 음악, 가상현실은 이 축이 생태학적 타당도를 얻는 방식이다. 고각성 영화 장면에 대한 기대를 다룬 연구(Social Cognitive and Affective Neuroscience, 2014)가 그 접근의 출발점이었고, 지금은 계산정신의학 축과 공유하는 불안·공황장애 VR 프로토콜로 이어지고 있다.

그리고 때로는, 전시장

“예술의 과학을 공부하라. 과학의 예술을 공부하라. 감각을 계발하라 — 특히 보는 법을 배우라. 모든 것이 서로 연결되어 있음을 깨달으라.” — 레오나르도 다빈치

2025년 말, 문석진, 왕희환, 오경진은 이 장치를 연구실 밖으로 꺼내 옵/신 포커스(OB/Scene Focus)의 인터랙티브 전시 *「커넥톰: 기억의 재구성」*으로 선보였다. 무선 고밀도 EEG(Enobio)와 실시간 디코딩이 관객의 정서 상태를 그 자리에서 생성형 사운드스케이프와 시각 프로젝션으로 바꿔 놓았다.

전시는 이 연구의 정의가 아니라 결과물이다. 다만 꽤 좋은 시험대이기도 하다. 관객과의 접촉을 견디지 못하는 감정 모형이라면, 아마 모형화하고 있는 것이 별로 없을 테니까.