메타, 뇌파를 스캔해 음성으로 변환해 주는 AI모델 개발

메타(Meta)가 사람의 뇌파를 스캔해 음성으로 변조해주는 인공지능(AI)을 개발했다.(사진=셔터스톡)
메타(Meta)가 사람의 뇌파를 스캔해 음성으로 변조해주는 인공지능(AI)을 개발했다.(사진=셔터스톡)

텔레파시로 소통할 수 있는 시대가 머지 않았다. 인공지능(AI)으로 사람의 뇌파를 읽어 음성으로 변환해주기 위한 연구가 진전을 보이기 시작했다. 

메타는 지난달 31일(현지시간) 공식 블로그에 인간의 두뇌와 같은 방식으로 말과 글을 학습하고 처리할 수 있는 차세대 AI를 구축하기 위한 장기 프로젝트의 일환으로 뇌 활동을 비침습적으로 녹음해 음성을 해독할 수 있는 AI모델을 개발했다고 밝혔다.

비침습적 기술은 뇌파검사(EEG)나 자기뇌조영술(MEG)를 이용해 뇌 활동을 밀리초 수준의 스냅샷으로 찍어 관찰할 수 있도록 해주는 기술이다.

메타는 169명의 피험자를 대상으로 영어와 네델란드어로 녹음한 오디오북을 150시간 이상 듣도록 하면서 이들의 ECG와 MEG 기록을 녹음했다. 그런 다음 심층 컨볼루션 네트워크(deep convolutional network)로 구성한 두뇌 모델에 입력하는 방식으로 AI를 훈련시켰다.

메타는 비침습적 뇌 신호에서 음성을 해독하기 위해 대조학습으로 AI모델을 훈련, 뇌 활동을 정렬했다. (사진=메타)
메타는 비침습적 뇌 신호에서 음성을 해독하기 위해 대조학습으로 AI모델을 훈련, 뇌 활동을 정렬했다. (사진=메타)

이후 대조학습(contrastive learning)으로 훈련한 딥러닝 모델을 이용해 녹음한 ECG 와 MEG 기록과 음성 사운드를 정렬했다. 대조학습은 '긍정적' 또는 '부정적' 샘플을 사용해 딥러닝 모델을 안내하는 자기지도학습(Self-Supervised Learning)이다.

이렇게 정렬한 데이터와 피험자에게 들려준 음성 표현을 맞춰보는 방식으로 적절한 표현을 찾아냈다. 이를 위해서는 av2vec 2.0라는 AI를 사용했다. 뇌의 표현과 일치하는 음성 표현을 생성해주는 AI모델이다.

wav2vec 2.0을 활성화하면 동일한 음성 소리에 대한 응답으로 뇌에 매핑한다.(사진=메타)
wav2vec 2.0을 활성화하면 동일한 음성 소리에 대한 응답으로 뇌에 매핑한다.(사진=메타)

그 결과 데이터에 잡음이 있고 다른 형태로 변할 수 있었음에도 AI가 뇌 활동 기록에서 인지한 음성을 성공적으로 디코딩할 수 있었다. 

메타는 이번 연구에서 음성 인식을 해독하는 데 중점을 뒀다. 이를 시작으로 소통에 어려움을 겪는 장애인도 음성으로 소통할 수 있도록 뇌파를 음성으로 변환해 생성하는 연구로 확장해 나갈 계획이다. 이는 향후 생각하는 것만으로 컴퓨터를 제어할 수 있는 기술로도 이어질 가능성이 커 보인다.

AI타임스 박찬 위원 cpark@aitimes.com

[관련기사]생각을 사진으로 바꿔주는 꿈의 AI 나왔다

[관련기사]인간 수준의 지능을 가진 AI는 언제쯤 실현될 수 있을까?

키워드 관련기사
  • 초거대 AI 모델, 이젠 의료영상에도 적용한다
  • AI와 의사가 치매 진단했더니 같은 결과 나와
  • [위드AI] ⑬ 인공지능이 미래 의료 바꿀까