세계 최대 AI 학술대회 ICML 18일~24일 개최...약 5천 편 논문 심사
올해 38번째...비대면으로 진행
구글, 전체 논문 중 101개 제출해 1위 등극...딥마인드·MS·페이스북 뒤이어

(사진=셔터스톡).
(사진=셔터스톡).

올해로 38회째를 맞는 세계 최대 규모의 AI 학술대회 ICML(International Conference on Machine Learning)이 트위터를 통해 우수 논문 5가지를 발표했다. ICML2021 측은 대회가 열리던 지난 18일부터 24일(현지시간)까지 약 5000건의 AI·머신러닝 논문을 심사했다. 전 세계 학계, 산업 연구자, 기업가, 엔지니어, 대학원생, 박사 후 과정을 밟고 있는 이들이면 누구나 논문을 제출할 수 있다.

코로나19 여파로 비대면으로 진행된 이번 대회 접수율은 21.8%로 전년도인 22.6%에 비해 조금 낮은 수치. 다양한 기업·대학 가운데 구글이 101개의 논문을 제출하며 전체 연구논문 순위에서 1위를 차지했고, 딥마인드·마이크로소프트·페이스북·스포티파이가 그 뒤를 이었다.

다음은 ICML2021이 19일 트위터를 통해 발표한 우수 논문 5가지 리스트다.

최우수 논문(Outstanding Paper)

영구적 진화전략을 사용하는 산출그래프에서의 비편향 기울기 추정(Unbiased Gradient Estimation In Unrolled Computation Graphs With Persistent Evolution)

구글 브레인 연구진과 토론토 대학이 공동으로 발표한 이 논문은 PES(Persistent Evolution Strategies)라고 불리는 제어되지 않은 산출 그래프 방식을 도입한 내용을 담고 있다. 연구진은 PES가 RNN과 유사한 작업이나 하이퍼파라미터 최적화, 강화학습, 최적 메타 훈련에 적용할 가능성을 실험으로 입증했다.

주목할 만한 우수 논문(Outstanding Paper Honorable Mention)

기울기를 잡다: 이산 분포에서 확장 가능한 샘플링 연구(Oops I took a gradient: Scalable sampling for discrete distributions)

역시나 이 논문도 구글 브레인이 작성한 것이다. 구글 연구진은 논문에서 이산형 변수를 가진 확률론적 모델에 대해 일반적이고 확장 가능한 대략적인 표본 추출 전략을 제안한다. 이들은 고차원 이산형 데이터에 대한 심층 에너지 기반 모델(EBM)을 교육하기 위해 개선된 샘플러 사용을 시연했다. 또 이러한 접근 방식이 다양한 자동 인코더와 기존 EBM을 능가할 수 있다고 입증했다.

주목할 만한 우수 논문(Outstanding Paper Honorable Mention)

분산형 훈련에서 최적의 복잡성(Optimal Complexity in Decentralized Training)

코넬대 연구진이 발표한 이 논문은 머신러닝을 확장하는 유망한 시스템으로 ‘분산화(decentralization)’을 꼽고 있다. 연구진은 이를 수행하는 알고리즘으로 DeTAG를 제안했다. 이들은 실험을 통해 DeTAG를 다른 분산 알고리즘과 비교하면서 DeTAG가 변경되지 않은 데이터와 스파스 네트워크에서 기준선보다 빠르게 융합한다는 결과를 발견했다.

주목할 만한 우수 논문(Outstanding Paper Honorable Mention)

대조군 제외 자기지도학습 역학 이해(Understanding self-supervised learning dynamics without contrastive pairs)

이 논문은 페이스북AI 연구진이 발표했다. 연구진은 자기지도학습이 훈련하는 방법과 예측 네트워크, 기울기, 무게 감소와 같은 여러 요인이 어떻게 작용하는지에 대한 기본 개념을 다양한 사례와 실험결과를 덧붙여 설명했다는 평가를 받았다. 또 대규모 이미지 데이터셋(ImageNet)에서 추출한 데이터로 실험한 사실도 언급하며 관련 소스코드를 깃허브에 공개했다.

주목할 만한 우수 논문(Outstanding Paper Honorable Mention)

텐서 훈련 형식을 사용한 고차원 포물선 PDE 해결에 관한 연구(Solving high-dimensional parabolic PDEs using the tensor train format)

독일 브란덴부르크 공대 세 명의 박사가 쓴 이 논문은 미분 방정식과 텐서 형식의 회귀형 방법을 조합한 훈련 구조 방식을 설명하고 있다. 연구진은 이 계산법이 SOTA 모델의 신경망을 구현할 때 효율적이고 정확하다고 밝혔다.

AI타임스 박혜섭 기자 phs@aitimes.com

 

[관련기사] "AI논문에는 윤리가 포함되지 않았다"...NeurlPSㆍICML 상위 100개 논문 분석 결과

[관련기사] AI 전문가에게 물어봤다…“세계 최고 AI 산실은 어디?”

키워드 관련기사
  • 구글, 음성번역 기술 ‘트랜스레이토트론2’ 새 버전 공개...딥페이크 차단 구조 보완
  • 만 19세 청년, 가상현실로 AI 데이터 확보 문제 해결 방안 마련...김이삭 'K-Digital Training 해커톤' 대통령상 수상자 인터뷰
  • [스페셜리포트]③ 클라우드와 인공지능