2025.09.06 (토)

  • 구름많음동두천 29.3℃
  • 맑음강릉 33.1℃
  • 구름많음서울 29.7℃
  • 구름조금대전 30.6℃
  • 구름조금대구 30.8℃
  • 맑음울산 31.3℃
  • 구름조금광주 30.5℃
  • 맑음부산 31.2℃
  • 맑음고창 31.0℃
  • 맑음제주 31.5℃
  • 구름많음강화 28.8℃
  • 구름조금보은 27.9℃
  • 맑음금산 29.4℃
  • 구름조금강진군 30.8℃
  • 맑음경주시 31.7℃
  • 구름조금거제 30.6℃
기상청 제공
검색창 열기

IT·통신

KAIST, 뉴로모픽 컴퓨팅 기반의 초저전력 거대 언어 모델 인공지능반도체 핵심기술 ‘상보형-트랜스포머’ 개발

- 삼성 28나노공정 활용, GPT-2 거대 언어 모델을 400mW전력 소모로 성공적 구동
- GPU(엔비디아 A100) 대비 소모전력은 625배, 칩 면적 41배 작은 인공지능 반도체 핵심기술 개발
- 온디바이스AI의 핵심인 초저전력·고성능 인공지능반도체를 뉴로모픽 컴퓨팅으로 구현

과학기술정보통신부(장관 이종호, 이하 ‘과기정통부’)는 KAIST(총장 이광형) PIM반도체 연구센터와 인공지능반도체 대학원 유회준 교수 연구팀이 400밀리와트 초저전력을 소모하면서 0.4초 초고속으로 거대 언어 모델을 처리할 수 있는 인공지능 반도체인 ‘상보형-트랜스포머* (Complementary-Transformer)’를 삼성 28나노 공정을 통해 세계 최초로 개발했다고 밝혔다.

   * 상보형 트랜스포머 : 스파이킹 뉴럴 네트워크(SNN)과 심층 인공신경망(DNN)을 선택적으로 사용하여 트랜스포머 기능을 구현

 

연구팀은 그동안 다량의 GPU와 250와트의 전력소모를 통해 구동되는 GPT 등 거대 언어 모델(Large Language Model, LLM)을 4.5mm x 4.5mm의 작은 한 개의 AI 반도체 칩 상에서 초저전력으로 구현하는 것에 성공하였다. 특히 인간 뇌의 동작을 모사하는 뉴로모픽 컴퓨팅*(Neuromorphic Computing) 기술, 즉 스파이킹 뉴럴 네트워크**(Spiking Neutral Network, SNN)을 활용하여 트랜스포머 동작을 구현한 것이 특징이다. 김상엽 박사가 제 1저자로 참여한 이번 연구는 지난 2월 19일부터 23일까지 미 샌프란시스코에서 개최된 국제고체회로설계학회(ISSCC)***에서 발표 및 시연되었다.(논문번호 20.5, 논문명: C-Transformer: A 2.6-18.1μJ/Token Homogeneous DNN-Transformer Spiking-Transformer Processor with Big-Little Network and Implicit Weight Generation for Large Language Models (저자: 김상엽, 김상진, 조우영, 김소연, 홍성연, 유회준))

 

   * 뉴로모픽 컴퓨팅 : 인간 뇌의 구조와 기능을 모방하여 설계된 컴퓨팅 시스템으로써, 뇌의 신경 세포(뉴런)와 그 연결(시냅스)을 모방한 회로를 사용해 전통적인 컴퓨팅 시스템보다 훨씬 더 에너지 효율적으로 데이터를 처리할 수 있음

  ** 스파이킹 뉴럴 네트워크(SNN) : 뉴로모픽 컴퓨팅의 한 형태로, 뇌의 뉴런이 스파이크라는 시간에 따른 신호를 사용해 정보를 처리하는 방식. 생물학적 뇌의 작동 방식에 가까워 에너지 효율이 높고, 실시간 처리와 복잡한 시계열 데이터 분석에 적합

 *** ISSCC : ‘반도체 설계 올림픽’으로 불리며 반도체 집적회로 관련 학회 중 세계적으로 가장 큰 규모와 높은 권위를 자랑하는 학회(1954년 첫 개최, 올해 70주년). 매년 30여개국에서 3000명 이상의 연구자가 참여하며, 삼성·SK하이닉스·엔비디아, TSMC 등은 신기술 발표의 장으로 활용

 

기존 뉴로모픽 컴퓨팅 기술은 합성곱신경망*(Convolutional Neural Network, CNN)에 비해 부정확하며 주로 간단한 이미지 분류 작업만 가능하였다. 연구팀은 뉴로모픽 컴퓨팅 기술의 정확도를 CNN과 동일 수준으로 끌어올리고, 단순 이미지 분류를 넘어 다양한 응용 분야에 적용할 수 있는 상보형-심층신경망(C-DNN, Complementary-DNN)을 제안하였다.

   * 합성곱신경망(CNN) : 심층인공신경망의 하나로, 이미지 인식, 비디오 분석, 이미지 분류와 같은 시각적 데이터 처리에 사용되는 딥러닝 모델로써, 여러 인공 신경망 계층을 통해 이미지의 특징을 추출하고, 이를 분류하거나 인식하는 데 사용함.

 

 상보형 심층신경망 기술은 작년 2023년 2월에 개최된 국제고체회로설계학회(ISSCC)에서 이번 연구의 제1저자인 김상엽 박사가 발표한 것으로 심층 인공 신경망(Deep Neural Network, DNN)*과 스파이킹 뉴럴 네트워크(SNN)를 혼합하여 사용하며 입력 데이터들을 크기에 따라 서로 다른 신경망에 할당해 전력을 최소화할 수 있는 기술이다. 사람의 뇌가 생각할 것이 많을 때 에너지 소모가 많고 생각할 것이 적을 때 에너지 소모가 적은 것과 마찬가지로, 뇌를 모방한 스파이킹 뉴럴 네트워크(SNN)는 입력값의 크기가 클 때는 전력을 많이 소모하고 입력값의 크기가 작을 때에는 전력을 적게 소모한다. 작년 연구에서는 이러한 특징을 활용해 작은 입력값들만을 스파이킹 뉴럴 네트워크(SNN)에 할당하고 큰 값들은 심층 인공 신경망(DNN)에 할당해 전력 소모를 최소화 하였다. 이번 연구는 작년의 상보형-심층신경망 기술을 거대 언어 모델에 적용함으로써 초저전력·고성능의 온디바이스 AI가 가능하다는 것을 실제로 입증한 것이며, 그동안 이론적인 연구에만 머물렀던 연구내용을 세계 최초로 인공지능반도체 형태로 구현한 것에 의의가 있다.

   * 심층인공신경망(DNN) : 여러 신경망 층으로 구성되어 복잡한 패턴을 인식하고 학습할 수 있는 AI모델로, 추상적인 특성을 계층적으로 학습하는 딥러닝에 사용됨

 

특히, 연구팀은 뉴로모픽 컴퓨팅의 실용적인 확장 가능성에 중점을 두고 문장 생성, 번역, 요약 등과 같은 고도의 언어 처리 작업을 성공적으로 수행할 수 있는지를 연구하였으며, 그 과정에서 가장 큰 관건은 뉴로모픽 네트워크에서 높은 정확도를 달성하는 것이었다. 일반적으로 뉴로모픽 시스템은 에너지 효율은 높지만 학습 알고리즘의 한계로 인해 복잡한 작업을 수행할 때 정확도가 떨어지는 경향이 있었으며, 거대 언어 모델과 같이 높은 정밀도와 성능이 요구되는 작업에서 큰 장애 요소로 작용했다. 이러한 문제를 해결하기 위해 연구팀은 독창적인 DNN-to-SNN 등가변환기법을 개발하여 적용하였다. 이는 기존의 심층 인공 신경망(DNN) 구조를 스파이킹 뉴럴 네트워크(SNN)로 변환하는 방법의 정확도를 더욱 끌어올리기 위해 스파이크의 발생 문턱값을 정밀 제어하는 방법이다. 이를 통해 연구팀은 스파이킹 뉴럴 네트워크(SNN)의 에너지 효율성을 유지하면서도 심층 인공 신경망(DNN) 수준의 정확도를 달성할 수 있었다고 밝혔다.

 

이번 연구를 통해 개발한 인공지능반도체용 하드웨어 유닛은 기존 거대 언어 모델 반도체 및 뉴로모픽 컴퓨팅 반도체에 비해 4가지의 특징을 지닌다. 1) 심층 인공 신경망(DNN)과 스파이킹 뉴럴 네트워크(SNN)를 상호 보완하는 방식으로 융합한 독특한 신경망 아키텍처를 사용함으로써 정확도를 유지하면서도 연산 에너지 소모량을 최적화하였으며, 2) 심층 인공 신경망(DNN)과 스파이킹 뉴럴 네트워크(SNN)를 상보적(Complementary)으로 활용하여 모두 효율적으로 신경망 연산을 처리할 수 있는 인공지능반도체용 통합 코어 구조를 개발하였다. 또한, 3) 스파이킹 뉴럴 네트워크 처리에 소모되는 전력을 줄이기 위해 출력 스파이크 추측 유닛*을 개발하였으며, 4) 거대 언어 모델의 파라미터를 효과적으로 압축하기 위해 빅-리틀 네트워크(Big-Little Network) 구조와 암시적 가중치 생성기법, 그리고 부호압축까지 총 3가지 기법을 사용하였다. 이를 통해 GPT-2 거대(Large)** 모델의 708M개에 달하는 파라미터를 191M개로 줄였으며, 번역을 위해 사용되는 T5 (Text–to-Text Transfer Transformer)모델의 402M개에 달하는 파라미터 역시 동일한 방식을 통해 76M개로 줄일 수 있었다. 이러한 압축을 통해 연구진은 언어 모델의 파라미터를 외부 메모리로부터 불러오는 작업에 소모되는 전력을 약 70% 감소시키는 것에 성공하였다. 그 결과, 상보형-트랜스포머는 전력 소모를 GPU(NVIDIA A100) 대비 625배만큼 줄이면서도 GPT-2 모델을 활용한 언어 생성에는 0.4초의 고속 동작이 가능하며, T5 모델을 활용한 언어 번역에는 0.2초의 고속 동작이 가능하다.

 

   * 출력 스파이크 추측 유닛 : 스파이킹 뉴럴 네트워크의 각 뉴런이 발생시키는 출력 스파이크 패턴을 기반으로 이후에 발생할 스파이크 패턴을 예측하는 유닛으로, 예측을 통해 스파이크 출력을 위한 뉴런의 연산들이 생략되어 전력을 감소시킴.

  ** GPT-2 거대(Large) 모델 : 엣지 디바이스에서 언어 생성을 위해 널리 사용되는 GPT-2 모델로 708M개의 파라미터를 가지며 서버에서 주로 사용되는 1.5B의 파라미터의 GPT-2 초거대(XLarge) 모델의 절반 수준

 

3단계 압축법

내용

① 빅-리틀 네트워크

크기가 큰 신경망과 작은 신경망을 상보적으로 융합하여 쓰는 방식으로, 주로 소규모의 신경망을 이용하고 정확도 하락이 심할 경우 대규모 신경망을 사용하여 높은 정확도 및 에너지 효율을 동시에 확보 가능

② 암시적 가중치 생성

파라미터를 인공지능신경망을 통해 미리 압축 후 온칩으로 전송하여 외부 메모리 활용을 감축

③ 부호 압축

2단계에서 온칩으로 전달되는 데이터 중 불필요한 부호 확장 비트를 1비트로 압축하여 전달

 

 또한, 파라미터 압축에 따른 정확도 하락을 방지하기 위해 경량화 정도에 따른 정확도 하락률을 반복 측정하여 최적화하였다. 이에 언어 생성의 경우 1.2 분기계수(perplexity)*만큼 정확도가 감소하였으나, 이는 생성된 문장을 사람이 읽기에 어색함을 느끼지 않을 수준이다. 이러한 특징을 바탕으로 연구팀은 이번 연구 성과는 모바일 장치 등 에너지 제약이 높은 환경에서도 정확하게 거대 언어모델을 구동할 수 있어 온디바이스AI 구현을 위한 최적의 기술이라고 밝혔다.

   * 분기계수(Perplexity) : 언어모델의 생성 성능을 판단하기 위한 지표 중 하나로, 낮을수록 언어 모델이 잘 학습되었음을 의미

 

 본 연구는 거대모델의 파라메타 수를 줄이는 데에만 집중된 최근 연구 트렌드와 달리 파라미터 수 감소에 더해 초저전력 처리가 가능한 뉴로모픽 컴퓨팅을 거대언어 모델 처리에 적용하여 에너지 효율을 극대화하였다는 점이 획기적이다. 연구팀은 향후 뉴로모픽 컴퓨팅을 언어 모델에 국한하지 않고 다양한 응용 분야로 연구범위를 확장할 것이며, 상용화에 관련된 문제점들도 파악하여 개선할 예정이라고 밝혔다. KAIST 유회준 전기및전자공학부 교수는 “이번 연구는 기존 인공지능반도체가 가지고 있던 전력 소모 문제를 해소했을 뿐만 아니라, GPT-2와 같은 실제 거대언어모델 응용을 성공적으로 구동했다는데 큰 의의가 있다.”며, “뉴로모픽 컴퓨팅은 인공지능시대에 필수적인 초저전력·고성능 온디바이스AI의 핵심기술인만큼 앞으로도 관련 연구를 지속할 것”이라고 설명했다.

 

 

과기정통부 전영수 정보통신산업정책관은 “이번 연구성과는 인공지능반도체가 NPU와 PIM을 넘어 뉴로모픽 컴퓨팅으로 발전할 수 있는 가능성을 실제로 확인했다는 것에 큰 의미가 있다”라며, “지난 1월 대통령 주재 반도체 민생토론회에서 AI반도체의 중요성이 강조되었듯이, 앞으로도 이러한 세계적인 연구성과를 지속적으로 낼 수 있도록 적극적으로 지원하겠다.”고 밝혔다.


농업

더보기
콩 개화기 이후 병해충 관리 힘써야
농촌진흥청(청장 이승돈)은 꼬투리가 자라고 콩알이 차오르는 생육 후기에 수량과 품질에 큰 영향을 주는 병해충 특징을 소개하며, 철저한 관리가 필요하다고 당부했다. 9월 기온은 평년보다 높고 강수량이 많을 것으로 전망됐다. 이러한 기상 조건은 콩 생육 후기와 맞물려 병해충 발생을 유발할 수 있다. 특히 탄저병, 미라병, 자주무늬병과 같은 주요 병과 노린재류 해충은 심하면 수량을 크게 떨어뜨리기 때문에 사전 방제가 관건이다. (병 관리) 자주무늬병은 잎이 진한 보라색으로 변하며, 크기와 형태가 일정하지 않은 병반이 나타난다. 감염된 종자는 자줏빛을 띤다. 주로 온습도가 높은 환경에서 발생하며, 초기 발생 시 등록된 약제를 살포하면 피해를 줄일 수 있다. 탄저병은 줄기나 꼬투리에 불규칙한 갈색 반점이 생기며, 콩알이 작아지고 변색한다. 심하면 썩거나 콩알이 맺히지 않아 수확량이 감소한다. 항공방제 전용 약제가 등록돼 있어 무인 항공기 방제가 가능하다. 미라병은 따뜻하고 습한 환경에서 발생해 잎과 꼬투리, 줄기 등 다양한 부위에 감염된다. 줄기에는 작은 검은 점이 한 줄로 생기고, 종자는 회백색으로 변하면서 갈라지거나 모양이 길게 변한다. (해충 관리) 노린재류는

축산

더보기
축산물품질평가원, 한우 생산성·유전능력 분석 서비스 매뉴얼 발간
축산물품질평가원(원장 박병홍)은 9월 3일, 과학적 사양관리를 통한 한우 생산성 향상을 위해 ‘한우 생산성·유전능력 분석 서비스 이용 매뉴얼’을 새롭게 발간했다. 매뉴얼은 한우 개체별 수익성과 유전능력 정보를 농가에서 데이터를 기반으로 분석하고 활용하는 방법을 담고 있어 현장 활용도가 높을 것으로 기대된다. 농가는 생산성 분석을 통해 개체별 수익, 출하 시기별 월평균 수익 등을 확인할 수 있어 소의 적정 출하 시기를 파악해 수익을 극대화할 수 있다. 또한, 유전능력 분석으로 사육·출하 개체의 도체중, 근내지방도 등 핵심 형질별 유전능력을 실시간 비교하고 개량이 필요한 부분을 파악해 사육 기간 단축을 통한 경영비 절감 효과 또한 얻을 수 있다. 축산물품질평가원은 이번 매뉴얼이 농가의 데이터 기반 경영을 확대해 단기적으로는 생산비 절감과 소득 증대 효과를, 장기적으로는 개량 효과를 극대화할 것이라 기대하고 있다. ‘한우 생산성·유전능력 분석 서비스 이용 매뉴얼’은 ‘축산물 원패스’ 누리집에서 내려받을 수 있다. * 축산물 원패스 누리집 바로가기:www.ekape.or.kr/kapecp 축산물품질평가원 박병홍 원장은 “한우산업의 지속 가능한 발전을 위해서는 데이터


산림

더보기
기후변화 재난, 산림유량관측망 구축으로 대비한다
산림청 국립산림과학원(원장 김용관)은 극한 호우에 따른 산지재난에 대응하기 위해 2031년까지 8년간 전국 400개소에 산림유량관측망을 구축한다고 밝혔다. 산림유량관측망은 산지 유출수의 변화를 실시간으로 관측하는 시스템으로, 기후변화에 대응해 홍수, 가뭄, 산사태 등 물 관련 산지재난의 발생 특성을 분석, 예측하는 기능을 수행한다. 국립산림과학원 생활권도시숲연구센터 연구진은 최근 우리나라 산림유역에 적합한 홍수도달시간 산정식을 개발해 산지 홍수 예측 정확도를 높였다. 홍수도달시간은 가장 높은 강우량 시점에서 수위가 가장 높아진 시점까지 걸리는 시간으로, 일반적으로 짧을수록 재해에 취약하다. 특히 산지에서 실시간 유량변화를 확보하는 것은 지역의 산지재난 발생 위험성을 해석하는 데 중요하다. 이번에 새롭게 추진되는 산림유량관측망 구축은 한국형 실시간 정밀 유량관측을 가능하게 해, 산지재난 대응의 정확도를 높이는 기반이 될 것으로 기대된다. 해당 연구결과는 산림과학 국제학술지인 「Forests」에 2024년 게재되어 학술적 가치를 인정받았다. 산림청 국립산림과학원 생활권도시숲연구센터 박찬열 센터장은 “산림유량관측망 구축으로 산지재난을 보다 정밀하게 관측할 수 있을