2024년 정보관리기술사 예상문제심화-3

21.회귀분석의 결정계수

?

• 개념: 회귀직선의 종속변수에 대한 독립변수들의 설명력을 알고자 하는 척도
• 회귀분석 개념: 독립변수가 종속변수에 미치는 영향, 관계를 알아보기 위한 분석 방법
• 수식:
  

  

22.인공지능 최적화 알고리즘(Adam)

?

• 개념: Adaptive Moment Estimation, 기울기의 과거 변화와 방향을 유지하는 Momentum과 최신 기울기의 크기를 지수가중이동편균을 사용하는 RMSProp(Root Mean Sqaure Propagation)의 장점을 조합한 인공지능 최적화 알고리즘
• 지수가중이동평균: 오래전 time step에서의 값은 적게 반영하고 최근 step의 값을 많이 반영하기 위한 값
• 수식:
  

  

23.컨볼루션 신경망 모델

?

• 개념:
• 종류:
  • AlexNet:
    • 8계층 구조
    • ReLU함수를 사용한 첫 모델
    • 정규화를 위해 Data augmentation, Dropout 사용
  • VGGNet:
    • VGG-16 모델(16계층), VGG-19 모델(19계층)
    • 모든 층에서 3X3 필터 사용
    • 옥스포드 대학의 팀이름
  • GoogLeNet:
    • 22계층 구조
    • 인셉션 모듈 채택
    • 1x1 컨볼루션사용
    • Yann Lecunn 개발한 아키텍쳐
  • ResNet:
    • 152계층 구조
    • Residual module(잔차모델)
      

      

24.RaG

?

• 개념: 큰 언어 모델(Large Language Models, LLMs)의 능력을 확장하여, 사용자의 질문이나 요청에 대해 더욱 신뢰할 수 있고 정보가 풍부한 답변을 제공할 수 있도록 돕는 모델
• 매커니즘
  

  

25.MoE(Mixture of Experts)

?

• 개념: 복잡하고 다양한 데이터 세트로 인해 발생하는 문제를 각 전문가 모델로 분리하여 해결하는 협업 신경망 아키텍처
• 배경: GPT-4에서 활용
• 목적: 환각감소, 성능 유지, 다양한 도메인 데이터 적응성
• 개념도
  

  

• 수식:
  

  

26.ViT

?

• 개념: Transformer 구조를 Vision 분야에 적용해 대용량 이미지 데이터로 학습을 해 이미지를 분류하는 모델
• 개념도
  

  

27.FastViT

?

• 개념: ViT의 Computational Cost를 향상시킨 ViT 기반 모델
• 배경:
  • 상대적으로 열악한 edge device 환경
  • memory access cost 가 latency 측면에 악영향을 끼침
  • 그 주범이 빈번한 메모리 접근을 필요로 하는 skip-connection 임을 지적
• 특징:
  • Vision Transformer 구조 일부를 convolution으로 교체
  • skip-connection 생략
  • Reparameterization
  • 파라미터수와 연산량이 낮으면서도 경쟁력있는 성능을 가짐
• 개념도
  

  

28.MetaFormer

?

• 개념: PoolFormer의 효용성을 바탕으로, token mixer를 지정하지 않은 Transformer에서 추상화된 일반적인 모델
• 배경
  • Transformer의 높은 성능 요인이 Attention 기반 token mixer모듈로 여겨짐
  • 그러나 Transformer의 Attention 기반 모듈은 spatial MLP로 대체가능
  • 특정 token mixer 모델 대신 Transformer의 general 아키텍처가 모델의 성능에 더 필수
• 개념도
  

  

29.지능형 에이전트

?

• 개념: 주변 환경을 탐지하여 자율적으로 동작하는 장치 또는 프로그램이나 컴퓨터 하드웨어를 포함한 컴퓨팅 시스템이나 로봇
• 유형
  • 단순 반사 에이전트: 현재 센서 정보에 대한 반사 행동만을 하는 에이전트
  • 모델 기반 에이전트: 부족한 센서 정보를 보충하는 내부 모델을 가지는 에이전트
  • 목표 기반 에이전트: 내부 모델을 가지며 다양한 목표 설정과 수행이 가능한 에이전트
  • 효용 기반 에이전트: 목표 달성을 위한 행동의 효용까지 고려하는 에이전트
  • 학습 에이전트: 기계학습으로 성능이 향상되는 에이전트
• 개념도