mino28 님의 블로그

1. 단어 사전단어 사전(Vocabulary)은 자연어 처리에서 사용되는 모든 고유한 토큰(단어, 서브워드, 문자 등)을 모아 각 토큰에 고유한 인덱스(ID)를 매핑한 집합입니다. 문장을 토크나이징한 뒤 만들어지는 단어 사전은 텍스트를 정수 시퀀스로 변환하는 기준이 되며, 모델이 문자열을 직접 처리할 수 없는 한계를 극복하게 해줍니다. 또한 단어 사전에는 학습 시 사용된 모든 토큰뿐 아니라, 사전에 없는 새로운 단어를 처리하기 위한 OOV(Out-Of-Vocabulary) 토큰 같은 특수 기호도 포함될 수 있어 실제 모델 학습과 추론 과정에서 중요한 역할을 합니다. OOVOOV(Out-Of-Vocabulary) 문제는 자연어 처리 모델이 학습 과정에서 본 적 없는 단어나 토큰이 입력에 등장했을 때 발생하..

1. 텐서플로우텐서플로우(TensorFlow)는 구글에서 개발한 오픈소스 머신러닝 라이브러리로, 수치 계산과 딥러닝 모델 구축을 위한 강력한 기능을 제공합니다. 데이터 흐름 그래프(Data Flow Graph)를 기반으로 작동하며, 노드(Node)는 연산을, 엣지(Edge)는 다차원 배열인 텐서(Tensor)를 나타냅니다. CPU, GPU, TPU 등 다양한 하드웨어에서 효율적으로 작동하며, 특히 대규모 신경망 학습과 추론에 적합합니다. 텐서플로우는 파이썬을 주로 사용하며, 직관적인 고수준 API인 Keras를 포함하고 있어 모델을 쉽고 빠르게 구축할 수 있는 환경을 제공합니다. 1. 텐서란?TensorFlow에서의 텐서(Tensor)는 다차원 배열을 표현하는 핵심 데이터 구조로, 기능적으로는 파이썬의 ..