주요 용어 요약NLP (자연어 처리): 컴퓨터가 인간 언어를 이해하고 생성하도록 돕는 기술LLM (대형 언어 모델): 텍스트 생성 및 이해에 사용되는 대규모 모델NLTK (Natural Language Toolkit): 텍스트 분석에 유용한 자연어 처리 도구킷SpaCy: 고성능 NLP 라이브러리로 효율적인 텍스트 처리를 지원n-grams: 텍스트 내에서 반복되는 n개의 단어 시퀀스word clouds: 텍스트에서 자주 등장하는 단어를 시각적으로 표현tokenization (토큰화): 텍스트를 의미 있는 작은 단위(토큰)로 분리embeddings (임베딩): 단어를 숫자 벡터로 변환해 의미 관계를 포착transformers (트랜스포머): 어텐션 메커니즘 기반 모델로 문맥 이해에 강력attention me..
현대 NLP - 토큰화, 임베딩, 텍스트 분류
주요 용어 요약NLP (자연어 처리): 컴퓨터가 인간 언어를 이해하고 생성하도록 돕는 기술LLM (대형 언어 모델): 텍스트 생성 및 이해에 사용되는 대규모 모델NLTK (Natural Language Toolkit): 텍스트 분석에 유용한 자연어 처리 도구킷SpaCy: 고성능 NLP 라이브러리로 효율적인 텍스트 처리를 지원n-grams: 텍스트 내에서 반복되는 n개의 단어 시퀀스word clouds: 텍스트에서 자주 등장하는 단어를 시각적으로 표현tokenization (토큰화): 텍스트를 의미 있는 작은 단위(토큰)로 분리embeddings (임베딩): 단어를 숫자 벡터로 변환해 의미 관계를 포착transformers (트랜스포머): 어텐션 메커니즘 기반 모델로 문맥 이해에 강력attention me..
2025.03.06