Foundation Models for Natural Language Processing

Nagy nyelvi modell

A nagy nyelvi modell olyan számítási modell, amely képes nyelv generálására, vagy más természetes nyelvi feldolgozási feladatok elvégzésére.

바이트 페어 인코딩

바이트 페어 인코딩(byte pair encoding) 또는 다이그램 코딩(digram coding) 은 다운스트림 모델링에 사용하기 위해 텍스트 문자열을 표 형식으로 인코딩하기 위해 1994년 필립 게이지(Philip Gage)가 처음 설명한 알고리즘이다.

Byte pair encoding

Byte pair encoding (also known as digram coding) is an algorithm, first described in 1994 by Philip Gage.

Large language model

A large language model (LLM) is a language model characterized by its large size. Their size is enabled by AI accelerators, which are able to process vast amounts of…