임베딩 기술의 이해: 데이터를 언어로 말하게 하는 벡터의 마법(텍스트, 이미지)
임베딩이란? "임베딩"이란 콘텐츠를 고정된 크기의 부동 소수점 숫자 배열로 변환하는 과정입니다. 이 변환을 통해 콘텐츠의 길이와 상관없이 일정한 크기의 배열을 얻을 수 있으며, 배열의 구체적인 크기는 사용하는 임베딩 모델에 따라 달라집니다(예: 300, 1000, 1536 등). 이 숫자 배열을 가장 잘 이해하는 방법은 그것들을 다차원 공간의 좌표로 생각하는 것입니다. 콘텐츠를 다차원 공간에 배치하는 이유는 그 위치를 통해 콘텐츠에 대한 흥미로운 정보를 얻기 위해서입니다. 공간상의 위치는 콘텐츠의 의미론적 의미를 나타내며, 임베딩 모델은 이를 통해 콘텐츠의 색상, 모양, 개념 등 다양한 특성을 포착합니다. 개별 숫자의 정확한 의미를 완전히 이해하는 사람은 없지만, 이러한 위치가 콘텐츠에 관한 유용한 정보..
개발, 코딩해볼래?/AI, 그리고 ChatGPT, LangChain
2023. 11. 10.
