꾸준한 기록

Apple Intelligence는 LLM Model을 기반으로 동작LLM Model 이름 : MM1apple 생태계의 디바이스의 기능을 향상시키기 위해서 설계됨 MM1 파라미터 개수: 30억개온디바이스 작업을 위해 설계됨low-bit 팔레트화 및 LoRA 어댑터와 같은 고급 기술을 사용해서 효율성과 성능을 보장하고 품질과 컴퓨팅 리소스 요구사항 간의 균형을 유지함이를 통해 첫번째 토큰과 확장된 토큰을 추론하는 성능을 최적화할 수 있음.이를 통해 작업을 신속하게 실행하여 ai의 빠른 상호작용을 지원함.모델이 어댑터를 사용해서 사용자의 현재 작어에 맞게 동적으로 조정되는 기능을 가짐.이 기능을 통해  AI의 기능을 광범위하고 세밀하게 타겟팅하여 상황을 인식하고 개별 요구 사항에 반응함으로써 사용자 경험을 ..

텍스트 임베딩이란텍스트를 다차원 공간에서 기계가 읽을 수 있는 벡터로 표현하는 방법기본 원리: 두 구문이 유사하다면 이 구문들을 나타내는 벡터들은 유클리드 거리와 같은 측정치로 볼 때 서로 가까워야 한다.결론: 텍스트 임베딩 값이 가깝다 ➡️ 두 구분이 유사하다텍스트 임베딩 장점1. 텍스트의 표면적인 의미와 철자를 넘어선 다른 의미를 포착할 수 있다.2. 텍스트 임베딩을 사용하면 언어에 관한 풍부한 정보를 활용해서, LLM의 사전 훈련과 파인튜닝이 기반이 되는 애플리케이션을 거의 무한하게 구축할 수 있다.3. 다양한 언어를 활용하여 작업할 때, 정교하고 의미적으로 정확한 모델을 구축할 수 있다. 텍스트 임베딩 작업비대칭적 의미기반 검색의미기반 검색 시스템은 사용자가 제공한 쿼리의 의미와 문맥을 이해하고,..