Home-theater-designers
ChatGPT와 같은 AI 도구는 출시된 이후 엄청난 인기를 얻었습니다. 이러한 도구는 자연어 처리(NLP)의 경계를 넓혀 AI가 실제 사람처럼 대화하고 언어를 처리하는 것을 더 쉽게 만듭니다.
아시다시피 ChatGPT는 Generative Pre-trained Transformer 모델(GPT)에 의존합니다. 그러나 이것이 사전 훈련된 유일한 모델은 아닙니다.
오늘의 메이크업 비디오
2018년 Google의 엔지니어들은 문장에서 단어의 맥락을 이해하도록 설계된 사전 훈련된 딥 러닝 모델인 BERT(Bidirectional Encoder Representation from Transformers)를 개발하여 감정 분석, 질문 답변, 높은 정확도로 명명된 엔터티 인식.
BERT는 무엇입니까?
BERT는 딥 러닝 모델로 개발되었습니다. 구글 AI 리서치 비지도 학습을 사용하여 자연어 쿼리를 더 잘 이해합니다. 이 모델은 변환기 아키텍처를 사용하여 텍스트 데이터의 양방향 표현을 학습하므로 문장이나 단락 내 단어의 컨텍스트를 더 잘 이해할 수 있습니다.
이를 통해 기계는 일상 생활에서 말하는 인간의 언어를 더 쉽게 해석할 수 있습니다. 역사적으로 컴퓨터는 언어 처리, 특히 문맥 이해가 어렵다는 사실을 언급하는 것이 중요합니다.
다른 언어 처리 모델과 달리 BERT는 11개 이상의 일반적인 NLP 작업을 수행하도록 훈련되어 기계 학습 분야에서 매우 인기 있는 선택입니다.
GPT-3과 같이 널리 사용되는 다른 변환기 모델과 비교할 때 BERT는 뚜렷한 이점이 있습니다. 양방향이므로 왼쪽에서 오른쪽으로, 오른쪽에서 왼쪽으로 컨텍스트를 평가할 수 있습니다. GPT-3.5 및 GPT-4는 왼쪽에서 오른쪽 컨텍스트만 고려하는 반면 BERT는 두 가지 모두를 충족합니다.
GPT와 같은 언어 모델은 단방향 컨텍스트를 사용하여 모델을 학습하므로 ChatGPT는 여러 작업을 수행합니다. 간단히 말해서 이러한 모델은 텍스트 입력의 컨텍스트를 왼쪽에서 오른쪽으로 또는 경우에 따라 오른쪽에서 왼쪽으로 분석했습니다. 그러나 이 단방향 접근 방식은 텍스트 이해와 관련하여 생성된 출력에서 부정확성을 유발하는 한계가 있습니다.
내 하드 드라이브가 100 windows 10에서 실행되는 이유
본질적으로 이것은 BERT가 답변을 제공하기 전에 문장의 전체 컨텍스트를 분석한다는 것을 의미합니다. 그러나 GPT-3가 BERT(3TB)에 비해 훨씬 더 큰 텍스트 코퍼스(45TB)에서 훈련되었다는 점을 언급하는 것이 타당합니다.
BERT는 마스킹된 언어 모델입니다.
여기서 알아야 할 중요한 점은 BERT가 문장의 맥락을 이해하기 위해 마스킹에 의존한다는 것입니다. 문장을 처리할 때 문장의 일부를 제거하고 모델에 의존하여 간격을 예측하고 완성합니다.
이를 통해 본질적으로 컨텍스트를 '예측'할 수 있습니다. 한 단어가 두 가지 다른 의미를 가질 수 있는 문장에서 이것은 마스킹된 언어 모델에 뚜렷한 이점을 제공합니다.
BERT는 어떻게 작동합니까?
BERT는 33억 개가 넘는 단어(최대 25억 단어는 Wikipedia에 의존)의 데이터 세트와 8억 단어는 Google의 BooksCorpus에서 훈련되었습니다.
BERT의 고유한 양방향 컨텍스트를 통해 텍스트를 왼쪽에서 오른쪽으로 또는 그 반대로 동시에 처리할 수 있습니다. 이 혁신은 인간 언어에 대한 모델의 이해를 향상시켜 단어와 문맥 사이의 복잡한 관계를 이해할 수 있도록 합니다.
양방향성 요소는 BERT를 혁신적인 변환기 모델로 자리매김하여 NLP 작업을 크게 개선했습니다. 더 중요한 것은, 인공지능(AI) 언어를 처리합니다.
BERT의 효율성은 양방향성뿐 아니라 사전 훈련된 방식 때문이기도 합니다. BERT의 사전 훈련 단계는 MLM(masked language model)과 NSP(next sentence prediction)라는 두 가지 필수 단계로 구성되었습니다.
대부분의 사전 훈련 방법은 개별 시퀀스 요소를 마스킹하지만 BERT는 MLM을 사용하여 훈련 중에 문장의 입력 토큰 비율을 무작위로 마스킹합니다. 이 접근 방식은 모델이 마스킹된 단어의 양쪽 컨텍스트(따라서 양방향성)를 고려하여 누락된 단어를 예측하도록 합니다.
그런 다음 NSP 중에 BERT는 문장 X가 진정으로 문장 Y로 이어지는지 여부를 예측하는 방법을 배웁니다. 이 기능은 모델이 문장 관계와 전반적인 컨텍스트를 이해하도록 훈련하여 모델의 효율성에 기여합니다.
미세 조정 BERT
사전 교육 후 BERT는 미세 조정 단계로 이동하여 감정 분석, 명명된 엔터티 인식 및 질문 응답 시스템을 비롯한 다양한 NLP 작업에 모델을 적용했습니다. 미세 조정에는 특정 작업에 대한 모델 성능을 향상시키기 위해 레이블이 지정된 데이터 세트를 활용하는 지도 학습이 포함됩니다.
BERT의 교육 접근 방식은 동일한 모델 아키텍처가 광범위한 수정 없이 다양한 작업을 처리할 수 있도록 하기 때문에 '범용'으로 간주됩니다. 이러한 다재다능함은 NLP 애호가들 사이에서 BERT가 인기 있는 또 다른 이유입니다.
예를 들어 BERT는 Google에서 검색 쿼리를 예측하고 특히 문맥 측면에서 누락된 단어를 연결하는 데 사용됩니다.
BERT는 일반적으로 무엇에 사용됩니까?
Google은 검색 엔진에서 BERT를 사용하지만 다음과 같은 몇 가지 다른 응용 프로그램이 있습니다.
감정 분석
감정 분석은 텍스트 데이터에 포함된 감정과 의견을 기반으로 텍스트 데이터를 분류하는 NLP의 핵심 응용 프로그램입니다. 이는 고객 만족도 모니터링에서 주식 시장 동향 예측에 이르기까지 다양한 분야에서 매우 중요합니다.
BERT는 텍스트 입력의 감정적 본질을 포착하고 단어 이면의 감정을 정확하게 예측하기 때문에 이 영역에서 빛을 발합니다.
텍스트 요약
양방향 특성과 주의 메커니즘으로 인해 BERT는 필수 정보를 잃지 않고 텍스트 컨텍스트의 모든 부분을 파악할 수 있습니다. 그 결과 입력 문서의 중요한 내용을 정확하게 반영하는 고품질의 일관성 있는 요약이 생성됩니다.
개체명 인식
명명된 엔터티 인식(NER)은 텍스트 데이터 내에서 이름, 조직 및 위치와 같은 엔터티를 식별하고 분류하는 것을 목표로 하는 NLP의 또 다른 중요한 측면입니다.
BERT는 주로 복잡한 텍스트 구조 내에 표시되는 경우에도 복잡한 엔터티 패턴을 인식하고 분류하는 기능 때문에 NER 공간에서 진정으로 혁신적입니다.
불행히도 Google Play 서비스가 중지 된 문제를 해결하는 방법
질의 응답 시스템
양방향 인코더에 대한 BERT의 컨텍스트 이해 및 접지는 대규모 데이터 세트에서 정확한 답변을 추출하는 데 능숙합니다.
질문의 맥락을 효과적으로 판단하고 텍스트 데이터 내에서 가장 적합한 답변을 찾을 수 있으며 고급 챗봇, 검색 엔진, 심지어 가상 비서에 활용할 수 있는 기능입니다.
BERT를 통한 기계 번역
기계 번역은 BERT가 개선한 필수 NLP 작업입니다. 변환기 아키텍처와 컨텍스트에 대한 양방향 이해는 한 언어에서 다른 언어로 번역할 때 장벽을 허무는 데 기여합니다.
주로 영어에 중점을 두지만 BERT의 다국어 변형(mBERT)은 다양한 언어의 기계 번역 문제에 적용할 수 있으므로 보다 포괄적인 플랫폼과 통신 매체에 대한 문을 열 수 있습니다.
AI와 머신 러닝은 계속해서 새로운 경계를 허물고 있습니다
BERT와 같은 모델이 판도를 바꾸고 연구의 새로운 길을 열고 있다는 데는 의심의 여지가 없습니다. 그러나 더 중요한 것은 이러한 도구를 기존 워크플로에 쉽게 통합할 수 있다는 것입니다.