Generative AI의 시대가 온다!
2023년은 AI 기술이 변곡점에 접어들었다는 것을 모두가 인정한 해로 기억될 것입니다.🙂
ChatGPT 서비스 공개 후 언론, 유튜브, 커뮤니티 등 전부에서 Generative AI가 파괴적 혁신을 일으킬 것이라 입을 모았습니다.
그리고 온라인과 서점가에는 프롬프트 엔지니어링 관련 정보와 책자가 넘쳐나기 시작했습니다. 몇 개월 만에 일어난 일이라고는 믿기 힘들 정도였습니다.🙂
😃 프롬프트 엔지니어링에 쏟아지는 관심
프롬프트 엔지니어링이란 정확하고 유용한 응답을 얻기 위해 GPT 모델과 같은 Generative AI 시스템에서 프롬프트를 설계하고 개선하는 작업을 말합니다. 초거대 AI 모델이 처리하고 응답하는 입력 쿼리 또는 문장을 어떻게 더 잘 작성할 것인가? 이에 대한 답을 찾는 엔지니어링이라 보면 됩니다. 온라인과 서점에 넘쳐 나는 정보와 책자는 주로 최종 사용자 측면에서 프롬프트 엔지니어링을 다룹니다. 쉽게 말해 내가 원하는 답을 얻기 위해 더 잘 질문하는 방법을 안내한다고 보면 됩니다. 그렇다면 프롬프트 엔지니어링은 그저 더 나은 질문을 찾는 여정일까요? 그렇지 않습니다.
기업의 경우 Generative AI 모델을 업무 생산성 향상이나 디지털 상품성 강화, 혹은 고객 경험 개선 등의 목적으로 이용합니다. 이 경우 구글이나 오픈API 같은 선도 기업이 제공하는 사전 훈련을 마친 초거대 AI 모델을 보유 데이터 및 활용 목적에 맞게 매개변수 튜닝 작업을 합니다. 이 역시 프롬프트 엔지니어링의 한 영역입니다.
최종 사용자나 조직이 프롬프로트 엔지니어링을 하는 이유와 목표는 같습니다. Generative AI 모델로부터 더 높은 품질의 응답을 이끌어내기 위해 프롬프트를 설계, 최적화 및 개선하기 위해 프롬프트 엔지니어링을 하는 것입니다.
😃최종 사용자를 위한 프롬프트 엔지니어링 팁!
학습이나 업무를 위해 Generative AI 기반 서비스를 이용할 경우 프롬프트 디자인 원칙을 따르면 원하는 답을 받아볼 수 있습니다. 원칙이라 다소 거창하게 들릴지 모르지만 핵심은 어떻게 더 잘 질문을 할 것인가입니다. 보통 간단한 질문은 제로샷 프롬프팅(Zero Shot Prompting)라고 부릅니다.
Generative AI 모델은 사전 학습된 지식을 활용하여 사용자가 입력한 프롬프트만으로 관련 콘텐츠를 생성합니다. 이 기법은 특정 예제에 대한 안내 없이 모델이 출력을 생성하도록 하려는 경우에 유용합니다. 가령 ‘그리스로마신화 중 이카루스 이야기 요약하기’ 같은 질문을 예로 들 수 있습니다. 대중이 Generative AI 기반 서비스에 열광한 이유는 단순 질문만 해도 매우 훌륭한 결과를 보여주기 때문입니다.
Generative AI 기술의 잠재력은 질문을 어떻게 하느냐에 따라 더 나은 결과를 확인할 수 있다는 것입니다. 그 방법 중 하나가 예제를 포함한 질문인 퓨샷 프롬프팅(Few Shot Prompting)입니다. 이 방식은 모델이 내용을 이해하는 데 도움이 되는 몇 가지 예제를 제공하는 것입니다. Generative AI 기반 서비스를 많이 쓰다 보면 자연스럽게 CoT 프롬프팅(Chain-of-Thought Prompting)을 이용하게 됩니다. 대화를 나누면서 추론 과정을 거치는 것입니다. 모델은 이어지는 대화를 통해 각 단계의 출력을 참조하여 추가 정보를 생성합니다.
😃기업을 위한 프롬프트 엔지니어링 팁!
기업에서 Generative AI 기술을 쓰는 방법은 두 가지입니다.
하나는 직접 거대한 AI 인프라를 구축하고 초거대 모델을 훈련하고 최적화하는 작업을 하는 것입니다. 이는 엄청난 인력과 비용이 들어가는 작업입니다.
다른 하나는 구글이 제공하는 PaLM이나 오픈API의 ChatGPT 같이 사전 훈련된 초거대 모델을 API 방식으로 이용하는 것입니다. 이 경우 기업은 이용 목적이나 목표에 맞게 보유 데이터를 활용해 매개변수 미세 조정을 할 수 있습니다. 이렇게 하면 고가의 GPU 서버로 대규모 클러스터를 구성하지 않아도 됩니다. 초거대 모델을 훈련에 대한 부담 없이 필요에 맞게 튜닝해 사용할 수 있습니다.
👇이 과정을 간단히 정리하면 다음과 같습니다.
✔️ 작업 정의: Generative AI 모델이 해결하기를 원하는 특정 작업 또는 문제를 정의합니다.
✔️ 데이터 수집 및 전처리: 목표 작업과 관련된 데이터 세트를 수집합니다. 선택한 기본 모델의 요구 사항에 따라 데이터를 정리, 토큰화 및 서식 지정하여 데이터를 전처리합니다.
✔️ 모델 미세 조정: 작업별 데이터 집합에 대해 사전 학습된 기본 모델을 미세 조정합니다. 여기에는 요구 사항과 리소스에 따라 매개변수 효율적인 미세 조정, 어댑터 기반 미세 조정 또는 점진적 고정 해제와 같은 기술을 사용하여 여러 시대에 걸쳐 데이터에 대한 모델을 학습시키는 작업이 포함됩니다
✔️모델 평가: 미세 조정 후에는 별도의 유효성 검사 데이터 세트에서 모델의 성능을 평가합니다. 필요에 따라 하이퍼파라미터 또는 학습 기법을 조정하여 성능을 개선하는 미세 조정 프로세스를 반복합니다.
✔️프롬프트 디자인: Generative AI 모델이 원하는 출력을 생성하도록 안내하는 효과적인 프롬프트를 만듭니다. 작업의 복잡성과 필요한 안내의 양에 따라 제로샷, 퓨샷 또는 CoT 프롬프트를 사용하는 것을 고려하세요.
✔️모델을 테스트합니다: 다양한 입력과 시나리오를 사용하여 미세 조정된 모델을 테스트하여 실제 상황에서 잘 작동하는지 확인합니다. 이 과정에서 편향, 불일치 또는 배포 전에 해결해야 할 기타 문제를 찾습니다.
😃구글이 PaLM API를 내놓은 이유
구글은 기업이 더 쉽고 빠르게 Generative AI 기술을 이용해 비즈니스 성과를 거둘 수 있도록 PaLM API 서비스를 공개하였습니다.
참고로 PaLM는 ‘Pathways Language Model’의 약자입니다. 구글은 PaLM을 통해 기업이 단일 AI 시스템을 사용하여 수천 또는 수백만 개의 작업을 표준화 및 자동화하고 다양한 유형의 데이터를 이해하고 놀라운 답변을 조직원 및 고객에게 할 수 있게 될 것으로 기대하고 있습니다.
이를 가속하기 위해 구글은 Generative AI App Builder, Generative AI Studio 같은 도구를 제공하는 등 전방위적인 노력을 기울이고 있습니다. 이에 대해서는 후속 포스팅을 통해 알아보겠습니다.
Generative AI 모델과 도구 그리고 강력한 검색 엔진을 통해 구글이 제공하고자 하는 고객 가치는? 다음 영상에 잘 담겨 있습니다. AI 전문가 없이도, AI 인프라 투자 없이도 원하는 모든 조직이 초거대 언어 모델을 원하는대로 튜닝해 사용하고 필요한 앱을 만들어 배포할 수 있도록 한다는 것이 구글이 약속하는 Generative AI 시대입니다.
이상으로 『 Generative AI의 시대가 온다! 』 에 대해 알아보았습니다. 😎🤗🤗
더 자세한 내용은 메가존소프트로 문의 바랍니다. 👉 메가존소프트 문의 바로가기
