LLM 모델을 클라우드에서 손쉽게 운영하는 방법: TGI와 Google Cloud의 만남

Google Cloud는 Hugging Face에서 제공하는 다양한 AI 모델들을 Cloud Run과 GKE라는 서비스를 통해 간편하게 사용할 수 있도록 지원합니다. 관련해 이번 포스팅에서는 Hugging Face의 TGI(Text Generation Inference)를 활용하는 방법을 알아보려 합니다.  *Hugging Face는 인공지능, 특히 자연어 처리(NLP) 분야에서 가장 유명한 오픈 소스 커뮤니티이자 플랫폼입니다. 마치 GitHub이 개발자들에게 코드를 공유하고 협업하는 공간이라면, Hugging Face는 AI 모델을 공유하고…

LLM & SLM 시대에 맞게 진화를 거듭하고 있는 GKE

요즘 AI 전환에 대한 관심이 높아지면서 거대 언어 모델(Large Language Model, 이하 LLM)과 특정 분야나 작업에 최적화된 소형 언어 모델(Small Language Model, 이하 SLM) 관련 프로젝트를 준비하거나 추진 중인 조직이 많습니다. 사실상 AI 프로젝트를 추진하는 데 필요한 GPU 서버로 구성한 인프라와 MLOps 플랫폼 그리고 이를 운영할 인력을 잘 갖춘 곳은 그리 많지 않습니다. 그렇다고 해서…

“AI 시대, 레거시 시스템을 Cloud Native AI 서비스로!” 세미나

OverviewAI 시대, 새로운 혁신의 길로 함께 나아가시겠습니까? 개발자와 DevOps가 협력하여 만들어가는 Cloud Native AI 서비스! 레거시 시스템을 현대화하고, 비즈니스 경쟁력을 높이기 위한 컨테이너 기반 전환의 중요성을 알고 계십니까? AI 시스템의 성공적인 실행을 위해 컨테이너 플랫폼은 이제 필수입니다. 구글 클라우드의 컨테이너 플랫폼(Cloud Run, GKE)을 통해, 귀사의 비즈니스를 한 단계 도약 시킬 수 있는 기회를 제안 드립니다…

[AI] gemini.google.com에 파일 업로드 가능

[8월 27일자 Google Workspace 업데이트 소식] 지원되는 버전 : Gemini Business, Enterprise 사용 가능 오늘부터 Gemini Business, Enterprise 라이선스가 있는 Google Workspace 사용자는 이제 Gemini(gemini.google.com)에 Google Drive 또는 로컬 PC에서 다양한 파일을 업로드할 수 있습니다.  TXT, DOC, DOCX, PDF, RTF, DOT, DOTX, HWP, HWPX 및 Google Docs와 같은  문서 및 텍스트 파일 XLS, XLSX, CSV, TSV…

[Meet] “Take notes for me” 작성 기능 출시

[8월 27일자 Google Workspace 업데이트 소식] 지원되는 버전 : Gemini Enterprise, AI Meeting and Messaging 사용 가 일부 Google Workspace 고객 대상으로 Google Meet에 “Take notes for me”이 출시됩니다. “Take notes for me”은 Google Meet의 AI 기반 기능으로, 자동으로 메모를 작성하여 회의 중에 토론, 협업 및 프레젠테이션에 집중할 수 있도록 해줍니다. 회의가 끝나면 메모 문서는 일정…

[Gmail] Android 기기에서 이메일에 더 빠르게 답장하기

[8월 26일자 Google Workspace 업데이트 소식] 새로운 빠른 답장 환경을 통해 Android 기기의 Gmail 앱에서 이메일에 답하는 것이 더 쉬워졌습니다. 이전에는 Gmail 앱에서 이메일의 대화 보기에서 답장, 전체 답장 또는 메시지 전달 옵션만 있었습니다. 이러한 옵션 중 하나를 선택하면 답장을 보낼 수 있는 전체 화면 작성 보기로 이동했습니다. 오늘부터 새 화면을 열지 않고도 대화 하단에서…

[Admin] Google Meet에서 “Take notes for me” 기능 출시

[8월 8일자 Google Workspace 업데이트 소식] 지원되는 버전 : Gemini Enterprise 및 AI Meetings and Messaging 애드온 사용 가능 “Take notes for me”는 Google Meet에서 회의 중 자동으로 노트를 작성해 주는 AI 기능으로, 곧 출시될 예정입니다. 최종 사용자에게 제공되지 전에 관리자는 관리 콘솔의 새 설정으로 사용자가 이 Google AI 노트 작성 기능을 사용할 수 있는지 여부를…

[Drive] Google Drive 사이드 패널에 Gemini 출시

[6월 24일자 Google Workspace 업데이트 소식] 지원되는 버전 : Google Workspace Business 및 Enterprise 부가 기능 Docs, Sheets, Slides, Drive의 측면 패널에 Gemini가 정식 출시되었음을 알려드리게 되어 기쁘게 생각합니다. 측면 패널을 통해 Gemini는 애플리케이션이나 탭을 전환하지 않고도 이메일, 문서 등에서 수집된 통찰력을 활용하여 콘텐츠를 요약, 분석 및 생성하는 데 도움을 줄 수 있습니다. 업데이트된 인터페이스는…

[Gmail] Gamil에 Gmini 사이드 패널 표시

[6월 24일자 Google Workspace 업데이트 소식] 지원되는 버전 : Google Workspace Business 및 Enterprise 부가 기능 최근 Google Docs, Google Sheets, Google Slides 및 Drive의 측면 패널에 Gemini가 추가되었다고 발표한 것에 더해 Gmail 측면 패널에도 Gemini가 정식 출시되었습니다. Google의 가장 유능한 모델인 Gemini 1.5 Pro 모델을 기반으로 더 긴 컨텍스트 창과 더욱 발전된 추론 기능을…

[AI] 포르투갈어로 Google Workspace Gemini 기능 글쓰기 도움말 제공

[5월 16일자 Google Workspace 업데이트 소식] 작년, Google은 Google Workspace용 Gemini를 사용하여 기존 작업을 빠르게 개선하거나 Google Docs 및 Gmail에서 새로운 작업을 시작하는 데 도움이 되는 AI 기반 작성 기능을 도입했습니다. 그 이후로 Help me write는 수많은 사용자가 이메일, 블로그 게시물, 비즈니스 제안서, 광고 문구 등의 콘텐츠 초안을 작성하는 데 도움을 주었습니다. 실제로 Docs나 Gmail에서 글쓰기 도움말을 사용하는 기업…