SecOps를 모든 조직이 도전할 수 있는 목표로 바꾸는 Gemini 사이버 보안 위협이 갈수록 정교해지고 광범위해지면서, 보안팀과 IT 운영팀이 각각 따로 활동하던 방식을 넘어서는 새로운 접근이 필요하게 되었습니다. 이런 배경 속에서 등장한 개념이 바로 ‘SecOps(Security Operations)’입니다. 이 개념은 조직의 보안(Cyber Security) 팀과 운영(IT Operations) 팀이 상호 긴밀하게 협력해 조직의 보안 태세를 강화하기 위한 총체적인 방법론이라 이해할…
2024년 금융, 공공, 리테일 등 다양한 산업에서 생성형 AI(Generative AI)의 도입과 상용화가 이루어졌습니다. 그러나 제조 분야는 높은 수준의 품질 기준과 공정 과정에 대한 실험적인 도전이 비교적 쉽지 않아 AI 도입이 어렵다는 인식이 만연하였습니다. AI 시스템을 실제 현장에 적용하려면, AI 시스템의 도입과 통합 과정의 복잡성, 데이터 품질 문제, 초기 투자 비용 등의 어려움을 극복해야 하기 때문입니다.…
Google Cloud Dynamic Workload Scheduler를 활용한 AI 워크로드 관리 오늘날 AI 모델의 훈련과 추론에는 대규모의 컴퓨팅 자원이 필요하며, 특히 TPU나 GPU 같은 가속기 자원을 어떻게 효율적으로 활용하느냐가 매우 중요한 문제로 부상했습니다. 이 글에서는 AI 인프라 운영자와 AI 개발자·데이터 과학자가 Google Cloud의 Dynamic Workload Scheduler(이하 DWS)를 통해 AI 워크로드를 효율적으로 관리할 수 있는 방법을 살펴보겠습니다.…
검색 품질 UP! Vertex AI 임베딩 튜닝 생성형 AI 모델을 기반으로 한 앱이나 서비스에 대한 사용자 눈 높이가 빠르게 높아지고 있습니다. 빅테크 기업의 상용 서비스를 이용해 본 사용자는 회사에서 제공하는 서비스에도 같은 수준의 사용자 경험을 기대합니다. 그러다 서비스를 구현하는 입장에서 보면 사실 이게 쉽지 않은 일입니다. 생성형 AI 앱의 검색, 답변, 추천 기능을 향상시켜…
Google Cloud Vertex AI GenAI Evaluation: 생성형 AI 모델 평가의 새로운 기준 생성형 AI 모델을 평가하고 이를 바탕으로 모델을 개선하는 작업은 AI 개발자와 AI 서비스 운영자라면 누구나 맞닥뜨리는 과제일 것입니다. 관련해 이번 포스팅 에서는 생성형 AI 모델을 평가하는 것이 왜 중요한지, 어떤 점들이 특히 어렵고, 그 문제들을 해결하기 위해 Google Cloud가 제공하는 Vertex AI…
LLM(Large Language Model))과 SLM(Small Language Model))을 활용한 애플리케이션 구축이 활발해지면서, 모델을 도메인별로 최적화하고(RAG: Retrieval-Augmented Generation) 실제 비즈니스 요구사항에 맞추는 데 초점이 맞추어지고 있습니다. 이를 위해서는 모델 미세 조정(Fine-tuning) 및 RAG를 지원하는 데이터 준비가 필수입니다. 구글 클라우드(Google Cloud)의 강력한 데이터베이스 솔루션, Vertex AI, 그리고 LlamaIndex 같은 라이브러리를 활용하면, 안정적인 인프라 위에서 데이터를 정리, 관리, 그리고 효과적으로…
최근 AI 기술이 폭발적으로 발전하면서, 다양한 형태의 모델들이 등장하고 있습니다. 특히 언어 모델을 중심으로 한 혁신이 두드러지는데, 이 때 자주 등장하는 용어가 바로 MLLM(MultiModal Large Language Model) , LLM(Small Language Model)), 그리고 소형 언어 모델/도메인 특화 모델(Small Language Model)입니다. 이번 포스팅에서는 이 세 가지 모델의 차이점과, 구글 클라우드(Google Cloud) 및 허깅페이스(Hugging Face) 연계를 통해 LLM,…
MLLM(MultiModal Large Language Model), LLM(Large Language Model), SLM(Small Language Model) 전성 시대가 되면서 AI 시장의 주요 화두로 ‘AI 에이전트’가 급부상하고 있습니다. 이런 흐름을 주도하는 곳이 바로 구글 클라우드(Google Cloud)입니다. 구글 클라우드는 고객과 파트너들이 비즈니스 요구에 맞춰 적합한 AI 에이전트를 쉽게 선택하고 활용할 수 있도록 돕기 위해 AI 에이전트 생태계 구축에 두 팔을 걷어 붙이고…
영화 ‘아이언맨’의 ‘자비스’를 기억하시나요? 주인공 토니 스타크의 명령을 수행하는 것은 물론, 스스로 판단하여 위험을 예측하고 문제를 해결하는 장면이 아마 가장 먼저 떠오를 것입니다. 이처럼 AI이 단순히 ‘도와주는’ 역할을 넘어 ‘스스로’ 행동하는 시대인 ‘Agentic Era’가 오고 있습니다! 지금까지의 AI는 주로 우리가 시키는 일을 해주는 ‘조력자(AI Assistant)’ 역할에 머물렀습니다. 마치 똑똑한 비서처럼, “오늘 날씨 어때?”라고 물으면…