[강의]GPT 멀티모달 사용법 교육

(출처: Wikimedia Commons)

회사에서 사내용 GPT를 도입해 업무에 활용하고 있다.
세일즈 엔지니어 역할을 하다 보면 공학 용어나, 논문, 마케팅 정보를 수시로 접한다.
수시로 오가는 자료들, 참고해야 할 논문들, 보고서를 읽다 보면 정확한 의미를 알고 싶은 경우가 많다. 
과거에는 가장 잘 알만한 사람에게 전화를 하거나 만나서 설명을 들었다. 
시간과 공간적인 제약이 따르기에 낭비요인이 발생한다. 
지금은 바로 GPT에게 물어 결과를 활용한다. 
아직까지 100퍼센트 신뢰할 수 없어 결과에 대한 검증은 필수다. 

사내용 GPT를 나름대로는 잘 활용하고 있다고 자부했는데 이게 깨졌다. 
'GPT 멀티모달' 교육을 신청했다.  
투앤하프컨설팅의 김종구 대표가 와서 강의했다. 
강의는 실습 중심의 과정이라 GPT의 강력한 효과를 직접 체험하는 시간이었다. 

지금까지는 프롬프트를 얼마나 공을 들여서 원하는 결과물을 얻을 건가에 집중했다. 
하지만 멀티모달 교육을 통해 한 걸음 더 나아갔다.
그림이나 PPT, WORD, PDF 등의 자료를 GPT의 도움을 받아 요약, 정리하는 방법을 배웠다. 

 

GPT4.1과 O3 mini의 차이

GPT4.1은 일반모델이며 넓고 광범위한 모델로 일반적인 질의응답에 적당하다. 
O3 mini는  추론모델로 논리적 사고에 유리해 수학, 통계, 논리, 코딩에 적합하다.

GPT4.1과 O3 mini를 이용해 pdf로 만들어진 학생들의 성적 자료에서 여학생들의 평균값을 구하라고 입력했다. 
그런데 GPT4.1은 정확한 값의 근삿값을 말해주긴 하지만 정답은 아니다. 
반면 O3 mini는 시간이 좀 더 걸리지만 정확한 답을 내놓았다. 

프롬프트도 중요하지만 원하는 용도에 맞는 에이전트를 사용하는 건 더 중요하다. 

(출처: Wikimedia Commons)

그림을 인식 가능

서양의 식사용 도구들이 놓여 있는 이미지를 프롬프트 창에 입력하고 그 이이지의 용도를 알려달라고 했다.
식사도구마다의 역할을 설명하고, 관련된 예절까지도 알려준다. 

Win + Shift + S를 눌러 화면을 캡처해서 질의하는 연습을 했다. 
인터넷에서 본 그래프나, 문제가 있는 제품에 대해 적당한 프롬프트를 입력하면 바로 답변한다. 
그림이나 그래프를 캡처해서 무엇을 나타내는 화면인지 설명하라고 하면 바로 설명을 한다. 
시 작품이 담긴 그림도 설명할 수 있다. 
그림에 있는 표를 다시 표와 텍스트로 만들어 달라고 해도 금세 만들어 준다. 
다만, 병합된 셀은 제대로 인식하지 못하는 단점도 있다. 
결함이 있는 사진들에 대한 조언도 들을 수 있다. 
모두가 개개인의 시간을 줄여서 생산성을 높이는 효과가 있다. 

주제가 바뀌면 새창에서 해야 이전의 질의 영향을 받지 않는다.

프롬프트에 개조식으로 해달라면 '~니다.'등의 표현 대신 '~임', '씀(음)' 등으로 끝난다. 

 

PDF파일도 읽는다

기술적으로 연구논문을 찾아야 할 경우 대부분이 pdf 자료에다 영어가 대다수라서 읽는데 시간이 필요하다. 
하지만 수십 페이지의 논문 자료도 GPT가 순식간에 요약하고, 시사점까지 도출해 준다. 
최근에 읽었던 영문특허 자료를 GPT에게 요약해 달라고 요청했다. 
한글로 바로 요약문과 시사점이 도출된다. 
이런 일을 했던 직업군은 사라질 위기에 처해있다. 

 

PPT 자료를 해석

회사에서 자주 사용하는 자료가 PPT다. 
GPT에서는 PPT 자료를 주고 페이지마다 발표용 스크립트를 생성할 수 있다. 
페이지별로 글자수도 지정해서 할 수 있다. 
특정 페이지에 있는 그래프나 그림을 GPT에 넣고 설명을 요청해도 답변을 한다. 

다만 보안 때문에 엑셀은 pdf로 전환해서 사용할 수 있다. 

 

그림을 그려준다. 

먼저 그림은 구성요소를 구체적으로 지정한다
DALL-E-3.0은 일반 GPT에 비해서 언어기능이 뒤처진다. 
그래서 일반 GPT에서 먼저 영문 프롬프트를 작성하는 게 필요하다.
이 영문 프롬프트를 '그림 생성 AI'를 활용하면 사람마다 조금씩 다른 그림을 보여준다. 
Genspark나 Ideogram을 사용하면 좀 더 실사처럼 그림을 그릴 수 있다. 

 

보고서도 작성해 준다

구체적인 상황을 나타내는 조건을 몇 가지 제시해 준다. 
Parameter값에 따라서 논리적인 정보가 필요한 경우에는 0.1, 감성적이고 창의적인 결과가 필요한 경우에는 0.9를 기입한다. 
보고서를 만들 때는 순서가 중요하다.
먼저 목차를 만들 만들어 준다.
목차에 맞게 초안 보고서를 요청한다.
초안을 바탕으로 최종 보고서를 작성한다. 

앞으로 특정 분야에서 아주 초보자나, AI를 자유자재로 사용할 수 있는 사람들로 양분될 거다. 
중간층에 있는 사람들의 일자리는 사라진다. 
생성형 AI가 대세로 세상을 바꿀 거라는 외침이 들린다.
자포자기하기보다는 자신이 좋아하는 뭔가를 GPT와 연계해서 뭔가를 만들어내는 편도 좋겠다.

2시간을 할애해서 참여한 '멀티모달' 교육은 업무의 효율성을 높이고 생산성 향상에도 기여할 수 있겠다는 자신감을 주었다.