연구실의 전계원, 홍정욱, 정서윤, 부상혁, 박지은, 조정민 학생이 6월 20일 부터 23일까지 이탈리아 베니스에서 개최된 2022 ACM C&C 학회의 발표, 포스터 세션에 참석하는 기회를 가졌습니다.
이번 학회는 다양한 관점의 인간 AI 상호작용 연구들에 대한 발표들이 주를 이루었고, 그 중 딥러닝 등의 인공지능 기술을 활용해 인간과 가까워질 수 있는 인지기술과 창의성에 대한 연구들이 소개되었습니다.
유머와 같은 인간적인 요소를 표현할 수 있는 방식, text-to-image 기술의 질적 향상을 위한 기술 등 기존에 사람의 요구에 대한 응답을 제공하는 AI의 기능을 넘어 창의성 요소를 포함하는 연구들과 사람과의 상호작용을 통한 질적향상 등의 기존 AI 연구에서 벗어나 다양한 시각의 연구를 접하며 사람과의 상호작용에 대한 연구 인사이트를 얻을 수 있는 귀중한 시간을 가졌습니다.
2022년도 정보통신기획 평가원의 사람중심인공지능핵심원천기술개발(R&D) 사업의
의료지식 생성을 위한 설명가능한 논리추론 기술개발 연구에 선정되었습니다.
인공지능과 상호작용을 통한 ‘사용자 경험’을 다룬 책 “메타 경험 – 메타버스에서 인공지능과 공감하다”가 출간되었습니다 (넥서스BIZ). 이 책은 융합의 관점에서 사용자 경험을 다루며, 인공지능, 감정과 공감, 가상과 초월 등 다양한 키워드를 여러 사례를 통해 쉽게 풀어내고 있습니다. 저자인 이상원 교수는 현재 성균관대학교 인터랙션사이언스학과, 인공지능융합학과, 글로벌융합학부 부교수 및 ID square(Interaction Design and Development) 연구실 책임자로 재직 중입니다.
<프롤로그 중>
메타버스 시대, 컴퓨터와 상호 작용하며 우리의 경험이 쌓인다. 이 책은 공학, 사회과학, 디자인의 융합 관점에서 우리의 경험을 바라보며 다양한 관점에서 이야기를 풀어낸다. 구체적으로, 컴퓨터와의 소통을 통한 ‘경험’이 시간과 장소의 제약을 더 벗어날 것이란 측면에서 ‘메타버스’를 강조한다. 이것이 이 책의 제목을 《메타 경험》으로 정한 이유다.
<에필로그 중>
처음부터 책을 쓰려고 한 것은 아니었다. 2020년 미국에서 연구년을 보내던 와중에 강의 자료를 업데이트하려고 한 게 시작이었다. 강의 내용의 특성 상 연구 및 사례, 일상생활에서의 경험 등을 자주 언급했었는데, 시간이 좀 나던 차에 제대로 정리해 보려고 한 것이다. 잘못된 정보나 지식을 제공한 것은 아니었는지, 학생들에게 다시금 찾아볼 수 있는 정확한 출처는 기입해 두었는지 예전부터 걱정스럽기도 했다.
하지만 정작 문제는 다른 곳에 있었다. 강의 자료를 다시 보는 것만으로는 수업 시간에 말했던 사례와 경험이 온전히 복기되지 않았다. 그래서 그 이야기를 왜 했는지 흐름과 맥락을 잘 기억해 내고자 강의 내용을 처음부터 글로 쓰기 시작했다. 학생들에게 편하게 말하듯 손 가는 대로 썼다. 이 책에 개인 경험에 대한 이야기가 많은 것은 이 때문이다. 시간이 지나고 원고 매수가 쌓이니 욕심이 생겼다. 수업 시간 학생들의 피드백이 나쁘지 않았고 이 책처럼 접근한 경쟁(?) 도서가 없다는 점을 ‘자체’ 판단하고, 호기롭게 책을 내기로 마음먹었다. 그때까지만 해도, 아니 초고가 다 만들어질 때까지도 출판사를 찾아볼 생각을 하지 못했다. 누구든 내 줄 것만 같았다.
“몰라서 용감했고 그래서 여기까지 왔다.”는 말이 딱 맞는 것 같다. 초고가 완성(?)되고 넥서스 출판사를 소개받아 검토를 요청했다. 글은 나쁘지 않다는 처음의 립서비스가 잊혀 갈 때쯤 많은 부분이 보완되어야 한다는 피드백이 날아왔다. 연구년도 끝나가고 복귀해서는 다른 일들을 신경 써야 했기에, 과연 이게 대중서로 세상에 나갈 수 있을까 하는 회의감이 들었지만 다시 무지한 용기를 내기로 했다. 책 콘셉트와 구성을 여러 번 바꾸었고 대중적 내용을 강조하면서 말하고자 하는 것들을 명확히 하려 노력했다. 글을 쓰기 시작하고 출판되기까지 약 1년 6개월이 걸렸다. 몰라서 시작할 수 있었고, 과정 속에 좌절과 희망이 공존했으며, 많은 사람의 조언과 격려 속에서 돌이키기에는 너무 멀리 왔다는 기분을 느끼며 이 책을 쓰고 마무리했다.
알라딘 https://www.aladin.co.kr/shop/wproduct.aspx?ItemId=294961408
YES24 http://www.yes24.com/Product/Goods/109619436
교보문고 http://www.kyobobook.co.kr/product/detailViewKor.laf?ejkGb=KOR&mallGb=KOR&barcode=9791166832772&orderClick=LAG&Kc=
지난 4월 28일 ~ 4월 29일, 대한인간공학회 춘계학술대회가 서울 마곡 LG 사이언스파크에서 개최되었습니다.
이번 학회는 오프라인으로 진행되었고, 학계와 산업계의 다양한 연구원들이 참가하여 교류의 기회를 가졌습니다.
저희 연구실의 전계원, 박지은, 부상혁, 정서윤 학생은 진행한 연구를 구두로 발표할 기회를 가졌습니다.
또한 조정민 학생은 연구실에서 진행한 “자율주행 상황 위험도와 긴급도 기반 멀티모달 XAI 설명 인터페이스 개발” 연구 내용을 발표하였습니다.
1.전계원 학생의 발표 논문 소개
전계원 학생은 “반사실적 요인 조작을 통한 세렌디피티 추천 시스템” 연구를 발표하였습니다. 전계원 학생은 본 연구에서 추천 시스템의 사용자가 영화에 대해서 반사실적인 사고를 통해 조작요인을 선별하고, 국소적인 정보 조작을 통해 추천의 연관성을 유지하면서 새로운 추천 결과를 받을 수 있는 세렌디피티 추천 시스템을 제안하였습니다.
2. 박지은 학생의 발표 소개
박지은 학생은 “사용자 피드백의 입력 임베딩을 활용한 Critiquing-based 대화형 추천시스템” 연구를 발표하였습니다. 본 연구에서는 대화형 추천 시스템에서의 사용자가 제공하는 대화 형태의 Critiquing 정보를 sentimental analysis를 통해 평가 후 입력값에 반영하여 사용자 중심의 추천 결과를 도출할 수 있는 시스템을 제안하였습니다.
3. 부상혁 학생의 발표 소개
부상혁 학생은 “크로스모달 어텐션 기반 개인화 영화 추천 시스템” 연구를 발표하였습니다. 본 연구에서는 기존의 추천시스템에서 활용한 영화 메타 정보에 더해 사람들이 영화를 소비할 때 집중하는 정보인 포스터와 줄거리 정보를 포함하여 멀티 모달 형태의 데이터를 활용한 추천 알고리즘을 제안하였습니다.
4. 정서윤 학생의 발표 소개
정서윤 학생은 “디지털 어포던스 관련변인에 관한 메타 연구: 금융/카드사 모바일 앱을 중심으로” 연구를 발표하였습니다. 본 연구에서는 금융/카드사의 모바일 앱을 설계하는데 있어 디지털 어포던스를 적용한 사용성 개선에 있어 실무자와의 인터뷰를 통해 실제 현업에서 판단하는 디지털 어포던스의 적용이 필요한 요소와 이에 따른 논의점을 발표하였습니다.
5. 조정민 학생의 발표 소개
조정민 학생은 연구실에서 진행한 “자율주행 상황 위험도와 긴급도 기반 멀티모달 XAI 설명 인터페이스 개발” 연구 내용을 발표하였습니다. 자율주행 상황에 있어 4단계 진입의 장벽으로 생각되는 시스템에 대한 신뢰도를 향상시키기 위해 탑승 중 제어권 전환상황, 자율주행 상황에서 시각, 청각의 멀티 모달리티 기반 인터페이스를 활용한 설명을 제공하여 시스템의 신뢰도를 증진시킬 수 있는 연구 내용을 발표하였습니다.
이번 2022 대한인간공학회 춘계학술대회 참여를 통해 UX/UI, 인공지능, 자율주행 차량 연구 등 다양한 도메인의 연구 내용을 공유하고 학회에 참가한 연구진들과의 교류를 할 수 있는 유익한 시간을 가졌습니다.
2월 24일, 2022학년도 동계 학위수여식이 있었습니다.
저희 연구실에서는 김상연 박사과정, 허인실, 김우찬 석사과정 학생이 졸업을 하게 되었습니다.
코로나 상황이 지속되어 연구실 학생들끼리 명패 전달 및 소소하게 축하하는 자리를 가졌습니다.
그리고 2022학년도에 연구실에 들어온 김휘성, 최인헌 학생과도 환영의 시간을 가졌습니다.
세 학생의 졸업을 진심으로 축하드립니다~
앞으로 행복한 일들만 가득하시길 바랍니다.
지난 2월 9일 ~ 2월 11일, HCI KOREA가 서울대학교 아시아연구소에서 개최되었습니다.
이번 학회는 COVID-19로 인해 온라인과 오프라인의 방식으로 진행되었고, 오프라인 학회와 다름없이 활발하게 진행되었습니다.
저희 연구실의 전계원, 조정민, 홍정욱 학생은 구두 논문/포스터 발표 세션에 온라인으로 참가하였습니다.
1.전계원 학생의 발표 논문 소개
전계원 학생은 “악성 비율과 키워드에 근거한 악성 댓글 완화 설명 구조 제안”이라는 논문을 발표하였습니다. 전계원 학생은 본 연구에서 토픽 모델링을 해 각 토픽 별 악성 댓글의 비율과 악성 댓글에 자주 등장하는 키워드 정보를 추출해 두 정보를 조합하여 설명을 생성하는 악성 댓글 완화 설명 구조에 대해 제안하였습니다.
2.홍정욱 학생의 발표 논문 소개
홍정욱 학생은 “개인형 이동수단 안전성 향상을 위한 음성 인터페이스 제안: 전동킥보드를 중심으로”라는 논문을 발표하였습니다. 홍정욱 학생은 본 연구에서 전동킥보드의 인터페이스 측면에서 사용자의 안전 위협 요인을 분석하고, 안전성 향상에 초점을 맞춘 음성 인터페이스에 대해 제안하였습니다.
3.조정민 학생의 발표 논문 소개
조정민 학생은 “모바일거래시스템의 사용자 중심 디자인 가이드라인 제안: 토스증권을 중심으로” 라는 논문을 발표하였습니다. 조정민 학생은 본 연구에서 모바일거래시스템(Mobile Trading System, MTS) 상황의 서비스 품질 요인 문헌들을 체계적으로 검토해 편리성, 정보성, 개인화의 3 가지 핵심 품질 요인을 도출하고, 이를 기반으로 MTS 의 사용자 중심 디자인 가이드라인을 제안하였습니다.
이번 2022 HCI Korea 참여를 통해 HCI와 UX 관련한 학문의 최신 동향에 대해서도 알아볼 수 있었고, 여러 IT기업의 종사하는 다양한 강연자들의 현장의 소리를 들으며 인간 중심 연구에 대해 고민해 볼 수 있는 유익한 시간을 가졌습니다.
2021년 11월 28일 ~ 12월 1일, 대한인간공학회 추계학술대회가 제주국제컨벤션센터에서 개최되었습니다.
이번 학회는 ‘미래사회의 패러다임과 인간공학’을 주제로 하여 다양한 발표 세션이 열렸습니다. 오프라인으로 진행된 세션은 방역 수칙에 따라 참여자 모두가 마스크를 착용하고 안전하게 진행되었습니다.
세션은 물리적인 측정과 디자인 연구와 같은 연구들 뿐 아니라 온라인 서비스의 사용성에 대한 탐구, 딥러닝과 머신러닝 기법을 적용한 서비스 연구 등 인간 이라는 키워드 하에 다양한 방식으로 진행한 연구들이 소개되었습니다.
또한 이번 학회의 기조강연에서는 남창수 교수님께서 참가하여 Human factors 측면에서 살펴 본 BCI(Brain-Computer Interface) 기술의 발전가능성과 한계에 대해서 말씀해 주셨습니다.
세션과 기조강연 참을 통해 인간 중심의 인공지능 및 인터랙션에 대한 인사이트를 얻고 추후 진행할 연구에 대한 고민을 해볼 수 있는 유익한 시간을 가졌습니다.
2월 18일, 2021학년도 동계 학위수여식이 있었습니다.
저희 연구실에서는 신재은, 박경빈 석사과정 학생이 졸업을 하게 되었습니다~
사회적 거리두기로 인해 많은 사람들이 모이지는 못하였지만,
몇몇 연구실 학생들끼리 명패 전달 및 작게 축하하는 자리를 가졌습니다.
두 학생의 졸업을 축하합니다!
졸업 후에도 행복한 일들만 가득하길 바랍니다 🙂
오늘은 국제 학술대회 IMCOM 2021(http://www.imcom.org/)에 박경빈, 신재은 석사과정 학생의 구두 발표 세션 참가 소식을 전합니다 😀
제15회를 맞이한 IMCOM 2021(International Conference on Ubiquitous Information Management and Communication 2021)은 인공지능 기술이나 컴퓨팅 디바이스 등을 활용한 Information Processing Management, Interaction & Communication Design 관련 주제를 다루고 있는 IEEE 학술대회입니다.
코로나 19 확산으로 이번 학술대회는 2021년 1월 4일부터 6일간 온라인으로 진행되었는데요 🙂
1. 박경빈 학생의 발표논문 소개
먼저, 박경빈 석사과정 학생은 “R2: Virtual influencers” 세션에 참가하여 “Computers as Social Actors? Examining How Users Perceive and Interact with Virtual Influencers on Social Media” 제목의 논문을 발표하였습니다.
최근, 인스타그램과 같은 소셜 미디어상에서 마치 실존인물처럼 유명인사와 함께 찍은 사진을 공유하거나 패션 광고를 하는 등 큰 영향력을 행사하고 있는 가상 인플루언서(Virtual Infunecer)가 큰 이목을 끌고 있습니다.
박경빈 학생은 이러한 가상 인플루언서와의 인터랙션에 대한 사용자 경험(UX)을 사용자 코멘트 데이터를 기반으로 LIWC 감성분석(sentiment analysis) 방법론을 활용하여 분석하였습니다.
박경빈 학생의 발표는 오늘날 소셜 미디어, 챗봇, AI 비서와 같이 일상에 더욱 깊숙이 자리 잡아가고 있는 가상 에이전트(virtual agent)에 대한 사용자들의 인식을 분석하고 나아가 해당 인식에 영향을 미친 요인을 빅데이터 분석을 통해 도출해냈다는 점에 큰 주목을 받았습니다.
2. 신재은 학생의 발표논문 소개
다음으로, 신재은 석사과정 학생은 “R10: Virtual education” 세션에 참가하여 “Tactile-Color System for Accessibility of Color Education: 2.5D UV Printed Supplementary Material for Visually Impaired Students”라는 제목으로 프리젠테이션을 하였습니다.
신재은 학생은 학회에 참가한 다른 연구자들로부터 시각장애인들에게 실제로 필요한 실용적 연구를 진행한 것이 인상적이었다는 의견을 받았습니다.
더불어, 추후 이 연구를 활용한 어플리케이션 개발 등의 계획에 대한 질문을 받았습니다.
마치며..
하루빨리 코로나 19가 물러가 국제 자리에서 전 세계 다양한 연구자들과 직접 만나 소통하는 날이 오기를 기원합니다.
고맙습니다 ☺
오늘은 박경빈 석사과정 학생이 참여한 “시각장애인을 위한 다중감각 미술 작품 전시” 소식을 전합니다.
이번 전시에서는 성균관대학교 휴먼ICT학과가 중심이 되어 전국 시각장애 특수학교에서 시각 외에 촉각, 청각 등의 다중감각을 통해 시각장애인이 미술 작품을 감상할 수 있도록 다양한 컴퓨팅 기술이 접목된 미술 작품들이 전시되었습니다.
문화예술 전시공간에는 작품과 작가에 대한 해설을 언어적 설명을 통해 관람객에게 전달하는 전문 안내인으로 도슨트가 있습니다. 도슨트는 시각장애인이 작품에 대한 해설이 명확하게 이해되지 않았을 때나 작품에 대해 추가로 알고 싶은 정보가 있을 때 언제든 정보를 요청하여 답변을 들음으로써 깊고 풍부한 작품 감상을 줄 수 있습니다.
이러한 관점에서, 박경빈 학생은 시각장애인이 인공지능 기반 가상 도슨트(virtual docent)와 자유롭게 대화하며 미술 작품을 감상하고 이해할 수 있도록 돕는 에리카(Erica)라는 에이전트를 개발하여 전시하였습니다.
에리카는 사용자와의 음성 인터랙션을 통해 오디오 해설을 재생하거나 작품 요소에 대한 86가지 유형의 상세한 해설을 추가적으로 제공합니다. 작품에 대한 추가적인 해설 유형은 시각장애인 16명을 대상으로 심층 인터뷰를 통해 작품과 관련한 정보 획득 요구를 분석한 결과를 반영하여 구성하였습니다(박경빈, 조준동, 이상원, 2020).
나아가, 단순히 정보 제공뿐만 아니라 마치 동행인과 함께 미술 작품을 감상하고 있다는 ‘동반감상 경험’을 제공함으로써 해당 에이전트를 컴패니언(companion)으로서 인식할 수 있도록 돕는 에이전트의 선발화 기능을 탑재하였습니다. 즉, 해당 에이전트는 관람객의 감상평은 어땠는지, 작품 내 특정 요소에 대한 관람객의 해석은 어떠한지 관람객에게 먼저 질문한다고 하는데요 🙂
에리카는 Amazon Web Service(AWS)를 통해 서버 데이터베이스를 구축하고 SKT의 AI 스피커 NUGU 디바이스에 탑재하였습니다. 해당 작품은 시각장애인뿐만 아니라 일반인을 대상으로 강원도 춘천시에 위치한 강원 명진학교에서 약 열흘간(2020년 12월 7일부터 12월 18일) 전시되었습니다.
박경빈 학생은 전시 기간에 코로나 19의 확산으로 시각장애 관람객을 직접 만나 뵙고 에이전트에 대한 인터랙션 경험에 대한 이야기를 나눠볼 기회가 되지 않아 아쉬움이 컸다고 전했습니다. 그럼에도 조금이나마 시각장애인분들이 시각 이외의 감각을 통해 전시문화예술 작품을 쉽고 즐겁게 감상할 수 있도록 돕기 위한 시도를 했다는 점에 뿌듯하고 동시에 큰 자부심을 느낄 수 있었던 전시 참여 경험이 되었다고 전했습니다.
참고문헌
박경빈, 조준동, 이상원. (2020). 시각장애인의 미술 작품 감상 시 정보 획득 요구 분석. 시각장애연구, 36(4), 23-51.