해외동향
[미국]광고판으로 유발된 수동적 주의 분산에 대한 운전자의 시각 및 인지 반응 분석: 시선 고정 관련 뇌파(EFRP)를 활용한 연구
이번 6월 보고서는 지난 미션 과제 중 광고판이 운전자의 주의 산만에 미치는 영향을 심층 분석한 논문, “광고판으로 유발된 수동적 주의 분산에 대한 운전자의 시각 및 인지 반응 분석: 시선 고정 관련 뇌파(EFRP)를 활용한 연구”를 요약·발췌한다.
요약
차량 외부의 주의 산만 요소들은 운전자의 시각적 주의를 분산시켜 교통사고를 유발할 수 있다. 특히 저비용·효율적인 광고 수단으로 널리 설치된 도로변 디지털 광고판은 주목받는 대표적인 사례이다. 그러나 이러한 광고판이 운전자의 주의 분산, 시선 움직임, 인지 반응에 미치는 영향은 충분히 연구되지 않았다.
이 연구에서는 맞춤화된 운전 시뮬레이터, 동기화된 뇌파(EEG) 및 시선 추적 시스템을 활용하여 운전 시 시각 정보 처리에 따른 인지 과정을 조사하였다. 단순히 도움이 되는 자극과 주의 분산 자극을 유발하는 자극에 대한 시선 고정(fixations)을 구분하였으며, 특히 광고판과 계기판(dashboard)에 대한 인지 반응을 비교·분석하였다.
측정된 시선 고정 관련 뇌파(Eye-Fixation Related Potential: EFRP)에서 초기 P1 성분은 두 자극 간 유사했지만, 이후의 N1과 P2 성분에서는 차이가 나타났다. 또한 제한 속도 표지판에 따라 운전 속도를 조절할 때 발생.하는 EEG 기반 운동 반응도 포착되었다.
실험 결과는 제안된 측정 시스템이 운전자 인지 상태를 평가하는 유효한 도구임을 보여주며, 광고판에 대한 인지적 개입 수준이 주의 분산의 전조(pre-cursor)가 될 수 있음을 시사한다. 또한 이러한 결과는 인간 정보 처리 모델과 비교·분석되었다.
1. 서문
광고판은 인기 있는 광고 수단으로, 전통적으로 길가에서 운전자가 볼 수 있도록 배치된 크고 인쇄된 표지판이다. 최근의 발전으로 인해 정보를 전달하기 위해 단일 또는 다중, 정적 또는 동적 광고를 표시하는 대형 전자 이미지 디스플레이인 디지털 광고판이 도입되었다. 전 세계적으로 도로망에서 광고판이 빠르게 발전하고 있다. 트래픽이 많은 위치는 광고주에게 가장 매력적이다[1]. 결과적으로 이러한 광고판은 운전자의 주의를 요구하고 있으며, 이는 도로에 대한 운전자의 주의에 영향을 미칠 수 있다. 유럽과 미국에서는 광고판의 설계 및 생산을 표준화하기 위한 표준 및 규정이 발표되었다. 광고판과 관련된 도로 충돌은 교통 충돌 사고의 원인으로 나타났다[2,3]. 운전자의 주의 산만과 관련된 광고판을 조사한 연구 조사에 따르면 광고판은 충돌 위험을 증가시킬 수 있다[4]. 본 연구에서는 EEG와 시선 추적 시스템을 결합한 방법과 맞춤형 운전 시뮬레이터를 사용하여 광고판으로 인한 운전자의 주의 산만을 조사했다. 광고판에 보이는 시선 고정 행동과 운전을 보조하는 시선 고정에 대한 운전자의 시각 및 인지적 반응을 비교함으로써 연구진은 운전자의 뇌 인지 과정에서 차이점을 발견하였다.
광고판은 크게 능동형과 수동형의 두 가지 하위 범주로 나눌 수 있다. 능동형 광고판은 짧은 기간 동안 운전자에게 콘텐츠를 정기적으로 변경하고 하나 이상의 광고를 볼 수 있게 한다. 수동형 광고판에는 단일 광고가 포함되어 있다. 능동형 광고판에는 디지털 전광판과 디스플레이를 기계적으로 변경하는 표지판(예: ‘롤러바(rollerbar)’ 또는 ‘트라이비전(tri-vision)’ 광고판)이 포함된다. 디지털 광고판은 크기, 색상 및 눈에 띄는 위치로 인해 잠재적으로 더 산만해질 수 있다. 대형 옥외 디지털 광고판은 일반적으로 도로를 따라 나타난다. 따라서 디지털 전광판은 운전자의 운전 과정에서 다른 요인들과 주의를 끌기 위해 경쟁할 것으로 예상할 수 있다. 미국 고속도로 교통안전국(NHTSA)은 시선 추적 도구를 사용하여 수집한 데이터를 기반으로 한 연구를 수행했으며, 그 결과 디지털 광고판이 운전자의 시각적 주의에 영향을 미쳐 잠재적으로 교통사고로 이어질 수 있음을 보여주었다[5].
광고판이 운전자의 주의 산만에 미치는 영향을 결정하는 것은 어려운 문제이다. 두 개의 초기 보고서에서는 다양한 사고 조사 및 사고 원인 데이터베이스에서 도로 충돌 비율과 외부 방해 요소(광고판 포함) 간의 상관관계를 조사하고 검토했다[3,6]. 두 연구 모두 이전의 많은 연구가 충돌률과 광고판의 존재 사이의 연관성을 보여주지 못했다고 상술하였다. 보다 최근의 연구에서도 도로변 광고로 인한 충돌 유병률(crash prevalence)에 큰 차이가 있음을 발견하지 못했다[7–9]. 또한 연구 조사에 따르면 운전자는 자신의 책임이 노출될 수 있다고 느끼기 때문에 광고판 산만함을 충돌의 원인으로 식별하지 않을 수 있다[3,6]. 또한 실제 사고 데이터는 사고 전 운전자의 인지 과정에 대한 정보를 제공하지 않았다. 그러나 실험실 환경은 광고판이 운전 성능에 어떻게 영향을 미칠 수 있는지를 확인할 수 있는 통제된 환경을 제공한다. 존스턴(Johnston)과 콜(Cole)[10]은 주행과 무관한 표지판이 제시될 경우, 임계 부하(critical load) 상태에서 작업 수행 능력이 크게 저하된다는 것을 발견하였다. 루오마(Luoma)[11]는 광고판이 교통 표지판의 주의를 산만하게 하고 의식적인 인식을 감소시킨다는 것을 발견한 시뮬레이션 방법을 개발하고 테스트하였다. 클락(Clark)과 데이비스(Davies)[12]는 시뮬레이션된 운전 실험에서 운전과 관련이 없는 표지판이 도로 표지판에 대한 응답을 지연시킨다는 것을 발견했다. 벤닥(Bendak)과 알살레(Al-Saleh)[13]는 광고 표지판이 있는 도로에서 광고 표지판이 없는 도로에 비해 운전 성능(차선 이탈 및 위험한 교차로를 무모하게 건너는 것)이 더 나쁘다는 것을 발견했다. 최근 연구에 따르면 광고 내용과 운전자의 시야에 대한 광고판 위치가 모두 운전자의 주의 산만에 큰 영향을 미치는 것으로 나타났다[14].
대부분의 운전자 주의 산만 연구에서 시선 추적기는 운전자의 시각적 행동을 조사하기 위해 시선 움직임을 추적하는 데 사용되었다. 안구 움직임 측정 및 시선 지속 시간 측정은 일반적으로 사용되는 기술이다. 다른 연구에서는 시각 행동을 (1) 시선 변동성(GV: Gaze Variability), 시선 패턴 활동(GPA: Glance Pattern Activity), 전방 도로를 바라보는 데 소요된 시간의 비율, (2) 예상치 못한 운전 관련 자극에 대한 시선 확인, (3) 운전에 관련된 예상 자극에 대한 시선 확인, (4) 광고판을 향한 순간적인 시선 등으로 분류하였다[15]. 에드퀴스트(Edquist et al.) 등[16]은 광고판이 있는 도로는 광고판이 없는 도로에 비해 도로 표지판에 대한 운전자의 응답 시간을 지연시키고 전방 도로에 고정하는 시간이 줄어든다는 것을 발견했다. 베이저(Beijer) 등[17]은 수동형 표지판과 비교할 때 능동형 표지판에 대해 상당히 긴 시선이 머문다는 것을 발견했다. 크룬달(Crundall) 등[18]은 도로변 광고의 높이 수준이 운전자의 시선 고정을 증가시키는 요인이라고 보고했다. 리(Lee et al.) 등[19]은 디지털 광고판이 운전자의 관심을 더 많이 끌며, 이는 정적 광고판과 비교할 때 운전 성능에 훨씬 더 큰 손상을 일으킨다는 것을 발견했다. 메지아스(Megías) 등[20]은 감정적인 광고가 중립적인 광고에 비해 더 많은 수의 시선 고정을 유발한다는 것을 발견했다. 채팅턴(Chattington et al.) 등[21]은 풀 모션 비디오 광고판이 정적 광고판보다 도로에서 더 많은 시선과 연관되어 있음을 발견했다. 스마일리(Smiley) 등[22], 후닥(Hudák) 및 매들냑(Madleñák)[23,24]은 비교적 오랜 기간 동안 광고판에 운전자의 시선과 고정 시간을 보여주었다. 더욱이 실제 운전 연구에서 두키치(Dukic) 등[25]은 운전자가 다른 도로 표지판에 비해 디지털 전광판을 지나갈 때 더 많은 시선 고정 횟수와 더 긴 고정 시간이 발생한다는 것을 발견했다.
2. 방법론
이 절에서는 동기화된 EEG와 시선 추적 시스템, 그리고 맞춤형 운전 시뮬레이터를 활용한 실험 방법을 상세히 기술한다. 맞춤형 운전 시뮬레이터의 구성, 실험 절차, 참가자 프로필, 데이터 기록에 사용된 하드웨어가 소개된다. 또한 시선 고정 이벤트의 선정 기준과 분석 대상이 된 ERP 구성 요소들에 대해서도 논의한다.
2.1 운전 시뮬레이터
실험 세팅은 Unity™ 3D 게임 엔진[45]을 사용해 개발된 운전 시뮬레이터를 중심으로 구축되었다. 이 Unity 기반 시뮬레이터는 총 4가지 기본 구성 요소로 이루어져 있다: 2차선 고속도로 도로 자산, 차량 자산, 도로 표지판 자산, 광고판 자산이다. BMW M3 모델이 차량 자산으로 선택된 이유는 현실적인 모델링을 제공하며, 차량의 물리적 움직임을 시뮬레이션하는 물리 엔진이 포함되어 있었기 때문이다[46]. Unity 시뮬레이터는 Windows 10 기반 컴퓨터에서 구동되며, 해당 시스템은 Intel™ 쿼드코어 Xeon 프로세서와 Nvidia™ 그래픽 카드를 탑재하고 있다. 화면은 세 개의 1024×768 모니터를 Matrox™ TripleHead2Go 컨버터를 통해 하나의 3072×768 해상도의 연속된 화면으로 구성하여 운전자에게 넓은 시야각을 제공한다. 운전 환경 내 차량 조작을 위해 Logitech™ G27 스티어링 휠(포스 피드백 기능 포함)과 기본 페달 세트가 제공되었으며, 참가자는 정면 중앙 화면을 향해 앉아 시뮬레이터를 조작한다. 시뮬레이터는 다른 차량이 없는 도로 환경으로 설정되었다.
그림 1. 주행 시뮬레이터로 시승을 하는 참가자
운전 시뮬레이터는 1인칭 시점(first-person view)으로 설정되어 있어, 차량의 보닛과 창문이 시야에 보이지 않고 도로 전경만을 볼 수 있도록 구성되었다(그림 2 참고). 시뮬레이터 내 차량은 사전에 정의된 일련의 위치 좌표(waypoints)를 따라 주행하도록 설정되었으며, 이 위치 좌표는 사용자 지정 차선 위치에 따라 주행 경로를 구성한다. 실험 중 운전대는 실제 조향 기능은 비활성화되었지만 자유롭게 움직일 수 있도록 설정되었다. 이는 운전 조작에서 발생할 수 있는 불필요한 주의 분산을 제거하기 위한 조치이다. 운전자는 가속 페달을 통해 주행 속도를 조절할 수 있으며, 차량의 대시보드에는 디지털 속도계가 포함되어 있다. 최고 속도는 90km/h로 제한되었다.
그림 2. 운전 시뮬레이터에서의 1인칭 시점 주행 화면을 보여주는 스크린샷. 오른쪽 하단의 3D 좌표축 범례는 별도로 추가된 것이다.
총 50개의 테스트 구간이 있었으며, 각 구간에는 속도 제한 표지판과 디지털 광고판이 하나씩 포함되어 있었다. 속도 표지판은 도로 왼쪽에, 광고판은 도로 오른쪽에 위치했으며, 각 표지판 쌍은 동일한 x축 상에 배치되었다(그림 2 및 3 참조). 현재의 속도 표지판과 디지털 광고판 쌍에서 다음 쌍까지의 거리는 속도 표지판에 표시된 속도 제한 값에 따라 정의되었다(그림 2 참조). 예를 들어, 현재 속도 제한이 40km/h인 경우, 다음 쌍까지의 거리는 300m, 속도 제한이 60km/h이면 400m, 속도 제한이 80km/h이면 500m로 설정되었다. 이러한 거리 값을 선택한 데 특별한 과학적 근거는 없지만, 현재 광고판 위치에서는 다음 광고판이 인지되지 않도록 최소 300m의 간격을 확보하기 위한 목적이 있다. 또한 운전자의 피로도를 줄이기 위해 전체 주행 시간이 너무 길지 않도록 고려하였다. 속도 제한 값은 무작위로 설정되었지만, 같은 속도 표지판이 연속해서 나타나지 않도록 조정되었다(표 1 참조).
그림 3. 실험 설계의 개요도
표 1. 속도 표지판 및 디지털 광고판을 정량화한Unity 주행 시뮬레이터 매개변수
디지털 광고판의 콘텐츠는 브랜드 로고, 단순한 광고, 교통 메시지 등 잘 알려진 목록에서 무작위로 선택되었다. 그림 4는 실험에 사용된 디지털 광고판의 예시 3가지를 보여준다. 총 50개의 디지털 광고판은 두 가지 유형으로 나뉘었다. 절반은 정적(static) 광고판으로, 실험 내내 변하지 않는 이미지를 고정적으로 표시하며, 나머지 절반은 동적(dynamic) 광고판으로, 운전자가 접근함에 따라 이미지가 한 번 변경된다. 동적 광고판은 광고판으로부터 약 80m 거리(정확히는 x축 방향 기준)에서 콘텐츠가 변경되도록 설정되었다. 이 임계 거리(threshold)는 운전자가 속도 표지판을 읽을 수 있게 되는 지점과 광고판 간 거리로 정의되었으며, 이를 확인하기 위해 시뮬레이터를 고정된 속도로 운행하며 표지판이 인식 가능한 시점에서 키를 눌러 기록하는 방식으로 측정되었다.
그림 4. 디지털 광고판의 예.
2.2. 실험 참가자
이 실험에는 건강한 성인 11명이 자발적으로 참여하였다. 모든 참가자는 대학원생 또는 대학 교직원으로 구성되었으며, 남성 8명, 여성 3명, 전원 오른손잡이였다. 연령대는 22세에서 55세 사이이며, 평균 연령은 32.3세였다. 모든 참가자는 과거 또는 현재의 신경학적 또는 정신과적 질환이 없었으며, 시력 또한 정상 또는 교정 시 정상 수준이었다.
실험은 해당 대학의 윤리위원회 승인을 받았으며, 참가자 전원에게 서면 동의서를 사전에 받았다. 모든 참가자의 측정이 완료된 후, 10명의 참가자에 대해 유효한 데이터셋이 확보되어 분석에 사용되었다.
2.3. 실험 절차
EEG 전도성 젤에 대한 피부 알레르기 반응 여부를 확인하기 위해, 실험 24시간 전에 알레르기 테스트를 사전에 실시하였다. 실험 당일, 모든 참가자에게 동의서를 다시 읽도록 요청하였으며, 궁금한 사항은 질문하도록 안내하였다. 또한 참가자는 자신의 연령 및 운전 경험 수준을 기재하는 간단한 설문지를 작성하였다. 운전 시뮬레이터의 조작에 익숙해질 수 있도록 연습 운전을 실시하도록 권장하였다. 실험은 조명이 낮고, 방음 처리 및 전자파 차폐가 된 실험실에서 진행되었다. 참가자는 중앙 모니터로부터 약 100cm 떨어진 편안한 의자에 앉았으며, 시선 추적기와 참가자의 눈 사이 거리는 약 70cm였다. 참가자의 머리에는 적절한 크기의 EEG 캡을 착용시키고, 전도성 젤을 도포하였다. 10명의 참가자 중 2명(참가자 1번과 3번)은 실험의 목적에 대해 사전에 고지되었으며, 나머지 참가자들은 운전 과업이 끝날 때까지 실험 목적을 알려주지 않았다. 이들에게는 단순히 운전 행동을 분석하는 실험이라고 설명되었다. 모든 참가자는 운전 과업 수행 중 교통법규를 준수하도록 요청받았다. 실험 시작 시, 9점 시선 보정(가운데, 네 귀퉁이, 네 변의 중앙) 절차가 수행되었다.
각 참가자는 단일 녹화 세션에서 한 번의 운전 주행(run)을 완료했으며, 한 번의 주행은 약 25분간 진행되었다. 실험 중에는 총 4개의 데이터 스트림이 참가자별로 수집되었다: EEG 데이터, 시선 추적 데이터, 운전 시뮬레이터 내 카메라 위치 데이터, 운전 제어 입력(조향 장치 위치, 가속 페달 위치 등). 시뮬레이터는 렌더링에 사용된 카메라 뷰와 조향/가속 입력 값도 함께 기록하였다.
2.4. 데이터 기록
EEG 데이터는 g.Tec의 g.USBamp 장비(Guger Technologies, 오스트리아 그라츠)를 사용하여 기록되었다. 이 장비는 16개의 활성 전극이 장착된 EEG 캡을 사용하며, 512Hz의 샘플링 속도로 데이터를 기록한다. 전극 위치는 10–20 시스템 배치법과 그 사이의 중간 위치(AF3, F7, T7, CP5, P7, P1, PO1, Cz, Pz, PO2, P2, P8, CP6, T8, F8, AF4)를 따랐다. 접지 전극은 AFz, 기준(reference)은 왼쪽 귓불에 위치하였다. 실험 중 전극의 임피던스는 전도성 젤을 사용해 5kΩ 이하로 유지되었으며, 데이터 오염을 방지하기 위해 전극 접촉 상태를 확인하는 테스트 절차도 수행되었다. 참가자에게는 EEG 신호를 보여주고, 움직임으로 인한 잡음을 최소화하기 위해 최대한 정지한 상태를 유지하도록 요청되었다.
시선 추적 데이터는 Tobii X-120 휴대용 시선 추적 시스템을 사용하여 기록되었다. 모든 참가자는 실험 시작 전 Tobii Studio 소프트웨어를 이용한 시선 보정(calibration)을 완료해야 했으며, 보정과 검증 간 오차는 1.5도 이하로 유지되어 정확한 시선 추적 데이터 확보를 보장하였다. 시선 보정은 세 개의 모니터 전체를 기반으로 수행되었지만, 실제 시선 추적 데이터는 중앙 화면 기준으로 기록되었다. 시선 추적은 양안 모드(binocular mode)로 수행되었으며, 각 눈당 120Hz의 샘플링 속도로 데이터가 수집되었다.
운전 시뮬레이터 데이터는 Unity 게임 엔진으로부터 직접 수집되었으며, 가속 페달 데이터는 차량 객체 제어기(car object controller)로부터 기록되었다. 또한 광고판 관련 이벤트 마커도 Unity에서 자동 생성되었는데, 이는 차량의 x축 위치가 광고판과의 거리 임계값 이하로 떨어질 때마다 생성되었다.
광고판의 등장 및 전환 이벤트, 센서 데이터 등 모든 데이터는 LSL(Lab Streaming Layer) 기반의 수집 시스템을 통해 동기화되며 기록되었다[47]. LSL은 연구 실험에서 시계열 데이터를 통합적으로 수집할 수 있도록 하며, 네트워크 관리, 시간 동기화, 실시간 접근, 필요한 경우 중앙 집중식 기록 및 시각화 기능도 제공한다(참고: https://github.com/sccn/labstreaminglayer, 접속일: 2021년 1월 19일). EEG 시스템 연결은 LSL에서 제공하는 g.Tec 애플리케이션을 사용하였고, 시선 추적기 연결은 LSL 기능이 활성화된 맞춤형 Python 스크립트를 통해 이루어졌다. 광고판 이벤트 마커를 포함한 운전 시뮬레이터 데이터는 LSL 인터페이스 프로그램과 함께 운전 시뮬레이터 애플리케이션 내에서 구성되었다.
2.5. 데이터 분석
분석은 각 참가자에 대해 전체 실험을 50개의 구간(segment)으로 나누는 것부터 시작된다. 각 구간은 참가자가 광고판을 지나치기 약 15초 전부터의 시간을 기준으로 추출된다. 각 구간 내에서는, 사각형 경계 상자(rectangular bounding box)를 사용해 속도 표지판, 광고판, 속도계 각각에 대한 관심 영역(AOI, Area of Interest)을 설정하고, 해당 영역에 대한 참가자의 시선 데이터를 수집한다(그림 5 참조). 속도계의 AOI는 실제 속도계보다 약 3cm 크게 설정되며, 이 크기는 실험 시작부터 종료 시점까지 일정하게 유지된다. 차량이 전진함에 따라 속도 표지판과 광고판의 크기 또한 커지게 되므로, AOI가 대상을 추적할 수 있도록 설정해야 한다.
이를 위해, 표적의 위치는 10프레임 간격으로 라벨링되고, 중간 위치는 보간법(interpolation)을 통해 추정된다. 모든 참가자가 동일한 경로로 차량을 주행하므로, 차량의 기록된 위치 데이터를 기준으로 도로 시야에 대한 AOI 추적 정보를 모든 참가자에게 공통으로 적용할 수 있다. 광고판의 AOI는 실제 크기보다 약 10cm 더 크게 설정되었으며, 이는 참가자들이 광고판의 가장자리보다 중앙을 더 자주 바라보는 경향이 있기 때문이다.
그림 5. AOI 바운딩 박스의 예시
이후, AOI가 라벨링된 모든 이미지에 대해 고정 시선(fixation)이 추출된다. 30도/초의 속도 임계값을 기준으로, 시선 샘플의 속도가 이 임계값보다 낮으면 해당 샘플은 고정 시선으로 분류된다. 이 분석에서는 60ms 이상 지속된 고정 시선만 유지하며, 0.5도 이하의 시선 간 거리와 75ms 이하의 시간 간격을 가진 두 고정 시선은 하나의 고정 시선으로 병합된다. 그 후, 각 구간(segment) 내에서 발생한 고정 시선의 총 지속 시간을 ① 속도 표지판, ② 광고판, ③ 속도계, ④ 기타(예: 배경 공간)로 나누어 비교 분석하고, 대응 표본 평균에 대한 t-검정(t-test)을 실시한다.
시선 고정 시간에 대한 통계 분석은 각 AOI별로 동적 광고판 구간과 정적 광고판 구간의 평균값을 비교하기 위해 t-검정을 사용하였다.
EEG 데이터는 EEGLAB(버전 14.1.1)[48]을 사용해 오프라인으로 처리되었다. 먼저, 0.16–30Hz 범위의 FIR(Finite Impulse Response: 유한 임펄스 응답) 필터로 직류 성분(DC) 및 고주파 잡음을 제거한다. 해당 필터는 Hamming 윈도우를 적용한 sinc FIR 필터이며, 필터 차수는 424이다. 이후, Infomax ICA(독립 성분 분석)를 이용해 눈 깜빡임, 안구 운동, 얼굴 근육 움직임 등으로 인한 잡음 아티팩트를 제거한다[49]. 자동 채널 제거 기능도 사용되어, 품질이 낮은 채널이 제거된다. 이 과정에서 P1 전극 위치 하나만 제외되었으며, 이는 한 참가자에게서 품질이 낮은 EEG 신호가 발견되었기 때문이다. 하지만 이로 인해 모든 참가자에 대한 총 평균 계산에는 영향을 주지 않았다. 주변 전극이 불균형하기 때문에, P1의 값을 인접 전극의 평균으로 대체하는 것은 불가능하였다.
EEG 에포크(epoch: 시간 구간)는 지속적인 데이터로부터 추출되었으며, AOI에서 감지된 시선 고정 시작 시점을 기준으로 -200ms에서 +800ms 구간이 추출되었다. 시선이 다음 위치로 이동하면서 생기는 활동의 영향을 배제하기 위해, 고정 시선 시작 시점(onset event) 중 200ms를 초과하여 지속된 경우만 분석에 포함하였다. 시선 고정 시작 시점은 다음과 같이 분류되었다:
• 조건 (A): 속도계에 대한 시선 고정. 다음 조건을 모두 만족해야 한다. 속도 표지판에 대한 시선 고정 → 속도계에 대한 시선 고정 → 실제 속도 변화 발생.
• 조건 (B): 속도계에 대한 시선 고정. 다음 조건을 모두 만족해야 한다. 속도 표지판에 대한 시선 고정 → 속도계에 대한 시선 고정 → 실제 속도 변화 없음.
• 조건 (C): 동적 광고판에 대한 시선 고정. 다음 조건을 만족해야 한다. 광고판 이미지가 변경된 후, 동적 광고판에 대한 최초의 유효 시선 고정.
• 조건 (D): 정적 광고판에 대한 시선 고정. 다음 조건을 만족해야 한다. 정적 광고판을 지나치기 전의 마지막 유효 시선 고정.
각 에포크(epoch)는 -200ms부터 0ms까지의 기준선 보정(baseline correction)이 적용되었다. 또한, ±75μV를 초과하는 전압이 감지된 에포크는 자동으로 제거되었다. 최종적으로 남은 시도(trials)의 수는 각 조건에 대해 전체 평균(grand average) 분석을 생성하는 데 사용되었다:
조건 (A): 345회; 조건 (B): 426회; 조건 (C): 89회; 조건 (D): 120회.
잡음이 제거된 에포크들은 평균화되어, 각 조건에 따라 ERP 성분에서 나타나는 무작위 뇌 활동을 줄여준다. 이 성분들은 표 2에 명시된 ERP 구성 요소들을 포함한다. 광고판 주시와 속도계 주시 간의 차별성은 ERP 구성 요소의 전위 차이를 통해 측정된다[50].
표 2. ERP 성분을 측정하기 위해 사용된 대뇌 피질 영역의 선택.
P1, N1, P2 구성 요소에 대한 통계 분석은 두 요인(시선 고정 이벤트, 전극 위치)을 변수로 한 분산분석(ANOVA: Analysis of Variance)을 사용한다. N2 구성 요소에 대해서는 독립 표본 t-검정이 사용된다. 모든 분석은 실험 목적에 대해 사전 정보를 받지 않은(non-primed) 참가자들만을 대상으로 수행되었다. 이는 사전 정보를 받은(primed) 참가자들에 대한 ERP 데이터 비교는 제외되었기 때문이다. 그 이유는, 사전 정보를 받은 참가자들의 전체 평균 ERP에서 P1 성분만 나타나고 다른 ERP 성분은 관찰되지 않았기 때문이다. 이러한 결과는 사전 정보 제공(priming)이 뇌의 특정 영역 활성화를 감소시키는 경향이 있기 때문일 수 있다[51].
3. 결과
3.1. 운전자 시선 고정 분석
연령, 운전 경력, 시선이 고정된 동적 광고판의 수, 각 AOI(관심 영역)에서의 총 시선 고정 시간은 표 3에 제시되어 있다. 동적 구간과 정적 구간에서의 AOI별 평균 시선 고정 시간은 그림 6에 나타나 있다.
표 3. 자동차가 광고판을 지나치기 약 15초 전부터의 각 참가자별 시선 고정 시간(초)을 측정하였다. 시선 고정은 정적 광고판(static billboards)과 동적 광고판(dynamic billboards)을 기준으로, 네 가지 AOI(관심 영역)—공백 영역(white space), 속도계(speedometer), 광고판(billboard), 속도 표지판(speed sign)—에서 분석되었다.
- Mean (all), SD (all), SE (all) = 모든 참가자에 대한 시선 고정 시간의 평균, 표준편차, 표준오차. Mean (u), SD (u) = 실험 목적에 대해 사전 정보를 받지 않은(non-primed) 참가자들(참가자 번호 2, 4, 5, 6, 7, 8, 9, 10)에 대한 시선 고정 시간의 평균, 표준편차, 표준오차. 연령대(age group)와 운전 경력(driving experience)의 단위는 년(Years). 시선 고정이 발생한 동적 광고판의 수
그림 6. 동적 구간과 정적 구간 간의 각 AOI(공백 AOI, 속도계 AOI, 빌보드 AOI, 속도 표지판 AOI)의 평균 고정 지속 시간 비교.
우선 분석은 실험 목적에 대해 사전 정보를 받은(primed) 참가자들과 사전 정보를 받지 않은(non-primed) 참가자들 간에 수행되었다. 표 3에 따르면, 실험 목적을 알고 있는 사전 정보를 받은 참가자들은 동적 광고판의 이미지가 변경된 후 거의 모든 광고판에 시선을 고정한 것으로 나타났다. 이는 실험 내용을 알고 있는 경우에 나타날 수 있는 예상된 행동이다. 이러한 이유로, 이후 실험에 참여한 모든 참가자들에게는 광고판 이미지 변경 사실을 알리지 않았다. 그 결과, 사전 정보를 받지 않은 그룹 참가자들은 시선 고정 횟수가 적은 경향을 보였다.
이후의 분석은 사전 정보를 받지 않은 참가자들을 대상으로 수행되었다. 각 운전자는 정적 광고판과 동적 광고판 구간을 동일한 수만큼 경험하였다. 그림 6에서는 네 가지 AOI(관심 영역)에 대해 동적 구간과 정적 구간 사이의 평균 시선 고정 시간을 계산하였다. 동적 광고판과 정적 광고판에 대한 시선 고정 시간을 비교한 결과, 동적 광고판에서의 시선 고정 시간이 정적 광고판보다 평균 26% 더 길게 나타났으며, 이는 통계적으로 유의미하였다: t(8) = 4.41 (p < 0.01). 이 결과는 동적 광고판이 정적 광고판보다 시각적 주의를 더 오래 끈다는 점을 보여준다.
한편, 정적 속도 표지판과 동적 속도 표지판 간, 또는 정적 속도계와 동적 속도계 간의 시선 고정 시간 차이는 유의미하지 않았다:
속도 표지판: t(8) = −1.89 (p = 0.1); 속도계: t(8) = 0.52 (p = 0.62)
이러한 결과는 동적 구간과 정적 구간 사이에서 운전자들이 속도계와 속도 표지판에 대해 거의 동일한 정도의 시선 고정 시간을 할당했다는 점을 보여준다.
3.2. 운전자 EFRP 분석
그림 7은 실험 목적에 대해 사전 정보를 받지 않은(non-primed) 참가자들의 ERP(사건 관련 전위)의 전체 평균에 대한 두부(topographical) 분포도를 보여준다. 앞서와 마찬가지로, 참여도(engagement)를 분류하기 위해 네 가지 조건이 사용되었으며, 이는 시선과 관련된 ERP 신호를 분석하는 데 활용되었다.
그림 7. 2차원 두부(topographical) 분포도로 나타낸 ERP 전체 평균(Grand Average ERP)
- (조건 A): 운전자가 속도계에 시선을 고정한 직후 속도 변화가 발생한 경우의 자극 이벤트에 대한 ERP 전체 평균
- (조건 B): 운전자가 속도계에 시선을 고정했으나 속도 변화가 없는 경우의 자극 이벤트에 대한 ERP 전체 평균
- (조건 C): 동적 광고판의 내용이 변경된 후, 운전자가 각 동적 광고판에 처음으로 시선을 고정한 경우의 자극 이벤트에 대한 ERP 전체 평균
- (조건 D): 운전자가 각 정적 광고판을 지나치기 직전 마지막으로 시선을 고정한 경우의 자극 이벤트에 대한 ERP 전체 평균
3.2.1. 비주얼 P1과 N1 컴포넌트
시선 고정이 시작된 후 약 75ms 시점에서, 네 가지 조건 모두에서 후두부(occipital region)에서 강한 양의 활동(positive activity)이 관찰되었다. 이 활동은 시각적 P1 컴포넌트(visual P1 component)로 알려져 있다. 50ms에서 100ms 구간 동안, 두 가지 요인(조건 A, B, C, D와 전극 위치 PO1, PO2)에 대한 P1 피크 진폭의 이원분산분석(ANOVA) 결과, 주효과(main effect) 및 상호작용 효과(interaction effect)는 통계적으로 유의미하지 않았다(p > 0.1). P1 진폭은 후두부 전극 위치에서 다른 부위보다 더 크게 나타났다.
P1 피크 잠복기(latency)의 분산에 대해 살펴보면, 상호작용 효과는 유의미하지 않았다: F(3, 56) = 0.11, p = 0.951. 그러나 조건의 차이는 잠복기에 영향을 미쳤다: F(3, 56) = 5.93, p < 0.001. 사후 분석(post hoc analysis)을 위한 Tukey 검정 결과: 조건 (A)의 피크 잠복기는 조건 (C)보다 유의미하게 늦음(p < 0.05); 조건 (B)의 피크 잠복기는 조건 (C)(p < 0.05) 및 조건 (D)(p < 0.01)보다 유의미하게 늦음.
즉, 이미지가 변경되는 동적 광고판을 바라보는 시점에서 나타나는 P1 반응은 속도계를 바라볼 때보다 더 빠르게 발생했다. 이 신호는 후두엽에서 생성되며 시각 정보 처리의 초기 단계를 반영한다.
N1 컴포넌트는 P1 컴포넌트 다음에 나타나는 반응이다. N1은 두부 분포도(topographical plot)의 후두부 위치에서는 작지만, PO1과 PO2 전극에서의 ERP 파형(channel ERP plot)에서는 분명히 확인 가능하다(※ PO2의 평균 ERP는 본 문단에 미표시됨). 조건 (C)의 평균 N1 피크 진폭은 조건 (D)보다 컸으나, 이는 통계적으로 유의하지 않았다: t(30) = −1.401, p = 0.172.
전극 위치 PO1에서는, 속도계에 시선을 고정한 조건(A, B)과 광고판에 시선을 고정한 조건(C, D) 간에 파형이 다르게 나타났다. 75ms~125ms 구간에서의 N1 피크 진폭에 대한 조건과 전극 위치 간 상호작용 효과는 없었으나: F(3, 56) = 0.04, p = 0.989, 조건에 따른 주효과는 유의미했다: F(3, 56) = 7.92, p < 0.001.
Tukey 사후 검정 결과:
조건 (A)는 조건 (C)(p < 0.001) 및 조건 (D)(p < 0.05)보다 유의미하게 더 큼
조건 (B)는 조건 (C)보다 유의미하게 더 큼(p < 0.01)
요약하면, 속도계에 대한 시선 고정과 비교하여, 광고판과의 상호작용에서 N1 진폭 차이가 유의미하게 나타났음을 보여준다.
한편, N1 잠복기(latency)에 대해서는 주효과 및 상호작용 효과 모두 유의미하지 않았다(p > 0.1).
그림 8. 채널별 ERP의 전체 평균 ERP 플롯.
(a) 채널 PO1의 전체 평균 ERP 플롯.
(b) 채널 Pz의 전체 평균 ERP 플롯.
(c) 채널 Cz의 전체 평균 ERP 플롯.
3.2.2. P2 구성 요소
그림 7에서는 150ms에서 225ms 사이에 후방 P2 성분이 관찰된다. 조건 (A, B), 즉 속도계 주시와 조건 (C, D), 즉 광고판 주시를 비교해보면, P2 성분은 조건 (A, B)에서 더 약한 전위를 보이며 두정(parietal) 영역에서 나타나 후두(occipital) 영역에서 사라진다. 반면 조건 (C, D)에서는 P2 성분이 더 강한 전위를 보이며 중심(central) 영역에서 훨씬 넓은 영향을 미치고, 이후 두정-후두 영역에서 사라진다.
P2 성분의 후방 전위(amplitude)에 대한 이원분산분석(two-way ANOVA)은 두정 영역 전극(Pz, P2)과 중심 영역 전극(Cz)에 걸쳐 수행되었으며, 전극 위치(F(2, 84) = 6.94, p < 0.01)와 조건(F(3, 84) = 3.24, p < 0.05) 모두에서 유의한 주효과(main effect)가 나타났다.
사후 분석을 위한 Tukey 검정에서는 조건 (B)와 조건 (C) 간에만 유의한 차이(p < 0.05)가 있었으며, 중심 전극과 두정 전극 간에도 유의한 차이(p < 0.01)가 나타났다. 전극 위치와 조건 간의 상호작용 효과는 관찰되지 않았다.
전반적으로 P2 지연(latency)에서는 유의한 상호작용 효과는 없었지만, 조건에 따른 주효과는 유의미했으며(F(3, 84) = 3.21, p < 0.05), Tukey의 사후 검정에서는 조건 (A)와 조건 (C) 사이에 유의한 차이(p < 0.05)가 나타났다.
요약하면, P2 성분은 속도계 및 광고판 주시 모두에서 두정 영역에서 관찰되며, 특히 동적 광고판 전환에 대한 주시는 속도 표지판 주시에 비해 더 높은 전위를 유발한다.
3.2.3. N2 구성 요소
그림 7의 조건 (A)에서는 250ms 지점에서 음의 편향(negative deflection)이 관찰되며, 이는 N2 성분으로 해석된다. 이 음의 편향은 오직 조건 (A)에서만 나타나며, 이는 운전자가 속도계를 주시한 후 속도를 조절하는 과정과 관련이 있다. 다른 조건들에서는 이러한 음의 편향이 관찰되지 않았다. 225ms에서 275ms 구간에 대해 수행된 Welch의 ANOVA 분석 결과, 조건 간에 유의한 전위 차이가 나타났으며, Welch의 수정된 F 값은 F(3, 13.72) = 4.59 (p < 0.05)로 보고되었다. 조건 (A)의 N2 피크 지연(latency)은 표준 오차와 함께 247.07 ± 4.92ms (표준편차 = 13.93)로 나타났다.
4. 토론
문헌에 따르면, 차량 외부의 주의 분산과 관련된 교통사고가 상당수 발생하고 있는 것으로 알려져 있다[52]. 본 연구에서는 운전 시뮬레이터를 활용하여 디지털 광고판이 운전자의 시각적 및 인지적 반응에 미치는 영향을 조사하였다. 시선 고정 시간(fixation time)의 측정은 전체 실험에서 시선 고정 횟수와 각 고정의 지속 시간을 합산하여 계산된다.
광고판에 대한 전체 시선 고정 시간은 가장 짧은 것으로 나타났다. 이는 운전자가 광고판이라는 주의 분산 요소에 다른 작업보다 상대적으로 적은 시간을 할애한다는 것을 의미한다. 동적 광고판과 정적 광고판에 대한 시선 고정 시간을 비교한 결과, 동적 광고판에서 유의미하게 더 긴 시선 고정 시간이 나타났다. 이러한 결과는 광고판이 운전자의 주의 분산에 미치는 영향을 다룬 선행 연구들[19, 21, 25]에 의해 뒷받침된다.
운전자가 차량 속도를 조절하기 위해서는 속도 표지판과 계기판(속도계)을 모두 주시해야 한다. 속도 표지판을 읽는 데 소요되는 시선 고정 시간이 속도계를 읽는 시간보다 길게 나타났다. 이는 속도계가 차량 내 고정된 위치에 있어 읽기 작업이 비교적 단순하다는 점에서 기인할 수 있다.
정적 구간과 동적 구간 모두에서, 속도계에 고정된 시선 시간은 전체의 18.4%, 속도 표지판은 26.8%를 차지했으며, 광고판과 표지판이 함께 있는 구간에서 차량 속도를 조절하는 데 필요한 시선 고정 시간의 총합은 45.2%였다. 광고판에 대한 전체 시선 고정 시간은 9.0%로 나타났다. 광고판 관련 시선 데이터를 수집한 실험 구간은 전체 주행 시간의 약 40%를 차지했다. 본 연구는 속도 조절이 중요한 시점에서 광고판이 운전자의 주의를 끌고 있음을 보여주었다. 전반적인 운전 성능에 미치는 영향을 평가하기 위해서는 추가 연구가 필요하다.
장면 내 특징을 추적하여 차량 속도를 추정하는 데 사용되는 “화이트 스페이스”에 대한 시선 고정은 본 수치에는 포함되지 않았다.
표 3의 데이터를 통해 얻을 수 있는 초기 관찰 결과 중 하나는, 연령대와 동적 광고판에 대한 주의 집중도 사이에 상관관계가 존재한다는 점이다. 데이터에 따르면 연령이 증가할수록 광고판을 주시하는 시간이 증가하는 경향이 있다. 이 관찰은 26세를 기준으로 나눈 두 그룹 간의 비교를 통해 이루어졌다. 이 결과는 부과된 2차 작업(secondary task)과 운전자 주의 분산 및 사고에 미치는 영향을 분석한 최근 연구 결과와도 일치한다.
해당 연구에 따르면, 30세에서 64세 사이의 고령 운전자는 차량 외부의 사건에 1.04%의 시간 동안 주의를 빼앗기며, 21세에서 29세 사이의 젊은 운전자(0.82%)보다 높은 수치를 보였다[53]. 이러한 경향을 확증하기 위해서는 보다 많은 대상자와 장기적인 연구가 필요하다.
본 연구는 시뮬레이션된 운전 환경에서 EFRP(Eye-Fixation Related Potential)를 활용하여 정상 운전과 시각적 주의(예: 속도계 및 디지털 광고판)와 관련된 주의 분산 운전 간의 뇌파(EEG) 활동을 비교·분석하였다. 운전자 주의 분산 연구 분야에서는 ERP(사건 관련 전위)를 활용해 운전자의 인지 반응을 평가한 연구가 드물며, EFRP를 적용한 연구는 더욱 희귀하다.
기존 EFRP 기법을 사용하는 대부분의 연구들은 시각 자극의 복잡성을 제한하는 경향이 있으며, 예를 들어 단일 문자[54]나 단순한 이미지[55]를 사용하는 경우가 많다. 더 중요한 점은, 이러한 자극들이 시선 이동을 최소화하기 위해 일반적으로 화면 중앙에 배치된다는 것이다[56]. 보다 진보된 EFRP 연구에서는 사용자가 큰 정적 이미지 안에서 자유롭게 시각 탐색을 할 수 있도록 허용하기도 한다[57–59]. 하지만 이러한 연구들은 시뮬레이션 환경에서 사용자의 시선 고정 시 발생하는 뇌 활동을 드러내지 못한다.
레놀드(Renold) 등[42]은 운전자의 EFRP를 측정한 연구를 발표하였는데, 이 연구에서는 운전자가 특정 자극을 식별해야 하는 과제를 수행하도록 하여, 특정 자극에 대한 준비된 상태에서 ERP 신호를 유도하였다.
본 연구에서는 기존의 EFRP 분석 접근 방식을 확장하여, 동적 환경에서의 안전 운전에 대한 운전자의 시각적 및 인지적 반응을 조사하였다. 운전자들은 실제 운전 상황과 같이 장면을 자유롭게 탐색하도록 지시받았으며, [42]와는 달리 운전 과제를 수행하는 동안 특정 자극에 대한 과업은 주어지지 않았다. ERP 신호를 유도하기 위한 자극에 대해 사전 지시나 준비가 없었기 때문에, 실험 환경에서 운전자의 심리생리학적 상태가 실제 운전 상황과 유사하게 유지되었을 가능성이 크다.
실험 결과는 속도계 주시(속도 조절 포함 및 비포함)와 광고판 주시(동적 광고판 및 정적 광고판) 시 유발되는 EFRP의 유사점과 차이점을 보여준다. 이 두 유형의 시선 고정에서 공통적으로 나타나는 신호는, 시선 고정 시작 약 50ms에서 100ms 사이 후두부 영역에서 관찰되는 첫 번째 양의 활성(P1 성분)이다. 후두부의 P1 성분(및 이후의 N1 성분)은 시각 자극 특성에 민감하며, 초기 감각 처리(예: 지각 분석)의 지표로 간주된다[60,61]. 이 초기 성분은 자발적인 공간 주의에 따라 안정적으로 조절된다[60,62].
자극 판별 과업[63] 또는 선택적 주의 과업[64]에서 유발되는 측면 후두 영역의 P1과 달리, 본 연구에서는 P1 성분이 중앙 후두 영역에서만 나타나며 이는 시각 자극이 참가자의 뇌에서 등록되었음을 나타낸다. 본 실험에서는 P1 성분이 중앙선 근처에서 재구성되며, 이는 부분적으로 전극 배치에 기인한다. 실제로, 다른 연구에서는 P1 신호가 중앙선에서 벗어난 위치에서 최대치를 보였다고 보고된다.
중앙에 위치한 전극 이외에도, P7과 P8이라는 두 개의 전극이 존재하며, 이들에 대한 ERP 분석 역시 두 자극 범주에 걸쳐 수행되었고 그 결과는 그림 9에 제시되어 있다. 이 분석에서 오른쪽 시야(P8)에서 왼쪽 시야(P7)보다 더 큰 P1 성분이 유도되었다. 이 결과는 시각 자극 이후 뇌에서 반대측(contralateral)으로 나타나는 초기 양의 반응을 보여주는 기존 연구 결과들과 상충된다[65–67].
본 연구에서는 운전자들이 오른쪽 광고판과 화면 하단의 속도계를 응시한 데이터를 사용하였으며, 이처럼 시각 자극의 복잡성이 기존 실험보다 더 높다.
두 자극 범주 간의 첫 번째 차이점은 시선 고정 시작 약 75ms에서 125ms 사이 후두부 영역에서 관찰되는 음의 활성(N1 성분)이다. 그림 8에 나타난 바와 같이, N1 성분은 속도계와 광고판에 대한 시선 고정 간의 진폭 차이를 보여준다. N1 성분은 공간적 주의(spatial attention)에 영향을 받으며, 주의를 기울인 위치에 나타나는 자극은 그렇지 않은 자극보다 더 큰 진폭(더 음의 값)을 보인다[62].
운전자는 일부 광고판이 접근함에 따라 변할 수 있다는 점을 학습할 가능성이 있다. 또한, N1의 진폭은 주의 수준에 따라서도 달라질 수 있다[68]. 동적 광고판 응시에 의해 유도된 더 큰 N1 진폭은, 광고판 변화에 대한 운전자의 기대 때문일 수 있다. 반면, 속도계는 실험 내내 화면 하단 중앙에 고정되어 있었기 때문에, 이에 대한 시선 고정은 명확히 주의된(attended) 자극도, 주의되지 않은(unattended) 자극도 아니라고 볼 수 있다.
그림 9. 채널별 ERP의 전체 평균 ERP 플롯. (a) 채널 P7의 전체 평균 ERP 플롯. (b) 채널 P8의 전체 평균 ERP 플롯. 신호 A, B, C, D는 그림 7과 일치.
시선 고정 두 범주 간의 두 번째 차이점은 시선 고정 시작 약 150ms에서 225ms 사이에 중심–두정(central–parietal) 영역에서 나타나는 양의 활성(P2 성분)이다. P2 성분의 특성은 시각 입력의 2차 처리 과정과 관련이 있으며, 이는 시각 자극을 기억 속의 내부 기대와 비교하는 일반적인 신경 처리 과정을 반영한다[69–72]. P2 진폭은 속도계보다 광고판을 응시할 때 더 크게 나타났으며, 이는 자극의 크기가 시각 정보 처리 신호에 영향을 줄 수 있음을 시사한다[73]. P2 성분 외에도, 후방 P1 성분의 더 넓은 스펙트럼이 토포그래픽 플롯(그림 7)에 나타나고, 더 큰 N1 성분이 평균 ERP 플롯(그림 8)에 나타나는 것 역시 자극의 크기에 영향을 받은 결과일 가능성이 높다[74,75].
자극이 시작된 후 약 50ms부터 50ms 동안, 최대 전위가 후두엽에서 중심 두정엽 쪽으로 이동하는 경향이 관찰되며, 이는 그림 8에서 확인할 수 있다. 이러한 변화는 이미지가 뇌 내의 다양한 처리 기능을 거치며 해석되는 과정을 반영한다.
앞서 언급된 ERP 성분 외에도 운전자 주의 분산 분석 기준으로 활용될 수 있는 몇 가지 추가적인 발견이 있다. 첫 번째는, 속도계를 응시한 약 225ms에서 275ms 사이(예: 조건 A)에 중심 영역에서 관찰되는 음의 활성(N2 성분)이다. 이 조건은 다른 조건(예: 조건 B)과 비교하기 위해 속도계 응시 중 일부를 의도적으로 선택한 것이다.
또한, 일련의 ERP 성분은 여러 가지 인간 정보처리 모델들과도 일치하는 경향을 보이며, 그 예는 그림 10에 제시되어 있다. 정보 입력 단계는 여러 출처의 정보를 획득하고 등록하는 과정을 의미하며[76], 시각적 P1, N1 성분은 자극 입력의 등록 과정을 나타낸다. 그다음 단계인 ‘결정 및 작업 기억(decision and working memory)’은 처리된 정보 및 회상된 정보를 작업 기억 속에서 인지적으로 인식하고 조작하는 과정을 포함하며, 이 단계는 의사결정 이전의 인지적 작업도 포함한다[76]. P2 성분은 자극 입력에 대한 초기 인지 처리 과정을 나타낸다. 출력(output) 처리 단계는 선택된 의사결정에 따라 행동이나 반응을 실행하는 과정을 의미하며, N2 성분은 이러한 적절한 반응의 산출을 나타낸다.
본 분석은 운전 시뮬레이터 환경에서 ERP와 시선 추적을 결합함으로써, 운전자 자극에 대해 뇌가 처리하는 인지 반응을 추적할 수 있는 가능성을 입증하였다.
그림 10. 기본적인 인간 정보처리 모형(그림은 [77]에서 수정, 인용함)
본 연구에서 예기치 않은 한 가지 발견은 실험 종료 후 면담에서 나타났는데, 참가자 6명(80%)이 운전 시뮬레이터 실험 중 특정 광고판을 무시할 수 없었다고 보고하였다. 광고의 목적이 사람들의 주의를 끄는 것이라는 점에서, 해당 광고판은 그 목적을 달성한 셈이다. 특정 광고판이 유도하는 주의 집중 수준과 운전자 주의에 미치는 영향 간에는 일정한 균형이 존재할 가능성이 있다. 개인이 새로운 사물이나 익숙하지 않은 외부 환경, 즉 정보 엔트로피가 높은 이미지(entropic imagery)를 마주할 경우, 심리적으로 그 대상에 더욱 주의를 기울이게 되는 경향이 있다.
향후 연구에서는 과학적인 방법론을 통해 운전자 주의 분산과 디지털 광고판 간의 최적의 균형점을 찾아내어 안전 운전을 위한 기준을 제시하는 데 초점을 맞출 수 있을 것이다.
5. 결론
본 논문은 시선 추적, 뇌파(EEG), 운전자의 운동 반응을 동기화하여 기록할 수 있는 운전 시뮬레이터 플랫폼의 개발 과정을 설명하였다. 이 장치는 참가자들이 정적 및 동적 광고판을 주시하는 동안 데이터를 기록하는 데 사용되었으며, 자극에 의해 유도된 인지 반응이 해당 데이터로부터 추출되었다.
분석 결과, 동적 광고판과 관련된 인지 활동이 증가한 것으로 나타났다. 광고판에 대한 몰입 수준은 운전자 주의 분산의 선행 요인일 가능성이 있다.
본 연구는 주의 분산 과정의 이러한 단계를 분석할 수 있음을 보여주었으며, 제안된 측정 시스템이 광고판에 대한 운전자 인지 반응을 평가하는 유효한 도구로서 기능할 수 있음을 입증하였다.
참고문헌
1. Herrstedt, L.; Greibe, P.; Andersson, P. Roadside advertising affects driver attention and road safety. In Proceedings of the 3rd International Conference on Driver Distraction and Inattention, Gothenburg, Sweden, 4–6 September 2013.
2. Boets, S.; Vandemeulebroek, F.; Daniels, S. Roadside Advertising: An Inventory of Current Practices and Future Trends. 2018. Available online: https://www.cedr-adverts.eu/storage/minisites/adverts-d1.1b-current-practices-and-future-trends.pdf (accessed on 19 February 2021).
3. Farbry, J.; Wochinger, K.; Shafer, T.; Owens, N.; Nedzesky, A. Research Review of Potential Safety Effects of Electronic Billboards on Driver Attention and Distraction; Federal Highway Administration: Washington, DC, USA, 2001.
4. Oviedo-Trespalacios, O.; Truelove, V.; Watson, B.; Hinton, J.A. The impact of road advertising signs on driver behaviour and implications for road safety: A critical systematic review. Transp. Res. Part Policy Pract. 2019, 122, 85–98. [CrossRef]
5. Ascone, D.; Tonja Lindsey, T.; Varghese, C. An Examination of Driver Distraction as Recorded in NHTSA Databases; United States. National Highway Traffic Safety Administration: Washington, DC, USA, 2009.
6. Wallace, B. External-to-Vehicle Driver Distraction; Scottish Executive Social Research: Edinburgh, UK, 2003.
7. Hawkins, H.G., Jr.; Kuo, P.; Lord, D.J. Statistical Analysis of the Relationship between On-Premise Digital Signage and Traffic Safety. Signage Foundation, Inc. & Texas Engineering Extension Service, 2012. Available online: https://www.signresearch.org/ wp-content/uploads/Digital-Signage-Traffic-Safety-A-Statistical-Analysis.pdf (accessed on 19 February 2021).
8. Izadpanah, P.; Omrani, R.; Koo, S.; Hadayeghi, A.J. Effect of static electronic advertising signs on road safety: An experimental case study. J. Orthop. Trauma 2014, 28, S33–S36. [CrossRef]
9. Yannis, G.; Papadimitriou, E.; Papantoniou, P.; Voulgari, C. A statistical analysis of the impact of advertising signs on road safety. Int. J. Inj. Control Saf. Promot. 2013, 20, 111–120. [CrossRef]
10. Johnston, A.; Cole, B.L. Investigations of distraction by irrelevant information. Aust. Road Res. 1976, 6, 3–17.
11. Luoma, J. The Acquisition of Visual Information by the Driver: Interaction of Relevant and Irrelevant Information; National Highway Traffic Safety Administration: Washington, DC, USA, 1986.
12. Clark, O.J.; Davies, S.P. Ads on the road: A study into the effects of perceptual load and expertise on reaction time to road signs. In Proceedings of the British Psychological Society (BPS) Annual Conference, Dublin, Ireland, 2–4 April 2008.
13. Bendak, S.; Al-Saleh, K. The role of roadside advertising signs in distracting drivers. Int. J. Ind. Erg. 2010, 40, 233–236. [CrossRef]
14. Targosin´ski, T. Preliminary simulation research of driver behaviour in response to outdoor advertisements. In MATEC Web of Conferences; EDP Sciences: Les Ulis, France, 2017; p. 03009.
15. Decker, J.S.; Stannard, S.J.; McManus, B.; Wittig, S.M.; Sisiopiku, V.P.; Stavrinos, D.J. The impact of billboards on driver visual behavior: A systematic literature review. Traffic Inj. Prev. 2015, 16, 234–239. [CrossRef] [PubMed]
16. Edquist, J.; Horberry, T.; Hosking, S.; Johnston, I. Effects of advertising billboards during simulated driving. Appl. Erg. 2011, 42, 619–626. [CrossRef]
17. Beijer, D.; Smiley, A.; Eizenman, M. Observed driver glance behavior at roadside advertising signs. Transp. Res. Rec. 2004,1899, 96–103. [CrossRef]
18. Crundall, D.; Van Loon, E.; Underwood, G. Attraction and distraction of attention with roadside advertisements. Accid. Anal. Prev. 2006, 38, 671–677. [CrossRef]
19. Lee, S.E.; McElheny, M.J.; Gibbons, R.J. Driving Performance and Digital Billboards. Center for Automotive Research, 2007. Available online: http://www.commb.ca/wp-content/uploads/2016/03/Driving-Performance-Digital-Billboards-VTTI-Study. pdf (accessed on 19 February 2021).
20. Megías, A.; Maldonado, A.; Catena, A.; Di Stasi, L.L.; Serrano, J.; Cándido, A. Modulation of attention and urgent decisions by affect-laden roadside advertisement in risky driving scenarios. Saf. Sci. 2011, 49, 1388–1393. [CrossRef]
21. Chattington, M.; Reed, N.; Basacik, D.; Flint, A.; Parkes, A. Investigating Driver Distraction: The Effects of Video and Static Advertising; Project Report PPR409; Transport Research Laboratory: London, UK, 2009.
22. Smiley, A.; Smahel, T.; Eizenman, M. Impact of video advertising on driver fixation patterns. Transp. Res. Rec. 2004,1899, 76–83. [CrossRef]
23. Hudák, M.; Madlenˇák, R. The research of driver distraction by visual smog on selected road stretch in Slovakia. Procedia Eng. 2017, 178, 472–479. [CrossRef]
24. Hudák, M.; Madlenˇák, R. The research of driver’s gaze at the traffic signs. In Proceedings of the CBU International Conference Proceedings, Prague, Czech Republic, 23–25 March 2016; pp. 896–899.
25. Dukic, T.; Ahlstrom, C.; Patten, C.; Kettwich, C.; Kircher, K. Effects of electronic billboards on driver distraction. Traffic Inj. Prev. 2013, 14, 469–476. [CrossRef]
26. Schwalm, M.; Keinath, A.; Zimmer, H.D. Pupillometry as a method for measuring mental workload within a simulated driving task. Hum. Factors Assist. Autom. 2008, 1986, 1–13.
27. Zhigang, D.; Xiaodong, P.; Xuebin, G. Evaluation Index’s Application Studies on Safety at Highway Tunnel’s Entrance and Exit. J. TONGJI Univ. Nat. Sci. 2008, 3, 325–329.
28. Di Stasi, L.L.; Álvarez-Valbuena, V.; Cañas, J.J.; Maldonado, A.; Catena, A.; Antolí, A.; Candido, A. Risk behaviour and mental workload: Multimodal assessment techniques applied to motorbike riding simulation. Transp. Res. Part F Traffic Psychol. Behav. 2009, 12, 361–370. [CrossRef]
29. Wood, J.M.; Garth, D.; Grounds, G.; McKay, P.; Mulvahil, A. Pupil dilatation does affect some aspects of daytime driving performance. Br. J. Ophthalmol. 2003, 87, 1387–1390. [CrossRef] [PubMed]
30. Stavrinos, D.; Mosley, P.R.; Wittig, S.M.; Johnson, H.D.; Decker, J.S.; Sisiopiku, V.P.; Welburn, S.C. Visual behavior differences in drivers across the lifespan: A digital billboard simulator study. Transp. Res. Part F Traffic Psychol. Behav. 2016, 41, 19–28. [CrossRef]
31. Topolšek, D.; Areh, I.; Cvahte, T. Examination of driver detection of roadside traffic signs and advertisements using eye tracking. Transp. Res. Part F Traffic Psychol. Behav. 2016, 43, 212–224. [CrossRef]
32. Ryu, K.; Myung, R. Evaluation of mental workload with a combined measure based on physiological indices during a dual task of tracking and mental arithmetic. Int. J. Ind. Erg. 2005, 35, 991–1009. [CrossRef]
33. Borghini, G.; Astolfi, L.; Vecchiato, G.; Mattia, D.; Babiloni, F. Measuring neurophysiological signals in aircraft pilots and car drivers for the assessment of mental workload, fatigue and drowsiness. Neurosci. Biobehav. Rev. 2014, 44, 58–75. [CrossRef] [PubMed]
34. Wang, H.; Zhang, C.; Shi, T.; Wang, F.; Ma, S. Real-time EEG-based detection of fatigue driving danger for accident prediction. Int. J. Neural Syst. 2015, 25, 1550002. [CrossRef] [PubMed]
35. Cheng, S.-Y.; Hsu, H.-T. Mental fatigue measurement using EEG. In Risk Management Trends; IntechOpen: London, UK, 2011.
36. Donchin, E. Event-related brain potentials: A tool in the study of human information processing. In Evoked Brain Potentials and Behavior; Springer: Berlin/Heidelberg, Germany, 1979; pp. 13–88.
37. Chan, M.; Singhal, A. Emotion matters: Implications for distracted driving. Saf. Sci. 2015, 72, 302–309. [CrossRef]
38. Chan, M.; Nyazika, S.; Singhal, A. Effects of a front-seat passenger on driver attention: An electrophysiological approach. Transp. Res. Part F Traffic Psychol. Behav. 2016, 43, 67–79. [CrossRef]
39. Machii, K.I.; Daimon, T.; Terada, Y. Estimation of driver’s attentive state to visual objects outside the vehicle when driver is in low arousal level by using lambda response of eye-fixation-related potentials. In Proceedings of the 19th Intelligent Transport Systems World Congress, ITS 2012, Vienna, Austria, 22–26 October 2012; Intelligent Transportation Society of America: Washington, DC, USA, 2012.
40. Terada, Y.; Nakada, T.; Morikawa, K.; Jeon, Y.W.; Daimon, T. Effects on eye-fixation-related potential of a driver’s conversation and visual search. In Proceedings of the 17th World Congress on Intelligent Transport Systems, ITS 2010, Busan, Korea, 25–29 October 2010; Intelligent Transport Systems (ITS): Busan, Korea, 2010.
41. Ahlström, C.; Solis-Marcos, I.; Nilsson, E.; Åkerstedt, T. The impact of driver sleepiness on fixation-related brain potentials. J. Sleep Res. 2019, 29, e12962. [CrossRef]
42. Renold, H.; Chavarriaga, R.; Gheorghe, L.; Millán, J.D.R. EEG correlates of active visual search during simulated driving: An exploratory study. In Proceedings of the 2014 IEEE International Conference on Systems, Man and Cybernetics (SMC), San Diego, CA, USA, 5–8 October 2010; IEEE: Piscataway, NJ, USA, 2014; pp. 2815–2820.
43. Haak, M.; Bos, S.; Panic, S.; Rothkrantz, L.J.M. Detecting Stress Using Eye Blinks and Brain Activity from EEG Signals. In Proceed- ings of the 1st Driver Car Interaction and Interface (DCII 2008); 2009; pp. 35–60. Available online: https://www.stevenbos.com/dl/ publications/Detecting_Stress_Using_Eye_Blinks_And_Brain_Activity_From_EEG_Signals.pdf (accessed on 19 February 2021).
44. Yang, Y.; Chen, Y.; Wu, C.; Easa, S.M.; Lin, W.; Zheng, X. Prevention, Effect of highway directional signs on driver mental workload and behavior using eye movement and brain wave. Accid. Anal. Prev. 2020, 146, 105705. [CrossRef]
45. Unity-Technology Unity User Manual (2019.1). Available online: https://docs.unity3d.com/Manual/ (accessed on 1 January 2019).
46. BoneCrakerGames BoneCrakerGames Realistic car contrller V3. Available online: http://www.bonecrackergames.com (accessed on 10 September 2019).
47. Wang, Y.; Markham, C.; Deegan, C. Design of a novel photosensitive phantom for the accurate calibration of the temporal response of electroencephalography systems. Rev. Sci. Instrum. 2020, 91, 064101. [CrossRef]
48. Delorme, A.; Makeig, S. EEGLAB: An open source toolbox for analysis of single-trial EEG dynamics including independent component analysis. J. Neurosci. Methods 2004, 134, 9–21. [CrossRef]
49. Langlois, D.; Chartier, S.; Gosselin, D. An introduction to independent component analysis: InfoMax and FastICA algorithms. Tutor. Quant. Methods Psychol. 2010, 6, 31–38. [CrossRef]
50. Devillez, H.; Guyader, N.; Guérin-Dugué, A. An eye fixation–related potentials analysis of the P300 potential for fixations onto a target object when exploring natural scenes. J. Vis. 2015, 15, 20. [CrossRef] [PubMed]
51. James, T.W.; Humphrey, G.K.; Gati, J.S.; Menon, R.S.; Goodale, M.A. The effects of visual object priming on brain activation before and after recognition. Curr. Biol. 2000, 10, 1017–1024. [CrossRef]
52. Young, K.; Lee, J.D.; Regan, M.A. Driver Distraction: Theory, Effects, and Mitigation; CRC Press: Boca Raton, FL, USA, 2008.
53. Guo, F.; Klauer, S.G.; Fang, Y.; Hankey, J.M.; Antin, J.F.; Perez, M.A.; Lee, S.E.; Dingus, T.A. The effects of age on crash risk associated with driver distraction. Int. J. Epidemiol. 2017, 46, 258–265. [CrossRef]
54. Kamienkowski, J.E.; Ison, M.J.; Quiroga, R.Q.; Sigman, M. Fixation-related potentials in visual search: A combined EEG and eye tracking study. J. Vis. 2012, 12, 4. [CrossRef]
55. Rämä, P.; Baccino, T. Eye fixation–related potentials (EFRPs) during object identification. Vis. Neurosci. 2010, 27, 187–192. [CrossRef]
56. Léger, P.-M.; Sénecal, S.; Courtemanche, F.; de Guinea, A.O.; Titah, R.; Fredette, M.; Labonte-LeMoyne, É. Precision is in the eye of the beholder: Application of eye fixation-related potentials to information systems research. J. Assoc. Inf. Syst. 2014, 15, 651. [CrossRef]
57. Graupner, S.-T.; Pannasch, S.; Velichkovsky, B.M. Saccadic context indicates information processing within visual fixations: Evidence from event-related potentials and eye-movements analysis of the distractor effect. Int. J. Psychophysiol. 2011, 80, 54–62. [CrossRef] [PubMed]
58. Kaunitz, L.N.; Kamienkowski, J.E.; Varatharajah, A.; Sigman, M.; Quiroga, R.Q.; Ison, M.J. Looking for a face in the crowd: Fixation-related potentials in an eye-movement visual search task. NeuroImage 2014, 89, 297–305. [CrossRef]
59. Ries, A.J.; Touryan, J.; Ahrens, B.; Connolly, P. The impact of task demands on fixation-related brain potentials during guided search. PLoS ONE 2016, 11, e0157260. [CrossRef]
60. Heinze, H.; Mangun, G.R.; Burchert, W.; Hinrichs, H.; Scholz, M.; Münte, T.; Gös, A.; Scherg, M.; Johannes, S.; Hundeshagen, H. Combined spatial and temporal imaging of brain activity during visual selective attention in humans. Nature 1994, 372, 543–546. [CrossRef] [PubMed]
61. Vogel, E.K.; Luck, S.J. The visual N1 component as an index of a discrimination process. Psychophysiology 2000, 37, 190–203. [CrossRef]
62. Mangun, G.R. Neural mechanisms of visual selective attention. Psychophysiology 1995, 32, 4–18. [CrossRef]
63. Clark, V.P.; Hillyard, S.A. Spatial selective attention affects early extrastriate but not striate components of the visual evoked potential. J. Cogn. Neurosci. 1996, 8, 387–402. [CrossRef]
64. Luck, S.J.; Woodman, G.F.; Vogel, E.K. Event-related potential studies of attention. Trends Cogn. Sci. 2000, 4, 432–440. [CrossRef]
65. Heinze, H.; Luck, S.J.; Mangun, G.R.; Hillyard, S.A. Visual event-related potentials index focused attention within bilateral stimulus arrays. I. Evidence for early selection. Electroencephalogr. Clin. Neurophysiol. 1990, 75, 511–527. [CrossRef]
66. Luck, S.J.; Heinze, H.; Mangun, G.R.; Hillyard, S.A. Visual event-related potentials index focused attention within bilat- eral stimulus arrays. II. Functional dissociation of P1 and N1 components. Electroencephalogr. Clin. Neurophysiol. 1990, 75, 528–542. [CrossRef]
67. Lange, J.J.; Wijers, A.A.; Mulder, L.J.; Mulder, G. ERP effects of spatial attention and display search with unilateral and bilateral stimulus displays. Biol. Psychol. 1999, 50, 203–233. [CrossRef]
68. Haider, M.; Spong, P.; Lindsley, D.B. Attention, vigilance, and cortical evoked-potentials in humans. Science 1964, 145, 180–182. [CrossRef]
69. Dunn, B.R.; Dunn, D.A.; Languis, M.; Andrews, D. The relation of ERP components to complex memory processing. Brain Cogn. 1998, 36, 355–376. [CrossRef] [PubMed]
70. Frodl, T.; Meisenzahl, E.M.; Gallinat, J.; Hegerl, U.; Möller, H.-J. Markers from event-related potential subcomponents and reaction time for information processing dysfunction in schizophrenia. Eur. Arch. Psychiatry Clin. Neurosci. 1998, 248, 307–313. [CrossRef]
71. Evans, K.M.; Federmeier, K.D. The memory that’s right and the memory that’s left: Event-related potentials reveal hemispheric asymmetries in the encoding and retention of verbal information. Neuropsychologia 2007, 45, 1777–1790. [CrossRef] [PubMed]
72. Portella, C.; Machado, S.; Paes, F.; Cagy, M.; Sack, A.T.; Sandoval-Carrillo, A.; Salas-Pacheco, J.; Silva, A.C.; Piedade, R.; Ribeiro, P. Differences in early and late stages of information processing between slow versus fast participants. Int. Arch. Med. 2014, 7, 1–8. [CrossRef]
73. Busch, N.A.; Debener, S.; Kranczioch, C.; Engel, A.K.; Herrmann, C.S. Size matters: Effects of stimulus size, duration and eccentricity on the visual gamma-band response. Clin. Neurophysiol. 2004, 115, 1810–1820. [CrossRef] [PubMed]
74. Pfabigan, D.M.; Sailer, U.; Lamm, C. Size does matter! Perceptual stimulus properties affect event-related potentials during feedback processing. Psychophysiology 2015, 52, 1238–1247. [CrossRef] [PubMed]
75. Gebodh, N.; Vanegas, M.I.; Kelly, S.P. Effects of stimulus size and contrast on the initial primary visual cortical response in humans. Brain Topogr. 2017, 30, 450–460. [CrossRef]
76. Lin, C.-T.; Wu, R.-C.; Jung, T.-P.; Liang, S.-F.; Huang, T.-Y. Estimating driving performance based on EEG spectrum analysis.
77. Eurasip J. Adv. Signal Process. 2005, 2005, 1–10. [CrossRef]
78. Wickens, C.D.; Flach, J.M. Information processing. In Human Factors in Aviation; Elsevier: Amsterdam, The Netherlands, 1988; pp. 111–155.