EyeTrackDL: A Robust Deep Learning Framework for Saccade  Detection via Simulated Data Augmentation

Khoan Ngoc Ha

doi:10.21553/rev-jec.409

EyeTrackDL: A Robust Deep Learning Framework for Saccade Detection via Simulated Data Augmentation

Khoan Ngoc Ha

Abstract

Phát hiện saccade là một nhiệm vụ cơ bản trong phân tích hành vi thị giác và chẩn đoán tiền đình. Tuy nhiên, các bản ghi video Head Impulse Test (vHIT) thường ồn ào, không đồng nhất và bị ảnh hưởng bởi sự mất cân bằng giai cấp, đặc biệt là đối với các saccades bí mật. Trong bài báo này, chúng tôi đề xuất EyeTrackDL, một khung học sâu nhẹ nhưng hiệu quả dựa trên kiến trúc perceptron nhiều lớp (MLP) để phân loại ba loại chuyển động mắt: không saccades, saccades công khai và saccades bí mật. Tín hiệu đầu vào được xử lý trước bằng bộ lọc Butterworth bậc bốn và hai tính năng cấp cao (thời gian và thời lượng bắt đầu) được trích xuất cho mỗi saccade. Để giải quyết tình trạng khan hiếm và mất cân bằng dữ liệu, chúng tôi áp dụng lấy mẫu lại SMOTE và kết hợp dữ liệu tổng hợp được tạo ra từ mô hình phản xạ tiền đình-mắt động học (VOR). Mô hình được đánh giá bằng cách sử dụng xác nhận chéo gấp K (K = 2 đến 10) trên cả bộ dữ liệu thực và mô phỏng. Kết quả cho thấy EyeTrackDL đạt được độ chính xác trung bình lên đến 96,5% trên dữ liệu mô phỏng và khoảng 83% trong dữ liệu thực, với những cải thiện đáng kể về độ nhạy của các saccades bí mật. Phát hiện của chúng tôi chứng minh tiềm năng của việc tích hợp tăng cường dựa trên mô phỏng và cân bằng lớp để phát hiện saccade mạnh mẽ trong môi trường lâm sàng.

References

R. J. Leigh and D. S. Zee, The Neurology of Eye Movements.

Oxford University Press, 2015.

K. Holmqvist, M. Nyström, R. Andersson, R. Dewhurst,

H. Jarodzka, and J. van de Weijer, “Eye tracking: A

comprehensive guide to methods and measures,” Oxford

University Press, 2011.

S. Martinez-Conde, S. L. Macknik, and D. H. Hubel, “To

ward a saccade-based biomarker for parkinson disease,”

Frontiers in Neurology, vol. 4, p. 178, 2013.

H. G. MacDougall, K. P. Weber, L. A. McGarvie, G. M.

Halmagyi, and I. S. Curthoys, “Covert saccades during

head impulse testing: a marker of vestibular compensa

tion?” Neurology, vol. 72, no. 7, pp. 588–593, 2009.

R. Engbert and K. Mergenthaler, “Microsaccades are

triggered by low retinal image slip,” Proceedings of the

National Academy of Sciences, vol. 103, no. 33, pp. 12349

, 2006.

M. Nyström and K. Holmqvist, “Practical robust fixation

detection,” Behavior Research Methods, vol. 42, no. 1, pp.

–384, 2010.

M. E. Bellet, J. Bellet, N. Guyader, M. Boucart, J. Grainger,

and F. Vitu, “Human-level saccade detection perfor

mance using deep neural networks,” Scientific Reports,

vol. 9, no. 1, pp. 1–12, 2019.

M. Startsev, I. Agtzidis, and M. Dorr, “Lstm-based sac

cade detection,” in Proceedings of the 2018 ACM Sympo

sium on Eye Tracking Research & Applications. ACM, 2018,

pp. 1–9.

J. Otero-Millan, X. M. Troncoso, S. L. Macknik, I. Serrano

Pedraza, and S. Martinez-Conde, “Oculomotor strategies

for fixating and following moving targets,” Vision Re

search, vol. 49, no. 5, pp. 705–726, 2014.

R. Zemblys, D. C. Niehorster, and K. Holmqvist,

“Gazenet: End-to-end eye-movement event detection

with deep neural networks,” Behavior Research Methods,

vol. 51, no. 2, pp. 840–864, 2018.

A. Mihali and R. C. Muresan, “A bayesian generative

model for microsaccade detection,” Frontiers in Neuro

science, vol. 11, pp. 1–15, 2017.

P. M. Daye and L. M. Optican, “A bayesian framework

for saccade generation: Eye movements in pursuit track

ing and interception,” Journal of Vision, vol. 14, no. 12,

pp. 1–25, 2014.

J. Pekkanen and O. Lappi, “A new threshold-free algo

rithm for detecting fixations and saccades in eye-tracking

data,” Behavior Research Methods, vol. 49, no. 2, pp. 1234

, 2017.

I. Goodfellow, Y. Bengio, and A. Courville, Deep learning.

MIT Press, 2016.

D. P. Kingma and J. Ba, “Adam: A method for stochastic

optimization,” arXiv preprint arXiv:1412.6980, 2014.

N. V. Chawla, K. W. Bowyer, L. O. Hall, and W. P.

Kegelmeyer, “Smote: Synthetic minority over-sampling

technique,” Journal of Artificial Intelligence Research,

vol. 16, pp. 321–357, 2002.

DOI: http://dx.doi.org/10.21553/rev-jec.409

Copyright (c) 2025 REV Journal on Electronics and Communications

ISSN: 1859-378X

Username
Password
Remember me