Предупреждение: эта страница является автоматическим (машинным) переводом, в случае каких-либо сомнений обращайтесь к оригинальному английскому документу. Мы приносим извинения за неудобства, которые это может вызвать.
ECTtracker - Первый запуск ECTtracker. Приступая к работе
Первый запуск ECTtracker. Приступая к работе
Для того, чтобы программа успешно анализировала изображение, необходимо произвести правильную калибровку и заполнить матрицу образцов. Также потребуется изменить ряд дополнительных настроек в зависимости от физических особенностей пациента и производительности компьютера. Особенно важно это при первом запуске приложения.
Порядок первоначальной настройки ECTtracker и последующей работы с программой состоит из следующих действий:
- Запуск программы, в случае необходимости загрузка пользовательских настроек.
- Выбор структуры распознавания.
- Нахождение источника изображения и настройка позиции граб-формы (в инструкции будет рассматриваться настройка и использование ECTtracker совместно с ECTcamera).
- Автоматическая или ручная калибровка ECTtracker (заполнение матрицы образцов).
- Указание программы-приемника, установка кодов клавиш и действий, настройка дополнительных параметров.
Запуск программы и выбор структуры распознавания
Для начала работы с программой нужно включить приложение айтрекинга, запустив файл ECTtracker.exe. Если нужно воспользоваться сохраненным ранее профилем пользовательских настроек, то после запуска программы необходимо выбрать пункт меню "Settings" (Настройки) – "Load Settings" (Загрузить настройки), в появившемся диалоговом окне операционной системы выбрать необходимый файл (см. рис. 2). Все изменения настроек программы вступят в действие после выбора конфигурационного файла.
(Рис. 2. Загрузка файла конфигурации ECTtracker)
После этого (если есть такая необходимость, так как некоторая структура уже указана в выбранном конфигурационном файле) нужно выбрать структуру распознавания – для одного или двух глаз. Выбор производится при помощи пункта меню "Samples" (Образцы) – "Choose Structure" (Выбрать структуру). Структуры распознавания отличаются расположением ключевых точек, при помощи которых происходит сравнение изображения в окне программы с сохраненными пользователем образцами. Различные структуры представлены на рисунке 3. Стоит отметить, что различные структуры позволяют определять выбор пользователя не только по открытию и закрытию глаз, но и по другим действиям. К ним могут относиться движения бровей или губ, убирание из кадра и последующий возврат пальца, иными словами – любые четко различимые состояния.
(Рис. 3. Различные структуры распознавания)
Общий принцип подбора структуры – разместить максимальное количество точек поверх области с максимальным количеством визуально отличимых изменений. Точки структуры, находящиеся поверх статичной области кадра, повышают нагрузку на систему и негативно влияют на качество распознавания.
Выбор источника изображения, настройка граб-формы
До запуска распознавания в ECTtracker необходимо установить источник изображения. Если программа используется совместно с приложением, использующим функцию захвата видео с веб-камеры или иного подключенного к компьютеру устройства, необходимо сначала запустить это приложение. Если используется сохраненная видеозапись, необходимо открыть окно медиа-проигрывателя. В данной инструкции описана совместная работа ECTtracker c ECTcamera – приложением для работы с веб-камерой ноутбука или внешней камерой, подключенной к компьютеру.
Чтобы ECTtracker корректно отображал фрагмент видео из окна ECTcamera, необходимо правильно разместить над этим окном граб-форму (окно-мишень). При запуске ECTtracker пользователь видит полупрозрачную прямоугольную область с красной окантовкой – именно она предназначена для захвата части изображения и передачи его в окно программы. Чтобы настроить захват изображения, необходимо переместить окно-мишень поверх окна с воспроизводимым видео (см. рис. 4). При этом в видео-окне ECTtracker точки структуры должны максимально полно закрывать на изображении ту область, которая будет меняться.
(Рис. 4. Захват фрагмента изображения при помощи окна-мишени)
Если нужно быстро изменить размеры граб-формы, это можно сделать, кликнув по ней правой кнопкой мыши. В появившемся меню нужно выбрать одно из предлагаемых действий (см. рис. 5).
(Рис. 5. Меню изменения размеров граб-формы)
Также можно кликнуть по граб-форме левой клавишей мыши, чтобы активировать ее, а затем быстро изменить размеры при помощи горячих клавиш:
- Ctrl+Right – увеличить ширину граб-формы;
- Ctrl+Left – уменьшить ширину;
- Ctrl+Down – увеличить высоту;
- Ctrl+Up – уменьшить высоту.
Каждое выполняемое действие приводит в немедленному обновлению граб-формы и основного окна программы.
После выбора структуры и захвата необходимой части изображения при помощи граб-формы необходимо создать или загрузить матрицу рабочих образцов, чтобы программа могла осуществлять распознавание изображения. Если пользователь уже создавал матрицу образцов ранее, он может загрузить ее:
- при помощи пункта меню "Samples" (Образцы) – "Choose Matrix of Samples" (Выбрать матрицу образцов), если матрица образцов сохранялась как единый файл;
- при помощи пункта меню "Samples" (Образцы) – "Import Matrix of Samples" (Импорт таблицы образцов), если образцы сохранялись в качестве отдельных файлов.
Если матрица образцов ранее не создавалась, необходимо это сделать либо в ручном режиме, либо при помощи функции автоматической калибровки.
Автоматическая калибровка
Авто-калибровка использует скрипт, показывающий пользователю вспомогательные пиктограммы с различным состоянием глаз (оба глаза открыты, открыт правый глаз, открыт левый глаз, оба глаза закрыты). Пользователю необходимо смотреть на пиктограмму и в зависимости от изображения на ней открывать или закрывать один или оба глаза. Различные варианты пиктограмм представлены на рисунке 6.
(Рис. 6. Вспомогательные пиктограммы для проведения автоматической калибровки)
В зависимости от выбранного скрипта пиктограммы будут показываться пользователю в разных частях экрана. Если визуально разделить рабочую область экрана на 9 частей, то каждому участку будет соответствовать одна пиктограмма (см. рис. 7). Для каждого положения и состояния глаз будет создаваться образец в матрице. Это необходимо для того, чтобы программа могла правильно отслеживать состояние глаз вне зависимости от того, на какую часть экрана смотрит пользователь.
(Рис. 7. Различное расположение пиктограмм)
Параметр 48 окна настроек ECTtracker позволяет пользователю задавать имя файла со скриптом авто-калибровки. Функционал скрипта можно определить по имени файла – оно содержит специальную символьную кодировку. Число перед буквой S обозначает количество состояний глаза, отображаемое на пиктограмме авто-калибровки. Число перед буквой P – количество различных положений пиктограммы на экране. Число перед буквой M – количество строк в матрице образцов.
Пример 1: если выбрать скрипт Eye_2S5P2M.dat, то пользователю будет показываться пиктограмма с открытыми и закрытыми глазами. Пиктограмма будет показана в пяти разных позициях на экране (по центру, в левом верхнем углу, в правом верхнем углу, в левом нижнем углу, в правом нижнем углу). При калибровке будут заполнены две строки матрицы образцов.
Пример 2: если выбрать скрипт Eye_4S5P4M.dat, пользователь увидит пиктограммы с четырьмя доступными состояниями глаз (открыты оба глаза, открыт правый глаз, открыт левый глаз, оба глаза закрыты). Пиктограмма будет показана в пяти разных позициях на экране. При калибровке будут заполнены четыре строки матрицы образцов.
Таким образом, можно выбрать тот тип автоматической калибровки, который более всего подходит для конкретного пользователя. К примеру, если пациент сохранил подвижность только одного глаза, целесообразно использовать скрипт, создающий два типа образцов – глаза открыты и глаза закрыты (при этом нужно расположить граб-форму на области сохранившего функциональность глаза и при дальнейшей работе использовать структуру распознавания для одного глаза). Если сохранена способность моргать обоими глазами, можно использовать скрипт для четырех состояний глаз и структуру распознавания для двух глаз. По умолчанию в ECTtracker используется скрипт Eye_2S1P2M.dat.
Для запуска калибровки необходимо выбрать пункт меню "Samples" (Образцы) – "Automatic Calibration" (Автокалибровка) или нажать клавишу F11. Пользователю будут последовательно показаны пиктограммы с таймером обратного отсчета. По окончании работы таймера звучит сигнал, образец заносится в матрицу образцов, а пользователю показывается следующая пиктограмма. Процедура калибровки позволяет заполнить матрицу образцов в полностью автоматическом режиме.
В результате авто-калибровки некоторые образцы могут получиться неудачными. К этому приводят:
- значительное смещение картинки при движениях головой, если пациент сохранил двигательную активность;
- нечеткие снимки при движении зрачков, моргании, поворотах головы;
- излишняя затененность снимков при слабом освещении со стороны камеры.
В этом случае можно очистить таблицу образцов при помощи пункта меню "Samples" (Образцы) – "Reset Matrix of Samples" (Очистить матрицу образцов), а затем изменить условия съемки и произвести калибровку повторно.
Ручная калибровка
Пользователь может выбирать изображения для матрицы образцов вручную. Таким образом можно заменить неудачные образцы, получившиеся при автоматической калибровке, не проводя ее снова, или выбрать все образцы самостоятельно.
Заполнить матрицу образцов ECTtracker можно одним из двух способов:
- Создать образцы, на которых глаз пользователя открыт (обычно при правильной настройке программы для корректного распознавания хватает двух образцов), добавить их в первую строку матрицы образцов. Затем создать образец, где глаз пользователя закрыт (достаточно одного образца), добавить его во вторую строку матрицы. После этого необходимо задать коды клавиш и выполняемые действия (нажатие, отпускание), заполнив параметры 111 и 112 окна настроек программы. Значение параметра 111 (соответствует состоянию открытого глаза в матрице образцов) по умолчанию "32 2" – отпускание клавиши "пробел". Значение параметра 112 (соответствует состоянию закрытого глаза) равно "32 2" – нажатие клавиши "пробел". Подробнее о кодах клавиш и действиях – в разделе "Настройки и дополнительные параметры ECTtracker" данной инструкции.
- Создать образец для закрытого глаза, поместить его во вторую строку матрицы образцов. После этого задать код клавиши и действие, заполнив параметр 112 (по умолчанию "32 1" – нажатие "пробела"). Также потребуется задать значение параметра 110 (по умолчанию "32 2" – отпускание "пробела"). Параметр 110 задает код клавиши и действие в том случае, если ECTtracker не находит ни одного образца, совпадающего с изображением. Таким образом, для работы программы достаточно единственного образца, на котором глаз пользователя закрыт! Это позволяет значительно упростить работу с ECTtracker и ускорить настройку программы при первом запуске.
Для добавления образцов в матрицу необходимо включить захват изображения в ECTtracker при помощи команды меню "Start" (Старт) или нажатия клавиши F2, а затем кликнуть по изображению правой кнопкой мыши. Изображение будет зафиксировано на текущем кадре и выделится прямоугольная область, центр которой находится в точке щелчка мышью (см. рис. 8). Повторный щелчок по изображению в окне ECTtracker правой кнопкой мыши обновит кадр. Щелчок левой кнопкой отменит выделение, и непрерывное получение изображения продолжится.
(Рис. 8. Выбор изображения для заполнения матрицы образцов)
-
После того, как выбран удачный образец, его необходимо сохранить. Для этого нужно кликнуть правой или левой кнопкой мыши по нужной ячейке матрицы образцов. Образец будет добавлен в нее. При этом, если ячейка содержала другой образец, он будет заменен без дополнительного подтверждения. Внешний вид заполненной матрицы образцов показан на рисунке 9.
(Рис. 9. Заполненная матрица образцов.
Справа – работа с одним образцом при использовании параметра 110)
Для большего удобства заполнения образцы в матрице можно менять местами. Для этого необходимо остановить работу программы, выбрав в главном меню пункт "Stop" (Стоп). После этого необходимо кликнуть правой или левой кнопкой мыши по одному из образцов, который нужно поменять местами – он подсветится синей рамкой (см. рис. 10). После этого нужно кликнуть по второму образцу, и они поменяются местами в матрице.
(Рис. 10. Смена мест образцов в матрице)
Важно! Корректная калибровка и правильное заполнение матрицы образцов необходимы для улучшения качества распознавания изображения. От того, насколько верно проведена первоначальная настройка программы, зависит точность определения состояния глаз. При правильной калибровке пациент сможет дольше работать с текстовой матрицей, допускать минимум ошибок и меньше утомляться.
Рекомендации по заполнению матрицы образцов:
- при выборе образца щелчок мышью требуется осуществлять по центру зрачка. Это очень важный момент, так как дальнейшая стабилизация распознавания будет производиться именно по этой точке;
- в первую строку матрицы образцов нужно добавлять изображения, на которых глаз пользователя открыт, во вторую – те, где глаз закрыт. В противном случае нужно будет откорректировать значения отправляемых кодов клавиш (параметры 110-112);
- для корректной работы программы рекомендуется сохранять не более двух образцов изображения с открытым глазом. Для закрытого глаза достаточно одного образца (см. рис. 9);
- взгляд пациента должен быть по возможности направлен в сторону камеры. Соответственно окно виртуальной клавиатуры ECTkeyboard желательно расположить так, чтобы оно находилось как можно ближе к веб-камере;
- размер основного окна ECTkeyboard и расстояние от пациента до монитора стоит подобрать так, чтобы зрачок совершал как можно меньше перемещений при работе. Если пользователь находится далеко от монитора, можно, не меняя размер элементов матрицы, увеличить шрифт в ней;
- масштабирование изображения и изменение его положения стоит делать исключительно при помощи средств приложения ECTcamera.
- источник света желательно расположить так, чтобы лицо пациента сильно не оттенялось. Можно приглушить весь свет, исходящий не от монитора, а также разместить рядом с монитором дополнительный точечный источник света (например, светодиодный фонарик).
С подробными рекомендациями, содержащими полное описание и сопутствующие схемы и иллюстрации, можно ознакомиться в разделе "Советы и хитрости".
Завершение настройки
Для завершения первоначальной настройки ECTtracker пользователю также потребуется указать следующие параметры в окне настроек программы (вызывается при помощи пункта меню "Settings" (Настройки) – "Show Settings" (Показать окно настроек) или по нажатию "горячей клавиши" F3):
- Параметр 100 должен содержать строку ECTkeyboard by www.eyecomtec.com – это название основного окна текстовой матрицы ECTkeyboard, в которую ECTtracker будет передавать управляющие коды клавиш.
- Параметр 2 – процент совпадения образца и анализируемого изображения. Если при работе программы ни один из сохраненных образцов не совпадает в достаточной мере с изображением в видео-окне ECTtracker, процент совпадения рекомендуется уменьшить. Если одновременно совпадают два образца – увеличить. В каждый момент времени при работе программы процент совпадения для одной строки матрицы должен быть больше, чем для другой (это можно наглядно видеть в окне Stripes Diagram). В зависимости от используемой камеры, уровня освещения и других параметров оптимальные значениями wlim составляют от 18 до 35. Значение по умолчанию – 20.
- Параметр 5 – максимальный сдвиг образца относительно анализируемого изображения. ECTtracker проводит поиск совпадений не только в начальной точке изображения, но и в определенной области вокруг нее. Это необходимо для того, чтобы программа находила совпадения в случае незначительных перемещений, наклонов и поворотов головы, если пациент частично сохранил двигательную активность. Значение параметра по умолчанию – 3.
- Параметр 4 – количество кадров в секунду для изображения, выводимого в видео-окне ECTtracker. Чем выше это значение, тем чаще обновляется изображение. Как следствие – может улучшиться качество распознавания, но и возрастают требования к ресурсам компьютера. Параметр можно изменять от 1 до 60, значение по умолчанию – 20.
- Параметры 24 и 25 – ширина и высота окна-мишени (граб-формы). Значения по умолчанию – 140 и 160 соответственно. Если пользователь совершает движения головой, возможен выход анализируемого образца за пределы граб-формы. Особенно часто это происходит при значительном увеличении масштаба изображения. В этом случае рекомендуется увеличить значения так, чтобы все возможные движения оставались в пределах граб-формы.
- Параметры 110-115 – коды клавиш и действия. В данных полях задаются коды клавиш, посылаемые в программу-приемник при совпадении изображения в окне ECTtracker с одним из сохраненных образцов, а также возможные действие (нажатие клавиши, отпускание клавиши, нажатие и отпускание клавиши).
Для улучшения качества распознавания также необходимо выставить приоритеты цветовых каналов. Опытные пользователи могут задать приоритеты вручную, изменив значение параметра 15 окна настроек программы. Кроме того, можно воспользоваться функцией автоматического расчета. Для этого нужно выбрать пункт меню "Settings" (Настройки) – "Set Channel Formula"(Установка формулы цветов).
После того, как пользователь произвел все необходимые настройки программы, отметил область изображения для анализа при помощи окна-мишени, выбрал структуру и создал таблицу образцов, ECTtracker может быть запущен. Для начала работы с программой нужно выбрать пункт меню "Start" (Старт) в главном меню или нажать клавишу F2.
Сравнение анализируемого изображения с образцами из матрицы производится для каждого кадра, координаты центров образцов, превышающих заданный процент совпадения (параметр wlim), выводятся в списке распознанных образцов основного окна программы. Информация об образце с максимальным уровнем совпадения выводится в информационное поле ECTtracker.
Программа определяет наиболее соответствующий текущему изображению образец. В матрице образцов совпадающее изображение выделяется красной окантовкой. В зависимости от того, в какой из строк в матрице находится найденный образец, определяются действие и код клавиши, которые затем передаются в приложение-приемник. В том случае, если с анализируемым изображением не совпадает ни один из образцов матрицы, программа выполняет одно из действий в зависимости от значения параметра 9 в окне настроек. Если значение параметра – C (поиск образца от центра), ECTtracker перемещает точку поиска совпадений в центр анализируемого изображения и возобновляет поиск через определенный интервал времени. Если значение параметра – F (поиск образца от последних координат, где было найдено совпадение), образец будет искаться в пределах зоны предыдущего совпадения. Настроить количество кадров ожидания при отсутствии совпадающих образов можно при помощи параметра 6 в окне настроек программы.