Важной областью применения систем виртуальной реальности всегда была подготовка к реальной деятельности. Привлекательность симуляторов заключается в том, что они могут обеспечить тренировки, равные или почти равные тренировкам на реальных системах, но по меньшей цене и с большей безопасностью. Это особенно актуально для военной подготовки, а первым значительным применением коммерческих симуляторов стала подготовка пилотов во время Второй мировой войны. Летные тренажеры основаны на визуальной и двигательной обратной связи, чтобы дополнить ощущения от полета, когда вы сидите в закрытой механической системе на земле. Компания Link Company, основанная бывшим фортепианным мастером Эдвином Линком, начала строить первые прототипы тренажеров Link Trainers в конце 1920-х годов, в итоге остановившись на конструкции «синего ящика», приобретенной армейским авиационным корпусом в 1934 году. Первые системы использовали обратную связь, чтобы повысить привычку к управлению самолетом. Пилоты тренировались, сидя в имитируемой кабине, которая могла перемещаться гидравлически в ответ на их действия (см. ). Более поздние версии добавили сцену «циклорама», нарисованную на стене за пределами тренажера, чтобы обеспечить ограниченную визуальную обратную связь. Только после создания тренажера небесной навигации, заказанного британским правительством во время Второй мировой войны, в тренажерах Link использовались проецируемые киноленты, но эти системы могли проецировать только то, что было отснято на правильной траектории полета или посадки, а не генерировать новые изображения в зависимости от действий обучаемого. К 1960-м годам инструкторы по летной подготовке стали использовать кинопленку и замкнутое телевидение для улучшения
Вдохновленный управлением в тренажере Link, Сазерленд предложил использовать в таких дисплеях многочисленные сенсорные выходы, джойстики с обратной связью, мышечные датчики и датчики слежения за глазами; пользователь будет полностью погружен в отображаемую среду и сможет летать по «концепциям, которые никогда раньше не имели визуального представления». В 1968 году он перешел в Университет Юты, где вместе со своим коллегой Дэвидом Эвансом основал компанию Evans & Sutherland Computer Corporation. Изначально новая компания занималась разработкой графических приложений, таких как генераторы сцен для систем авиасимуляторов. В начале 1970-х годов эти системы могли воспроизводить сцены со скоростью примерно 20 кадров в секунду, что было минимальной частотой кадров для эффективного обучения полетам. Компания General Electric Company построила первые летные тренажеры со встроенной компьютерной генерацией изображений в реальном времени сначала для программы «Аполлон» в 1960-х годах, а затем для ВМС США в 1972 году. К середине 1970-х годов эти системы были способны генерировать простые трехмерные модели с несколькими сотнями полигонов; они использовали растровую графику (наборы точек) и могли моделировать твердые объекты с текстурами для повышения реалистичности (см. компьютерная графика). К концу 1970-х годов в военные летные тренажеры стали устанавливать наголовные дисплеи, такие как шлем VITAL корпорации McDonnell Douglas, прежде всего потому, что они занимали гораздо меньше места, чем проекционный дисплей. Сложное устройство слежения за головой в HMD следило за движениями глаз пилота, чтобы согласовать их с компьютером.
Достижения в области летных тренажеров, человеко-компьютерных интерфейсов и систем дополненной реальности указывают на возможность создания иммерсивных систем управления в реальном времени не только для исследований или обучения, но и для повышения эффективности работы. С 1960-х годов инженер-электрик Томас Фернесс работал над визуальными дисплеями и приборами в кабинах пилотов для ВВС США. К концу 1970-х годов он начал разработку виртуальных интерфейсов для управления полетом, а в 1982 году продемонстрировал симулятор визуально связанных бортовых систем — более известный как шлем Дарта Вейдера, бронированного злодея из популярного фильма «Звездные войны». С 1986 по 1989 год Фернесс руководил программой ВВС Super Cockpit. Основная идея этого проекта заключалась в том, что способность пилотов обрабатывать пространственную информацию зависит от того, как эти данные будут «представлены в виде, который использует естественные механизмы восприятия человека». Применяя HMD для достижения этой цели, Фернесс разработал систему, которая проецировала такую информацию, как сгенерированные компьютером трехмерные карты, инфракрасные и радиолокационные изображения переднего обзора и данные бортовой электроники в захватывающее трехмерное виртуальное пространство, которое пилот мог видеть и слышать в режиме реального времени. Система слежения шлема, голосовые органы управления и датчики позволяют пилоту управлять самолетом с помощью жестов, слов и движений глаз, переводя погружение в виртуальное пространство, наполненное данными, в способы управления. Более естественный перцептивный интерфейс также снизил сложность и n
Сазерленд и Фернесс перенесли понятие технологии симуляторов с реальных образов на виртуальные миры, представляющие абстрактные модели и данные. В этих системах визуальная правдоподобность была менее важна, чем погружение и обратная связь, которая задействовала все органы чувств. Такой подход имел важные последствия для медицинских и научных исследований. Проект GROPE, начатый в 1967 году в Университете Северной Каролины Фредериком Бруксом, был особенно примечателен тем, что позволил добиться прогресса в изучении молекулярной биологии. Брукс стремился улучшить восприятие и понимание взаимодействия молекулы лекарства с рецептором на белке, создав окно в виртуальный мир сил молекулярной стыковки. Он объединил изображения проволочных каркасов для представления молекул и физических сил с «тактильной» обратной связью, опосредованной специальными устройствами для захвата руками, чтобы расположить виртуальные молекулы в конфигурации с минимальной энергией связи. Ученые, использующие эту систему, ориентировались в представленных силах, как летчики, изучающие приборы в кабине Link, «схватывая» физические ситуации, изображенные в виртуальном мире, и выдвигая гипотезы о новых лекарствах на основе своих манипуляций. В 1990-х годах лаборатория Брукса распространила использование виртуальной реальности на радиологию и ультразвуковую визуализацию.
Виртуальная реальность была распространена на хирургию благодаря технологии телеприсутствия — использованию роботизированных устройств, управляемых дистанционно через опосредованную сенсорную обратную связь для выполнения задачи. Основой для виртуальной хирургии послужило развитие в 1970-80-х годах микрохирургии и других менее инвазивных видов операций. К концу 1980-х годов микрокамеры, прикрепленные к эндоскопическим устройствам, передавали изображения, которые можно было передавать группе хирургов, смотрящих на один или несколько мониторов, часто находящихся в разных местах. В начале 1990-х годов по инициативе DARPA были профинансированы исследования по разработке рабочих станций телеприсутствия для проведения хирургических операций. Это было «окно в виртуальный мир», по словам Сазерленда, с дополнительным измерением — уровнем сенсорной обратной связи, который мог бы соответствовать тонкой моторике и зрительно-моторной координации хирурга. Первое оборудование для телехирургии было разработано в SRI International в 1993 году, а первая роботизированная операция была проведена в 1998 году в парижской больнице Broussais.
