欧洲Peggasus项目的框架内,CSEM及其合作伙伴已经开发出一种视觉系统,允许飞行员在驾驶舱专注于重要的任务,提高机组效率和最大限度地提高飞行安全。这种新的人机界面使远程眼球追踪和手势识别和利用最新的人工智能和计算机视觉的发展。系统已经成功测试了10个专业飞行员在飞行模拟器。
图片来源:CSEM
自1914年以来,大多数商用飞机建造配有一个自动驾驶仪系统。尽管这些系统提供明显的好处(如提高飞行安全和操作)、新的挑战出现了由于现代驾驶舱的增加了复杂性。今天这些小屋包含一组大型计算机屏幕,很多二级刻度盘,数以百计的开关。这意味着飞行员必须处理大量的信息在高压力、高负荷的情况。
视频来源:CSEM
一个新的人机界面
这个问题PEGGASUS——简称试点眼睛的目光和姿态跟踪航空电子系统使用的解决方案——已经着手解决。这项研究是由CSEM协调和资助欧盟和其他联盟成员包括苏黎世联邦理工学院,SERMA Ingenierie和瑞士国际航空公司。CSEM与这些项目伙伴合作,开发一种新型的人机界面的形式安装,非侵入性的摄像系统。系统可以跟踪一个试点的目光和实时识别他们的手势,在驾驶舱。它给飞行员无缝的和准确的反馈,从而减轻他们的工作量,提高态势感知能力在执行大量的复杂的任务。
”PEGGASUS系统地址在航空背景情况下遇到的独特的挑战,如极端光强度的变化安德里亚·邓巴说:“该财团在CSEM协调员。“提高飞行员的态势感知,因此决策,使机组人员与飞机更容易控制。
眼睛注视跟踪和手势识别
PEGGASUS采用先进的计算机视觉和机器学习算法。眼动跟踪的算法管道结合分析和数据驱动方法,实时操作以每秒60帧用最小的延迟而实现眼球追踪精度优于1°。
使手势识别,神经网络模型的开发和整合到最后PEGGASUS系统,提供了一个新的交互形式直接在驾驶舱。
这个独一无二的系统是在所有联盟成员共同努力的结果,与每一个利用自己的专业知识。CSEM发达的视觉系统和机器学习算法的眼睛跟踪和手势识别。SERMA Ingenierie PEGGASUS硬件系统集成到一个驾驶舱示威者进行测试。苏黎世联邦理工学院,其技术在人机交互和航空安全,设计和执行测试模拟器的研究。瑞士国际航空公司支持的财团通过提供洞察未来的培训用例和思想的应用。
测试和批准的专业人士
PEGGASUS系统测试由十个专业飞行员在驾驶模拟器由汉莎航空提供培训、瑞士。他们给了非常积极的反馈和评价PEGGASUS视觉系统比戴眼动跟踪系统的舒适和低干扰。
”基于许多事件和事故分析,可获得最高程度的飞行安全的人机界面进行了优化吉拉德说:“Scherpf,汉莎航空培训发展集团。”任何步骤改善这样的一个接口将为欧洲航空电子设备行业的价值。更重要的是,这些接口可以提高飞行操作和飞行员训练。计算机辅助技术中使用的一个PEGGASUS现代客机可能非常有效,特别是安全水平需要保持或增加随着自动化程度的增加。”
欧洲杯猜球平台
- 驾驶舱摄像系统监控飞行员的视线方向和跟踪手势
来源:文章发表在心脏的|欧洲委员会(2022)。 - ”基于ai手势识别系统对改善人机交互在驾驶舱”
来源:CSEM科学&技术报告2020、105页。
