可访问的界面 / 2024
ASL 手语识别
帮助学习者在浏览器里学习、练习美国手语,结合教学示范与手语识别反馈。
更容易开始的手语练习
这是一个用于学习和练习美国手语的 Web 应用。学习者先看示范,再对着摄像头做手势,将模型识别出的词与正在学习的词作对照。
我的工程重点
我参与 Web 应用与模型服务路径的开发:React 界面、MediaPipe 关键点跟踪和客户端推理。视觉叠加将摄像头捕捉的动作与练习者看到的反馈联系起来。
部署使用 AWS S3 承载静态资源与模型权重;应用也提供录制流程,支持练习和数据收集。
把能力连接到使用
项目将训练好的模型与清晰的反馈过程连接起来:观看示范、对着摄像头练习、查看手语预测结果。它结合了界面开发与在浏览器中运行推理的实际工程问题。
原始项目截图
