还有手势控制智能家居、听音辨位等更多成果

克雷西 发自 凹非寺

量子位 | 公众号 QbitAI

一副眼镜,让视障人士也能感知到周围的物体;一块屏幕,可以让听障人士「看」到周围声音的方向和类别……

从零开始设计并制作出这样的智能设备,最少需要多长时间?

答案是:不到48小时

小米这款智能眼镜:48小时完成开发,专为视障人群打造

第四届小米黑客马拉松活动开放日上,从比赛中脱颖而出的队伍们展示了他们的成果。

参加比赛的76个团队需要在48小时内完成从设计开发到样品制作的完整流程。

经过激烈的角逐,产生了1个一等奖、2个二等奖、3个三等奖、6个优秀奖与4个繁星计划特别奖。

活动现场,16支获奖队伍中的8支对他们的成果进行了展示,并与观众交流。

「无障碍设计」颇受青睐

从前沿科技到日常生活,这些成果涉及到了众多领域。

值得一提的是,其中许多都与无障碍应用有关。

AI「识物眼镜」

获得比赛一等奖的是一款AI「识物眼镜」。

有了这款眼镜,视障人士也能判断周围存在哪些物体,甚至是它们彼此间的关系。

小米这款智能眼镜:48小时完成开发,专为视障人群打造

这是一套基于语义理解的视觉系统。

它同时支持多模态输入和输出,可以识别物品、识别熟人,甚至能点菜、看药品。

小米这款智能眼镜:48小时完成开发,专为视障人群打造

在现场,我们看到体验者在研发团队的说明之下,问了一些问题。

小米这款智能眼镜:48小时完成开发,专为视障人群打造

连无糖可乐和普通可乐这种细微的差别,这副眼镜也能分辨出来。

小米这款智能眼镜:48小时完成开发,专为视障人群打造

不仅如此,可乐的价格也能脱口而出。

小米这款智能眼镜:48小时完成开发,专为视障人群打造

只能说,一块钱一罐的快乐水,确实是酸了。

而技术层面,这款「识物眼镜」共分为了硬件、服务端、算法端和语言模型四个部分。

小米这款智能眼镜:48小时完成开发,专为视障人群打造

这些模块分别负责实现人或物体的识别、指令的识别和理解,以及回答的生成等功能。

用手势「控制一切」

控制家中的智能设备,用一只手就可以搞定了。

这就是我们接下来要介绍的这个获得二等奖的「小黑盒」。

它的大名叫「小米随心控」,通过它就能用手势随意控制家中的设备

而且无需把设备置于它的视野范围之内

小米这款智能眼镜:48小时完成开发,专为视障人群打造

在现场,我们看到体验者将手掌对着台灯的方向并做握拳的姿势。

大约1秒钟之后,亮着的台灯就被关闭了。

小米这款智能眼镜:48小时完成开发,专为视障人群打造

硬件层面,「随心控」由主板、相机和音箱三个部分组成。

小米这款智能眼镜:48小时完成开发,专为视障人群打造

被控制设备的位置信息预先存储在了「随心控」当中。

当摄像头检测到手时,系统会通过计算角度等信息判断手是否指向某一设备。

接着,系统会对手势进行识别,并转换成相应的指令传递给智能音箱。

最后,控制的结果会通过音箱,以语音的形式进行反馈。

小米这款智能眼镜:48小时完成开发,专为视障人群打造

让声音「看得见」

我们生活在一个充满声音的世界,但同样有很多听障人士感知不到声音的存在。

在与人交流时,他们还可以使用手语或文字,但其他的声音该怎么办?

这个获得三等奖的「声音透视」项目,或许能给我们答案。

它可以辨别声音的种类传来的方向,精度约为15度角。

交谈声、警报声、门铃声……会以不同的图标在雷达图上显示。

小米这款智能眼镜:48小时完成开发,专为视障人群打造

在马路上,这项技术将能帮助听障人士识别潜在的危险信息,比如汽车喇叭。

此外,对一般人,它也能有所帮助。

比如当你戴着耳机,聚精会神地打着游戏,与世隔绝般地屏蔽了外界的一切。

此时如果出现需要关注的声音,这项技术都能识别并及时发出提醒。

小米这款智能眼镜:48小时完成开发,专为视障人群打造

技术层面,这一项目采用了声音事件检测算法和阵列拾音算法。

当麦克风捕捉到声音信号时,系统对其响度、方向同时进行计算,并对判断声音的种类。

三项结果会通过Websocket同步输出到前端。

如果结合手机或智能穿戴中的接口,还可以让提醒的形式更加丰富,比如应用推送,甚至智能设备的振动等等。

团队成员也介绍,「相比于整个系统的设计,这将是一件很容易的事」。

小米这款智能眼镜:48小时完成开发,专为视障人群打造

此外,现场展示的获奖项目还有:

  • 全息投影虚拟人「遇⻅-全息智能伴侣」(二等奖)
  • AR交互式运动APP「趣味运动健身」(三等奖)
  • 儿童故事聊天机器人「思维⼤爆发(Storykids)」(三等奖)
  • 足球比赛分析系统「踢球啦」(优秀奖)
  • AI智慧农业项目「米农」(特别奖)

你最看好哪一个项目呢?