Google对Pixel 4的Soli AI进行了数百万志愿者手势的培训

 
谷歌今天为Pixel 4智能手机内置的基于Soli雷达的技术作了解释。尽管以前已经知道许多硬件细节，但该公司还是第一次拉开了Soli AI模型的帷幕，这些模型经过训练可以以低延迟检测和识别运动手势。尽管还处于初期，Pixel 4和Pixel 4 XL是首款采用Soli的消费类设备，但Google声称该技术可以在智能手表等设备上实现新形式的上下文和手势识别，从而为更好地适应用户需求铺平了道路。残疾。
Pixel 4中的Soli模块是Google的高级技术和项目(ATAP)小组与Pixel和Android产品团队之间的共同努力，其中包含60GHz雷达和天线接收器，它们具有组合的180度视野，可记录位置信息。除了范围和速度之类的信息。 (在多次传输的窗口上，对象位置的位移会引起时间偏移，该偏移表现为与对象速度成比例的多普勒频率。)电磁波将信息反射回天线和定制滤波器(包括用于解决音频振动的滤波器)由音乐引起的噪声)提高信噪比，同时衰减不必要的干扰，并区分噪声和杂波的反射。
信号转换被输入到Soli的机器学习模型中，用于“亚毫米”手势分类。谷歌认为，开发它们需要克服几个主要挑战：
每个用户甚至可以执行多种简单的动作，例如滑动。
传感器范围内的多余动作有时看起来类似于手势。
从传感器的角度来看，当手机移动时，看起来整个世界都在移动。
Soli背后的团队设计了一个系统，该系统包含使用从数千名Google志愿者那里记录的数百万个手势进行训练的模型，并补充了数百小时的雷达记录，其中包含来自其他Google志愿者的一般动作。这些AI模型是使用Google的TensorFlow机器学习框架进行训练的，经过优化后可以直接在Pixel 4的低功耗数字信号处理器上运行，即使在主处理器掉电的情况下，它们也可以每秒追踪18,000帧。
“值得注意的是，例如，与光学成像传感器相比，我们开发了不需要形成目标空间结构清晰图像的算法。因此，不会生成人的身体或面部的可分辨图像，也不会将其用于运动感应状态或手势检测。” Google研究工程师Jaime Lien和高级技术与项目软件工程师Nicholas Gillian写道。 “ [出于这个原因，]我们很高兴继续研发Soli，以实现基于雷达的新型传感和感知功能。”
虽然Pixel 4上的Soli仍处于起步阶段-去年年底进行测试时，我们有点不知所措-但它通过软件更新而不断得到改善。对Soli的支持于2月初到达日本(Google必须向监管机构证明Soli可以按要求的频率合法传输)，然后在该月下旬，出现了一种新的“敲击”手势，用于暂停和恢复音乐以及其他媒体。