交互式内容创建
2019-11-22

交互式内容创建

本发明涉及交互式内容创建。音频/视觉系统(例如,诸如娱乐控制台或其他计算设备)播放低音音轨,诸如预先录制的歌曲的一部分或来自一个或多个乐器的音符。系统使用深度相机或其他传感器来自动地检测用户(或用户的一部分)进入多个碰撞体中的第一碰撞体。多个碰撞体中的每个碰撞体与不同的音频支干相关联。在一个示例中,音频支干是来自演奏歌曲的乐器的子集的声音、歌曲的声音音轨的一部分、或来自一个或多个乐器的音符。响应于自动地检测用户(或用户的一部分)进入第一碰撞体,与第一碰撞体相关联的适合的音频支干被添加到低音音轨或从低音音轨移除。

关于识别器引擎54的更多信息可在2009年4月13日提交的美国专利申请12/422,661“GestureRecognizerSystemArchitecture(姿势识别器系统体系结构)”中找到,该申请的全部内容通过引用结合于此。关于识别姿势的更多信息可在2009年2月23日提交的美国专利申请12/391,150“StandardGestures(标准姿势),,.’以及2009年5月29日提交的美国专利申请12/474,655“GestureTool(姿势工具)”中找到,这些申请的全部内容都通过引用结合于此。

根据另一实施例,捕捉设备20可包括两个或更多物理上分开的相机,这些相机可从不同角度查看场景以获得视觉立体数据,该视觉立体数据可被解析以生成深度信息。也可使用其他类型的深度图像传感器来创建深度图像。

在另一示例实施例中,捕捉设备20可使用结构化光来捕捉深度信息。在这样的分析中,图案化光(即,被显示为诸如网格图案、条纹图案、或不同图案之类的已知图案的光)可经由例如IR光组件24被投影到场景上。在落到场景中的一个或多个目标或物体的表面时,作为响应,图案可变形。图案的这种变形可由例如3-D相机26和/或RGB相机28(和/或其他传感器)来捕捉,然后可被分析以确定从捕捉设备到目标或物体上的特定位置的物理距离。在一些实施方式中,IR光组件25与相机25和26分开,使得可以使用三角测量来确定与相机25和26相距的距离。在一些实现中,捕捉设备20将包括感测IR光的专用IR传感器或具有IR滤波器的传感器。

图10提供创作系统290的⑶I工具302所实现的图形用户界面的一个示例,使得人可以创建交互式内容生成体验。出于示例的目的,图10的讨论将假设被生成的内容是音乐内容。然而,也可以生成其他内容。

用户界面项426用于配置背景图像和/或背景视觉程序以便与当前单元(或整个体验)一同使用。用用户界面项428来指示特定区的低音音轨。低音音轨是在系统自动地确定用户位于对应区中时所播放的内容。如果系统具有五个区,则存在五个独立的低音音轨,每个区一个。在其他实施例中,一个以上的区可以共享低音音轨。在音频的情形中,低音音轨可以是歌曲的一部分(包括演奏该歌曲的乐器的子集)、歌曲的声音音轨、预定义声音或来自一个乐器(或多个乐器)的一音符集、或来自合成器的一个或多个声音。如果低音音轨比单元的时间(见422)短,则低音音轨将被重复。注意,用户界面项420-428可以是下拉菜单、文本框等。

图11是描述用于创作交互式内容生成体验的过程的一个实施例的流程图。

在多媒体控制台100引导且系统资源被保留之后,就执行并发系统应用来提供系统功能。系统功能被封装在上述所保留的系统资源中执行的一组系统应用中。操作系统内核标识是系统应用线程而非游戏应用线程的线程。系统应用优选地被调度为在预定时间并以预定时间间隔在CPU101上运行,以便为应用提供一致的系统资源视图。进行调度是为了把由在控制台上运行的游戏应用所引起的高速缓存中断最小化。

在步骤514,如果确定该单元没有结束,则在步骤520,系统确定用户是否已经进入碰撞体之一。如果否,则系统将继续跟踪用户的位置和移动(步骤510)。

如图2所示,根据一示例实施例,图像相机组件23可包括可用于捕捉场景的深度图像的红外(IR)光组件25、三维(3-D)相机26、和RGB(视觉图像)相机28。例如,在飞行时间分析中,捕捉设备20的IR光组件25可将红外光发射到场景上,并且随后可使用传感器(未不出)、用例如3-D相机26和/或RGB相机28来检测从场景中的一个或多个目标和物体的表面反向散射的光。在一些实施例中,可使用脉冲红外光,从而可测量出射光脉冲和相应入射光脉冲之间的时间差,并且将其用于确定从捕捉设备20到场景中的目标或物体上的特定位置的物理距离。另外,在其他示例实施例中,可将出射光波的相位与入射光波的相位作比较来确定相移。然后可以使用该相移来确定从捕捉设备到目标或物体上的特定位置的物理距离。

在另一个实施例中,可以同时播放每个用户每个区的每个低音音轨。在另一个实施例中,只有主用户需要在区中,而其他用户可在用户不在该区中的情况下通过与每个用户的碰撞体进行交互来影响正被生成的音频。