国防科技大学 胡晓峰

作者简介

胡晓峰,国防科技大学系统工程系副主任,教授,博士生导师,政府特殊津贴获得者。从

1987年开始从事多媒体信息系统技术的研究,先后完成了"多媒体超文本系统HWS"等多项科

研项目,获部委级科技进步一、二等奖三项。著有《多媒体系统原理与应用》等书。现承担

了多项有关多媒体的科研课题,主要的研究方向包括超媒体的科研课题,主要的研究方向包

括超媒体与多媒体信息管理、基于计算机的会议系统、虚拟现实系统等。

一、引言

近几年来,多媒体如日中天,成为科技人员和新闻关注的热点,同时产业界也推波助澜,形成了一股多媒体热潮。但仔细地去研究一下这种损益各半的现象,可以发现有相当大的一部分是人为地促起来的。由于多媒体本身并无严格的定义,所以每个人都可以按照自己的知识范围、考虑问题的方法以及所处的地位,对究竟什么是多媒体给予解释。有一些人把只要具有图形、图像之类的东西都称为多媒体,许多原本非常明确的技术现在也都加上了"多媒体"几个字,似乎只有这样才算是先进技术。也有一些厂商为了销售的需要,把原本滞销的产品冠上多媒体的帽子,试图改变市场上的颓势。诸如此类,林林总总,不胜枚举。在一些宣传下,许多用户对多媒体得出的结论就是多媒体演示,初看确实声图文并茂,但再仔细想想,又似乎并无太大的好处。一些似曾相识的界面,组织着固定内容的多媒体演示,在展览会上总是能够看到,而且这种状况已经维持了几年。因为这种理解,用户逐渐对多媒体失了兴趣,但仍有许多人还在研究和开发几乎类似的系统,似乎多媒体的研究就是这么一点领域。这是我国多媒体技术研究水平和应用水平相对较低的一个重要原因。"炒着热,吃着凉"恐怕就是用户心理对这种状态的一种折射。

事实上,多媒体并不是某种产品(例如计算机或电视)的更新换代,虽然它可向用户提供声图文像并茂的接口,但它也不仅仅只是一个用户界面设计的问题。从某种意义上来说,多媒体是一个技术时代,这个时代类似于本世纪初期的"电子化"和40年代以后的"计算机化"的进程。多媒体对数字化信息的广泛接受,并将"创造、表现、理解、体验、交流"作为其支持的主要流动。这不仅影响了用户接口而且要影响信息处理的全部内容,包括设备、网络通信、信息处理方法、数据库存储,以及现有的计算机、通信、大众传播、家用信息电器、出版等许多方面。多媒体的这种特征,不可避免地要对几乎所有信息领域及其研究和市场都产生极大的影响。高水平的研究工作,可以大大地促进应用。正确地了解多媒体技术的发展趋势,不仅对研究人员有益,对推动市场的开发也有极大的好处。下面将重点介绍一下国内外对多媒体研究的一些热点课题和相关应用,以期能对这个问题有一些新的了解和认识。

二、多媒体研究的总趋势

如果你跟多媒体研究人员讨论什么是多媒体时,他可能会向你描述一幅令人十分激动的场景:多媒体系统中包含了人类几乎所有的感觉,包括听、视、嗅、触、味觉各个方面,用户在系统中便可体验到一个"虚拟世界"所提供的"真实"感觉。但这种虚幻与真实交嘈、用户自由出进的尽善尽美的多媒体系统,也即虚拟现实(VR),被认为是多媒体的终极,但目前只能看作是人们的理想。虽然目前的技术还达不到,但确确实实说明了未来技术发展的趋向:更好更自然的交互性,更大范围的信息存取服务。创建一个能不断发展的多媒体的应用环境,是我们在已有的基础上为未来人类生活创造出一个在功能、空间、时间及人与人交互上都不同于现在的崭新世界的需要,也是我们在多媒体技术研究方面应把握的关键。

从多媒体研究的发展来看,目前已经走过了多媒体认识的:启蒙"阶段。通过这一阶段,许多人尤其是大量的潜在用户了解了多媒体的主要涵义,对多媒体的概念和应用有了初步的理解和考虑,这对今后更大规模的发展奠定了用户基础。这一阶段最典型的应用便是"多媒体演示系统"。尽管许多人称之为多媒体信息管理系统,但这种系统离真正的多媒体信息管理尚有很大的距离。这种演示系统对用户的概念教育是直观的、有效的,虽然带来的了一些问题,但的确是十分有益、也是十分重要的。这一阶段的研究工作也大多数是围绕着类似于概念演示这个思路来进行的,例如各种多媒体硬件接口、用户界面多媒体化、多媒体编辑创作、多媒体通信等等。通过这个启蒙阶段,规范化的多媒体研究体系和重要的领域已经初步形成,需要研究的重点问题也已初露端倪。

目前,多媒体的研究工作正处于爬坡阶段,许多问题一旦被解决,将会产生出巨大的效益。从国内外的主要研究工作来看,多媒体的研究趋势主要有以下几个方面:

·多媒体通信网络环境的研究和建立,将使得多媒体从单机单点,向分布、合作多媒体应用环境发展。建设一个能够在世界范围内自由交互的多媒体通信网,在"信息高速公路"的热浪下已经在紧锣密鼓地进行。对这种网络及其设备的研究,以及建立在这种网络之上的分布应用和信息服务的研究是当前一个非常明显的热点。

·对多媒体信息的处理已经深入到了媒体内部,利用已经基本成熟的图像理解、语言识别、全文检索等技术研究多媒体基于内容的处理,开发能够进行基于内容处理的系统,包括编码、创作、表现及应用,已成为多媒体信息管理的重要方向。

·多媒体的各类标准有是研究的重点。成熟的标准在不断修订、颁布,新的方法和技术

的出现又带来了新的标准体制。各类标准的研究将有利于产品规范化,使得用户的使用更加

方便。

·多媒体的技术继续向其它领域扩展,使其应用的范围进一步扩大。多媒体并行工程平台、多媒体仿真、智能多媒体等新的技术和应用层出不穷,扩大了原有技术领域的内涵,改善了其性能,创造出了新的概念。但也有一些"拉大旗,作虎皮"的现象,只在名称上作文章,并未真正做多少工作,但这不是主流。

·多媒体的研究人员已开始充分注意虚拟现实(临境)技术的发展,有相当多的研究已开始针对其基本技术和外围技术等进行,并取得了很大的进展。利用头盔显示器等特别设备创造沉浸式的环境、开发相应的应用,是在该方向上的主要工作。也有一些研究把重点放在了通过超媒体数据库提供全景的具有空间和时间合成信息形式的基于网络的半沉浸式虚拟空间的上面。

·应用及市场研究中面向大规模用户和高档次应用的趋势十分明显。包括家用多媒体终端、点播电视服务(VOD)、教育/娱乐用多媒体软件、多媒体会议系统等。医学、家用及军用等已成为多媒体应用领域的最重要的组成部分。

三、多媒体通信及信息服务

随着美国"信息高速公路(NII)"的提出,在世界范围内掀起了一股建设全球"信息高速公路"(GII)的热潮,许多国家都把其看成在未来信息社会中能否立足的关键。无论哪一个国家提出何种形式的信息网络,几乎都不约而同地将支持多媒体通信和应用作为其建设的主要目标。因此,多媒体通信和信息服务也就成为目前研究的热点。从国际上多次多媒体会议的论文来看,有关多媒体通信及其相关技术的论文占了相当大的比重。目前,主要研究的问题有以下几个方面:

1.多媒体通信网络系统的组成

能够进行多媒体信息传递的网络原行是以宽带局域网为主的,但现在研究人员将力图把它扩展到一个能为全市、全国乃至全球提供通信服务的范围。ATM网络的优势已十分明显,但仍有相当多的研究工作在围绕着已有的网络进行,例如FDDI、Ethernet、高速交换以太网、ISDN以及CATV网络。另外,也有为多媒体通信专门研制的交换设备,如用于会议系统交换的多点控制器等。其中使用CATV的趋向十分值得注意,它将现有的用于有线电视的网络与光纤网作为骨干网把信号送到街道边的光结点机,最后一公里用树状总线结构的同轴电缆连到用户。每一光节点可连几百个以上的用户。光纤骨干网的采用提高了CATVM网的带宽及可靠性,而且还可以改造成为具有双向(上行和下行)信息转僵的形式,使交互式应用如点播电脑(VOD)、点播新闻、多人游戏等成为可能。这种形式虽然不是典型的多媒体通信网,但却为把多媒体应用送到千家万户的大众交互传播形式提供了一种很好的启示。

2.信息服务器

网络不仅应将所有的用户相互连接,而且还要通过网络向用户提供各种各样的服务,才能更大范围地扩大用户群,扩大应用服务的范围。因此,研究符合多媒体服务特征的信息服务器成为了当前的一个重要方向。除了目前已相对成熟的信息服务形式如图书馆服务、信息揭示板服务等外,能够提供点播电视功能的视频服务器(Video Server)已成为研究重点。因为在未来的多媒体网中,要向任意一个用户提供点播电视的服务,并且要能具有录像机的操作方式,就要求视频服务器能够存储巨大的压缩视频音频数据,并能快速地检索并源源不断地向用户提供。其中磁盘或光盘存储阵列管理、根据用户接口的不同分辨率进行的视频数据编码、点播视频服务器的调度与控制及服务器通信协议等,都是急待解决的问题。美国Oracl公司目前利用nCUBE-2MPP巨型机作为视频服务器,计划将美国的优秀影片都数字化存起来,不令向具有点播电视的家庭提供服务,而且也计划向数字化电影院进行传递。这个系统目前正在做实验,其它的多媒体服务如点播新闻、点播音乐、卡拉OK点播服务等也在研究开发之中。

3.通信协议及性能

由于许多媒体通信过程及效果并不十分清楚,许多关于多媒体通信网协议及性能分析工作仍在不断进行之中,其中关于连续媒体如视频、声音等不可能按传统的协议方法(如超时重发、出错处理等)进行处理。所以,如何适应连续性媒体中的实时媒体特性、基于网络服务质量的协议控制、可变速率的传输方式、同步方法及其协议特性,都是需要解决的问题。对各种现有网络(如今牌环网、以太网等)上多媒体通信的协议分析工作,也有人在做相应的研究。

四、分布处理及合作工作

多媒体网络为多媒体分布应用及合作工作奠定了基础。在国内,这种工作集中在建立起一种能够支持多人通信的环境上。如研制基于计算机的会议系统,更准确地说目前只是一种可支持多媒体多人通信的环境,仅解决了视频通信及其部分媒体的控制问题。国际上这种工作更多地与CSCW(计算机支持的合作)及群件系统相结合,集中在面向应用服务、建立媒体空间等方面。

1.多媒体会议系统

基于计算机的多媒体会议系统的研究实际已有十几年的历史。早期由于视频的压缩及传输问题没有解决,虽然在操纵公共实体及会议控制等方面有很大进展,但一直不为人们所重视。从80年代末起,实时视频引入到会议系统中后,这处面对面的交互形式极大地促进了应用,产生了一系列的需求。如以医学领域为背景的MediaBase工程,由渥太华大学设计并实现,可为各种医生共同对病人进行会依提供了可行的手段。以军事为背景的多媒体军事会议系统,可以把一个指挥系统的若干指挥所连接起来,构成一个地点分散但又如面对面的会议环境。日本NEC开发的"办公室鱼人"系统,可以使许多用户通过局部网络和ISDN网实现视频、手写图形及数据的共享传输和合作应用,大大提高了办公效率。这些都是成功的范例。国内的研究大多数集中在视频图像如何传输方面,也有一些单位在会议控制及应用方面做不少工作如东北大学、清华大学、国防科大、上海交大等单位。目前的研究订中在多点控制、电话线信息传输、合作应用、与数据库结构等方面,国防科大多媒体信息系统实验室正在研究会议系统与超媒体结合,形成虚拟信息空间的有关问题。

2.实景化虚拟会议媒体空间

一般的多媒体会议系统对每一方会议参加者仅能提供一路的多媒体信息,包括声音、视频等,无论是谁发言,其他人就只能被动地观看,会场氯氛并不明显。为解决这个问题,人有提出了实景化虚拟会议系统的概念。一种是关于声音合成的,无论哪一方发言,他的视频图

像将出现在所有会议参加者的屏幕上,但所有参加者的声音都可以被听到。这中间需要将来

自于各方的声音在一处进行混合,有的是在多点控制器之类的传输中枢设备上,有的则是在

接收方的终端上进行。另一种更为复杂的形式是,除声音外,还要将来自于各方的图像序列进行混合,开成一个虚拟的会议空间,大家尽管分散地各地,但似乎又都在一起。当然这种多源性多用户多媒体服务还可以用于许多地方,如多媒体信息服务等。

3.其它分布应用研究

分布式多媒体数据库、分布式用户创作系统、多用户超媒体系统等,也都是分布应用的不同种类。基于Internet的WWW(World Wide Webs)是一个基于超文本的信息查询工具,由欧洲核子物理研究中心(CERN)研制,并已在全球得到广泛应用。WWW能够将全世界Internet网点不同地点的相关数据信息编织到一起,用户只需提出查询的内容要求,WWW就可以自地完成寻找地点及查询工作。WWW主要由服务和客户程序组成,客户程序又分为面向文本及面向多媒体的很多种不同的形式。例如,由美国堪萨斯大学研制的MOSAIC,就能提供多媒体的服务。据说,MIT的媒体实验室(Media Lab)甚至在自己的实验室中架设了一台摄像机,通过Internet网络向全世界关心他们的人们提供实验室现场视频信号。由此可见,多媒体的应用研究如与网络相结合,将会产生出许多意想不到而效果非心的研究成果,也能解决许多目前人们盼望尽快解决的问题。

五、多媒体的编码与处理

多媒体中编码技术一直是其关键技术之一,它涉及到信息的压缩、特征抽取、合成、同步等方面的问题。

1.多媒体压缩编码

JPEG、MPEG-I、H.261等已为人们所熟识,并且形成了国际标准,但关于压缩技术的研究却一直没有停止,人们在算法及实现技术上仍在做大量研究,以期获得更高质量和更高压缩比,并且在实现上更加简例和便宜。小波(Wavelt)和分形算法已成为重点的研究方向并已取得一定成果,层次化矢量量化(HVQ:Hierachiacl Vector Quantization)压缩方法已命名得Picture TEL公司的视频压缩比达到1600:1,简直令人难以想象。其它的一些方法如基于模型的特征编码、基于自适应网格图像序列的编码、超低比较率的编码等,也都为多媒体信息编码的研究带入了新的活力。国际标准的扩展型如MPEG-2、MPEG-4等,开始针对原先存在的某些局限如适应存储不适应传输、适应低质量而不能满足广播级质量要求等进行了改进,也引了人们的注意。

2.多媒体译码的软件化

因为现有的大多数视频编、译器都是用硬件实现的,虽然速度很快,但常常价格比较昂贵,使得一般用户不也问津。作为编码码的一个很重要的趋势就是研究基于纯软件的实时译码方法。因为在大多数应用中,生产者总是少数,编码可用稍高的代价,但消费者是多数,因此要求译码的代价要小。所以纯软件的译码方式可以使得一般的用户不用特殊设备,也可以得到较高水平的媒体表现,尤其是视频的服务。这种方法要求编码方法应具有较高的非对称性,而且应能够应付通信及表现对实时性的要求。

3.合成与同步

多种媒体的合成可以使得一些原来并不存在的场景产生出来,如前述的虚拟会议影像、超现实的影片制作等。尤其是电影的制作,使得特技变得容易,对布景和道具的破坏损失降低,使影片制作成本大大下降。大家熟知的《侏罗纪公园》就是把演员的表演与虚拟的恐龙迭加到了一起,形成了合成的效果。《乌鸦》一片男主角布朗顿·李中途中幸中弹夭亡,影片只好利用虚拟合成方法继续拍摄,竟达到了与前半部片子天衣无缝的效果。这些都是一些媒体合成效果的例子,充分反映了多媒体技术的进步。同步与合成是相辅相成的,同步更多地应用于实时媒体之间的表现方面。自动同步、自动特征匹配同步、同步的形式化描述的研究主要在表现和分布化方面考虑得较多。

六、多媒体信息管理及基于内容的检索

多媒体信息管理其实并不是一件容易的事情,但目前国内有些号称"智能化"、"多媒体信息管理"的系统,其实根本就没有实现对多媒体信息的有效管理,只是一个按固定安排的多媒体演奏。要做到多媒体信息的有效管理,必须做到以下几点:第一,要有对多媒体进行空间布局和逻辑安排的灵活有效的工具;第二,要能对各种媒体信息建立起内容一级的联系,并把这种联系在用户接口上充分体现;第三,要有较完备的信息管理操纵的手段,最好用户能在基于内容一级进行检索;第四,多媒体数据的量应不受或少受计算机内存及外存的限制,例如超媒体的节点数或多媒体数据库的元组数至少应能在千个乃至万个以上。目前的多媒体信息管理技术主要有扩展关系数据库方法(NF2)、面向对象数据方法(O-O)及超媒体系统的方法。大多数系统有只能初步做到上述的第一点,多媒体数据的量也较少,在其它几个方面的工作也非常简单,几乎没有涉及内容一级。国防科大多媒体信息系统实验室经过5年多研究,在HWS基础上研制的分布式超媒体数据库系统HDB,已可以基本上做到前述的四个方面。尤其是对文本媒体、图形媒体、图像媒体(目前仅为像)、数据库媒体及视频媒体均可以深入到内容一级进行建链和基于内容一级的检索,引入的热字、热区、热元、热点等链源概念,对不同媒体之间内容关联起了非常重要的作用。在国外,这方面的研究已成为热点,有许多单位已有了相当大的进展。例如,日本东京大学工业科学研究所最近也推出了其带有自动特征抽取的超媒体化图像、视频数据库系统。

从多媒体信息管理的研究来看,目前的工作主要集中在以下几个方面:

1.基于内容的检索

基于内容(Content-Based)的检索是一个比较复杂的概念。譬如对单媒体来说,以前我们熟知的全文检索(文本媒体)、图像理解(图像媒体)等都属于这个范畴;但把它放到多媒体的这个环境睛,许多问题的重点和含义就变化和扩展了。对于文本媒体而言,不仅仅只向查询者提供较快的全文信息的位置、统计等数据,更重要的是建立这些文本中概念之间的关联(如超媒体的一个单词可能会需要一段文字进行参照解释),或是与其它媒体的参照表现。对于图像来说,特征的提取是一方面,但对于一个管理着成千上万图像的数据库来说,更重要的是全面地利用信息来快速地找到相似概念下的不同媒体的信息。对视频媒体我们常常把它看作为一组静态图像序列。许多基于内容的处理可以从图像媒体中继承过来,但还有关于场景的一些信息,如镜头的扫换、景物的动作、运动的表达等一些内容。对于整个信息库或超媒体网来说,基于内容还应包括不同逻辑单元之间的语义,例如超媒体的网结构、智能化浏览、过滤查询等。基于内容的信息处理应可以对一切媒体进行,只有这样,才能充分反映媒体的内容语义及结构语义信息。

2.超媒体系统

超媒体系统仍然是多媒体信息管理中十分有效的工具,许多超媒体技术已融于许多其它的系统之中。但就超媒体系统而言,是建立在关系数据库基础之上,还是将关系数据库作为一种媒体包含入超媒体之中,仍不同的看法。从目前来看,似乎以面向对象为基础的后者更为合理一些。第三代超媒体系所应具备的特征,如虚节点、虚结构、版本、检索与查询等,有一些系统可以做到。目前研究的热点有:基于内容的超媒体(CBH)、智能化超媒体,以及支持多人合作的超媒体系统、可以实现自动信息发现的超媒体体系等。早期超媒体的链是由人工加上去的,但现在的研究是要使超媒体能够自动地根据内容建立起这些连接,并且能够在多机、多网、各种不同的超媒体系统间实现,例如实现多媒体的WWW。总之,内容和结构的处理成为问题的关键。

3.带有时间和空间感的多媒体信息结构

一般的信息管理只是一类信息的组合或挑选,但多媒体信息都可以向用户提供有时间感和空间感的信息,这是一般的信息系统所做不到的。用这种技术可以建立一座博物馆,所有的景物如同真实的一样,你可以自由地在其中漫步和观察,也可以通过某个操作跨越时空去与古人(例如作者)对话,或参考有关资料。注意这种形式并非虚拟现实中的场景,而是由离散的信息组织起来的全景化虚拟世界数据库(Virtual World Database),有人称之为三维全景图,也有人称之为半现实。时间感、空间感也可以造成用户身临其境的感觉,完整性和沉浸性是其主要特性,基于内容的空间超媒体技术是主要支撑技术之一。

七、结束语

多媒体的研究远远不仅限于以上的所谈的几个方面,其它如应用平台和多媒体终端研究、专用大规模集成电路研究、多媒体创作工具、多媒体应用研究、虚拟现实技术研究等,由于大学已经了解较多,限于篇幅也都未着重提到。可以相信,一旦我们的基础设施完善起来,我们的技术成熟起来,多媒体的研究就会取得令人意想不到的效益。这一点是勿庸置疑的。