Linux C从入门到精通 第2版05多媒体库介绍.pptVIP

Logo Logo Logo Logo Logo Logo Logo Logo Logo Logo 多媒体库介绍 本讲大纲： 元件和插件 衬垫 数据、缓冲区和事件 缓冲区的分配 MIME类型（Mimetypes）和属性 元件和插件 衬垫 在GStreamer中，衬垫是用来在元件间协商连接和数据流的。衬垫可以看作元件间互相连接的 “接口”，数据流通过这些接口流入流出元件。Pad具有特殊的数据处理能力：衬垫可以限制通过它的数据类型。只有当两个衬垫允许通过的数据类型兼容时才可以将它们连接起来。 也许打一个比方可以有助于理解这些概念。衬垫类似于物理设备上的a plug or jack。想象一个包含功放，DVD播放器和一个视频投影仪器的家庭影院系统。将投影仪和DVD播放器相连是允许的，因为这两个设备具有兼容的video jacks。而要将投影仪和功放连起来也许就行不通了，因为它们之间的jack不同。GStreamer中的衬垫具有和家庭影院系统中的jack相同的功能。 大部分情况下，所有在GStreamer中流经的数据都遵循一个原则。数据从element的一个或多个源衬垫流出，从一个或多个sink衬垫流入。源和sink元件分别只有源和sink衬垫。 数据、缓冲区和事件 GStreamer中的所有数据流被分割成一块一块的，并从一个元件的源衬垫传到另一个元件的sink衬垫。数据就是用来承载一块一块数据的数据结构。 数据包含以下的重要组成部分： 一个类型域标识该数据的准确类型（control,content,...）。 一个指示当前有多少元件引用缓冲区的引用计数器。当计数器的值为0时，缓冲区将被销毁，内存被释放。 当前存在两种数据类型：事件（control）和缓冲区（content）。 缓冲区可以包含两个相连接的pad所能处理的任何数据。通常，一个缓冲区包含一块音频或视频数据块，该数据块从一个元件流向另一个元件。 缓冲区同样包含描述缓冲区内容的元数据（metadata）。一些重要的元数据类型有： 一个指向缓冲区数据的指针。 一个标识缓冲区数据大小的整型变量。 一个指示缓冲区的最佳显示时间的时间戳。 事件包含两个相连的衬垫间的流的状态的信息。只有事件被元件显式地支持时它们才会被发送，否则核心层将（尝试）自动处理事件。举例来说，事件会被用来表示一个时钟中断，媒体流的结束或高速缓冲区（cache）需要刷新。 事件结构可能会包含如下的成员： 一个用来标明事件类型的子类型。 事件类型相关的其他部分。 缓冲区的分配 缓冲区是一块可以存放各种数据的内存。缓冲区的内存一般用malloc()函数分配。这样虽然很方便，但不总是最高效，因为数据经常需要被显式的拷入缓冲区。 有些特殊的元件创建指向特殊内存的缓冲区。例如，filesrc 元件通常会（使用 mmap()）将一个文件映射到应用程序的地址空间，并创建指向那个地址范围的缓冲区。这些由filesrc创建的缓冲区具有和其它通用的缓冲区一样的行为，唯一的区别是它们是只读的。释放缓冲区的代码将自动检测内存类型并使用正确的方法释放内存。 另一种可能得到特殊缓冲区的途径是向下游同伙（downstream peer）发出请求。这样得到的缓冲区称为downstream-allocated缓冲区。元件可以请求一个连接到源衬垫的同伙创建一个指定大小的空缓冲区。如果下游元件可以创建一个正确大小的特殊缓冲区，它将会这样做。否则，GStreamer将会自动创建一个通用缓冲区。接着，请求缓冲区的元件就可以将数据拷入缓冲区，并将缓冲区push给创建它的源衬垫。 许多sink元件的将数据拷到硬件的函数都经过了优化，或者可以直接操作硬件。这些元件为它们的上游伙伴创建downstream-allocated缓冲区是很平常的事。其中一例是ximagesink。它创建包含XImage的缓冲区，因此当一个上游伙伴将数据拷入缓冲区时，数据被直接拷入XImage，这样ximagesink可以直接将图象画到屏幕上而不用先将数据拷到一个 XImage中。 滤镜元件通常有机会可以直接作用于缓冲区，或者在将数据从源缓冲区拷入目标缓冲区时发生作用。最佳方案是两种算法都予以实现，因为GStreamer框架会在可能的时候选择最快的算法。自然地，这只在元件的源和sink衬垫完全一致的情况下才有效果。 MIME类型（Mimetypes）和属性 GStreamer使用一个类型系统来保障流经元件的数据格式是可识别的。当连接元件中的衬垫时，类型系统对于确保特定的参数有着非常重要的作用，这些参数对正连接的元件间的衬垫的格式匹配有着特定作用。元件间的每一个连接有一个指定的类型和可选的属性集。 Logo Logo Logo Logo Logo Logo Logo L