iOS 硬件解码相关

CVPixelBufferRef 详解
在iOS开发中，CVPixelBufferRef是Core Video框架中用于表示像素数据的类型。它通常用于在图像和视频处理中，尤其是在Core Image、AVFoundation和其他多媒体框架中。以下是关于CVPixelBufferRef的一些重要概念：
1 定义：CVPixelBufferRef是一个不透明的类型，代表着一个像素缓冲区。它是一个基于内存的图像缓冲区，用于存储像素数据。

2 获取和创建：通常，您会通过使用CVPixelBufferCreate等函数来创建CVPixelBufferRef，或者通过其他API从图像或视频源中获取CVPixelBufferRef。

var pixelBuffer: CVPixelBuffer?
let width = 640
let height = 480

// 创建一个 CVPixelBufferRef
let status = CVPixelBufferCreate(kCFAllocatorDefault,
                                 width,
                                 height,
                                 kCVPixelFormatType_32BGRA,
                                 nil,
                                 &pixelBuffer)
1
2
3
4
5
6
7
8
9
10
11

3 像素格式：CVPixelBufferRef有一个关键属性是像素格式。这表示像素数据的布局和颜色信息。常见的像素格式包括 kCVPixelFormatType_32BGRA（32位BGRA格式）和 kCVPixelFormatType_420YpCbCr8BiPlanarVideoRange（YUV格式）等。

4 内存管理：CVPixelBufferRef的内存管理通常由Core Video框架处理。当您使用CVPixelBufferCreate等函数创建CVPixelBufferRef时，您需要负责释放相关的内存。

5 使用 Core Image 进行处理：CVPixelBufferRef常常用于与Core Image框架一起处理图像。您可以通过CIImage将CVPixelBufferRef转换为Core Image图像，并使用Core Image提供的滤镜和效果对图像进行处理。

if let ciImage = CIImage(cvPixelBuffer: pixelBuffer) {
    // 在这里对 CIImage 进行处理，应用滤镜等
}
1
2
3

6 与 AVFoundation 集成：在视频处理中，您可能会从AVCaptureVideoDataOutput等类中获取到CVPixelBufferRef，并在处理视频帧时使用它。

7 Metal 渲染：对于需要更底层图形处理的场景，您可以将CVPixelBufferRef与Metal框架集成，以进行更高性能的图形渲染。