CUDA常用概念及注意点
线程的索引计算
只需要知并行线程的初始索引，以及如何确定递增的量值，我们希望每个并行线程从不同的索引开始，因此就需要对线程索引和线程块索引进行线性化，每个线程的其实索引按照以下公式来计算：
int tid = threadIdx.x + blockIdx.x * blockDim.x;
线程块数量限制：65536
线程块中线程数量限制：512
共享内存和同步
共享内存
__share__添加到变量声明,使得声明的变量驻留在共享内存中。cuda c编译器对共享内存中的变量和普通变量采用不同的处理策略，对于GPU启动的每个线程块，cuda c都将创建该变量的一个副本。线程块中的所有线程都会共享这块内存。但线程却无法看到也不能修改其他线程块的变量副本。这是同一个线程块中的不同线程进行通信和协作的基础。
共享内存缓冲区驻留在物理gpu上，访问时延极低。
同步
__syncthreads();对线程块中的线程进行同步。线程发散的容易出现，使得部分场景下的线程同步很有必要。
线程发散：当某些线程需要执行一些指令，而其他线程不需要执行时，这种情况叫做线程发散。在正常环境中，发散的分支会使得某些线程处于空闲状态，而其他线程将执行线程中的代码。在__syncthreads()情况中，线程发散造成的结果有些糟糕，cuda架构将确保，除非线程块中所有的线程都执行了同步操作，否则没有任何线程可以执行同步操作之后的指令。
常量内存与事件
常量内存：NVIDIA提供64k的常量内存，有效减少内存宽带。__constant__ 将变量的访问限制为只读。
从主机内存复制到GPU上的常量内存，使用方法cudaMemcpyToSymbol()进行复制。
性能提升原因
（1）对常量内存的单次操作可以广播到其他邻近线程，节约15次的读写操作；
当处理常量内存时，NVIDIA硬件将单次内存读取操作广播到每个半线程束。
（2）常量内存的数据将缓存起来，因此对相同地址的连续访问不会产生额外的内存通信量。
线程束：warp
在cuda架构中，线程束指的是一个包含32个线程的集合，这些个线程被编制在一起，并且以步调一致（LockStep）的形式执行，在程序中的每一行，线程束中的每个线程都将在不同的数据上执行相同的命令。
事件API
cuda的事件本质上其实就是一个时间戳，这个时间戳就是在用户指定的时间上记录的。获得一个时间戳只有两个步骤：创建一个事件，记录一个事件。
cudaEvent_t start, stop;
cudaEventCreate(&start);
cudaEventCreate(&stop);
cudaEventRecord(start, 0);
// gpu执行操作
...
cudaEventRecord(stop, 0);
cudaEventSynchronize(stop);
cudaEventDestroy(start);
cudaEventDestroy(stop);
文理内存（Texture Memory）
简介：
与常量内存类似，只读，缓存在芯片上，减少对内存的请求，并提供更高效的内存带宽。专门为在内存访问模式中存在大量空间局部性（special locality）的图形应用程序而设计。在某个计算应用程序中，这意味着一个线程读取的位置可能与邻近线程读取的位置非常接近。纹理内存专门为加速这种内存访问模式。
纹理存储器中的数据是以一维、二维或者三维数组的形式存储在显存中，可以通过缓存加速访问，并且可以声明大小比常量存储器要大得多。在kernel中访问纹理存储器的操作称为纹理拾取。将显存中的数据和纹理参考系关联的操作，称为将数据和纹理绑定。显存中可以绑定到纹理的数据有两种，分别是普通的线性存储器和cuda数组。
使用步骤：
（1）需要将输入的数据声明为texture类型的引用；声明变量在gpu上；
（2） gpu中分配内存，通过cudaBindTexture()将变量绑定到内存缓冲区。告诉cuda运行时两件事情：
- 我们希望将指定的缓冲区作为纹理来使用；
- 我们希望将纹理引用作为纹理的“名字”。
（3）启动核函数，读取核函数中的纹理时，需要通过特殊的函数来告诉GPU将读取请求转发到纹理内存而不是标准的全局内存，使用编译器内置函数：tex1Dfetch();
（4）释放缓冲区，清除与纹理的绑定，cudaUnbindTexture();
流
页锁定内存
页锁定主机内存，固定内存，不可分页内存，OS将不会对这块内存分页并且交换到磁盘上。从而确保该内存始终驻留在物理内存中。OS可以安全的使某个应用程序访问该内存的物理地址，这块内存将不会被破坏或者重新定位。
- malloc分配的是标准的、可分页的主机内存；
- cudaHostAlloc将分配页锁定的主机内存。
建议：仅对cudaMemcpy（）调用的源内存或者目标内存，才能使用页锁定内存，并且在不需要使用他们时，立即释放。
流
支持设备重叠功能的设备，支持设备重叠功能的GPU能够在执行一个CUDA C核函数的同时，还能在设备和主机之间进行复制操作。
一些新的GPU设备同时支持核函数和两次的复制操作，一次是从主机到设备，一次是从设备到主机。在任何支持内存复制和核函数的执行相互重叠的设备上，当使用多个流时，应用程序的整体性能都能得到提升。
判断设备是否支持计算与内存复制操作的重叠：
int main( void ) {
cudaDeviceProp prop;
int whichDevice;
HANDLE_ERROR( cudaGetDevice(&whichDevice) );
HANDLE_ERROR( cudaGetDeviceProperties(&prop, whichDevice) );
if(!prop.deviceOverlap) {
printf("Device will not handle overlaps");
return 0;
}
}
多GPU系统上的CUDA C
零拷贝内存：可以在cuda C核函数中，直接访问这种类型的主机内存，由于这种内存不需要复制到GPU，因此称为零拷贝内存。通过cudaHostAlloc进行分配，最后一个参数采用：cudaHostAllocMapped.
判断设备是否支持映射主机内存：
int main( void ) {
cudaDeviceProp prop;
int whichDevice;
HANDLE_ERROR( cudaGetDevice(&whichDevice) );
HANDLE_ERROR( cudaGetDeviceProperties(&prop, whichDevice) );
if(prop.canMapHostMemory != 1) {
printf("Device can not map memory");
return 0;
}
}
当输入内存和输出内存都只是用一次时，那么在独立GPU上使用零拷贝内存将带来性能提升。
判断某个GPU时集成的还是独立：
cudaGetDeviceProperties()获取属性结构体，该结构中的域：integrated，如果是设备是集成GPU，该值为true，否则为false。
注意：多GPU场景下，每个gpu如果都要运行gpu程序的话，都需要主机cpu启动单独的线程进行资源控制，都有对应自己的线程。
《Programming Massively Parallel Processors: a Hands-On Approach》
