# nvdimm 驱动的分析
## 1.驱动的简介
nvdimm在内核中的驱动,是基于一个典型的字符类型的设备驱动模型去实现的。因此,同样需要实现设备驱动的几个典型操作:open/release/mmap/ioctl。 在open阶段通过efi或者e820 table探测到nvdimm的起始物理地址和长度,通过set_mtrr()设置nvdimm对应程序空间的cache属性,通过io_remmap()把物理地址映射到内核虚拟地址;在release阶段,释放上面的资源。在内核实现mmap,为用户实现用户态mmap()提供支持;定义各种命令,进而在ioctl()中实现,进而为用户和内核态的驱动提供交互接口。最后通过register_chrdev()注册这个设备。
## 2.主要的数据结构
作为一个驱动,主要的函数当然是file_operations. nvdimm也不例外:
static const struct file_operations nvdimm_fops = {
.owner = THIS_MODULE,
.open = nvdimm_open,
.release = nvdimm_close,
.mmap = nvdimm_mmap,
.unlocked_ioctl = nvdimm_ioctl,
};
这里需要分清楚的是:驱动初始化的时候会用 io_remap 把nvdimm的物理地址对应成内核线性地址,这里可以指定cache属性等;而系统调用mmap最终会调用驱动ioctl里面的.mmap()接口,后者通过remap_pfn_range函数建立页表.
## 3. 主要的函数
### 3.0 Init和Deinit
nvdimmInit()主要功能如下:
{探测设备得到物理地址,set_mtrr、ioramp()为物理地址分配内核空间,注册字符驱动,启动监控nvdimm电容、温度、电量、健康状态的内核线程,注册关机保存数据的服务}
nvdimmDeInit()主要功能:执行和上面的相反的操作
###  3.1 nvdimm_ioctl()
读取nvdimm状态,设置寄存器的接口,读取eeprom,更新eeprom,dump 寄存器等。 注意这里多次用到copy_to_usr() copy_from_usr() 来同步数据,
### 3.2 nvdimm_mmap()
为了支持用户态mmap()
### 3.3 nvdimm_remap();
映射nvdimm物理地址到虚拟内核地址。
## 4. 和用户态的接口
需要包含公共函数接口,使用举例如下:
fd = open(“/dev/Agiga”);
ioctl(fd, cmd); //
mmap(fd, ….); //
close(fd);
## 5. 难点
### 5.1 支持不同级别的数据一致性
在nvimm_ioremap()中实现,通过调用set_mtrr()实现,然后call相应的ioremap/iormap_wc/iormap_catch。注意由于它只在初始化的时候执行一次,这就意味着一旦驱动加载,它的cache 模式
就固定了,不能运行时动态修改。
### 5.2 在write back模式的时候需要flush Dcache.
具体执行是通过flush_Dcache(),注意这里是需要考虑多多核的架构,得让每一个perCPU都去做:
void dcache_flush(void)
{
   if (nvdimm_cache == MEM_WRITE_BACK) {
       if (on_each_cpu(do_wbinvd, NULL, 1) != 0)
           printf(“Timed out waiting for cache flush.\n”);
   }
}
然后通过ioctl的一个命令和flush_Dcache相关联,这样用户态就可以刷nvdimm对应的Dcache了。而且,通过上面的代码,可以看到,只在cache 模式为write-back 时才真正的刷Dcache.
### 5.3 如何实现panci或者关机时保存数据
nvdimm的核心特性是掉电、异常关机或者重启时会触发ADR(新的机制会这样做),此后硬件会把nvdimm里DRAM上的数据自动写到它的SSD上去。如果此时需要设置某些寄存器,就需要把设置寄存器的动作注册到panic_notifier_list里去。这样,内核关机或者panic依次执行这个 &panic_notifier_list这个函数链,最终就可以完成设置那些寄存器的操作。
示例如下:
#### 5.3.1 驱动里实现 panic_task_backup() 函数
mypanic_task(struct notifier_block *this, unsigned long event, void *ptr)
{
    UINT32 rc = SUCCESS;
    struct nvdimm_device *nvdimm;
    …………….
    dcache_flush();
    for (index = 0; index < total; index++) {
        timeOut = 60 * 5;
        /* step 0: Enable NVDIMM BACKUP function */
        smb_cmd.dev_index = index;
        smb_cmd.rw = SMB_BYTE_WRITE;    // byte write
…….
        /* return status of operation */
        if (rc == SUCCESS) {
            printk(KERN_CRIT
                   “SUCCESS to enable backup mode 0x%c of NVDIMM%d during panic!\n”,
                   backup_type, index);
        }
…….
}
#### 5.3.2 声明一个notifier
static struct notifier_block mybackup = {.notifier_call = mypanic_task,
};
#### 5.3.2 注册mybackup到panic 通知链条
atomic_notifier_chain_register(&panic_notifier_list, &mybackup);
参考上面的命令就可以把它注册成功,这样在backup_bloc()里触发备份数据,把DRAM里面的数据写到磁盘。