1.背景

NTB上的EEPROM保存着它上电后的默认设置,包括PCIE链接的设置、NT端口的使能、地址转换窗口的数量和大小、PCIE AER的默认配置等等。在新机器安装之前、系统地址窗口需要改变等情况下,就需要通过厂商提供的SDK 工具进行NTB EEPROM的烧写。

2.针对不同出厂设置的烧写方法

考虑到不同厂商的差异以及不同客户的需求,厂商提供的主板上的NTB EEPROM可能出现下面的几种配置:

  • 单NT 链接

首先通过NTB的示例程序,比如PLX提供的NTSample,可以看到双控系统上一侧NTB port类型是Virutual interface, 如下图所示意:

wKioL1ihmmqx83BkAAAirVu2rcI501.png双控系统另外一侧的port是link interface,如下图所示意:

 wKiom1ihmqeTufkiAACF5uXOyRc486.jpg在这virtual interface一侧,既可以通过NT PCIE downstream设备又可以通过upstream设备进行烧写,正确的操作:

a.单击左上区域, 选择NTBupstream PCIE 设备 4:0:0或者 NTB downstream PCIE 6:00.0

b.双击在左下角区域选择EEPROM Editor

c.从tools中选择program eeprom, 打开virtual interface对应的eeprom文件,进行烧写。

如下图所示:

wKioL1ihnAuSIEgnAAA-Y5VxDtI714.png

而如果需要更新link interface一侧的NTB的EEPROM,切记不能选择down stream设备6:00.0对应的EEPROM进行烧写,因为这样会烧写到对侧virtual interface的EEPROM里面去,而只能基于它的upstream PCIE device进行烧写,如下图:

wKiom1ihnjvyL9pRAABDT5b7AZg794.png

在单NT模式下,建议烧写操作的顺序如下:

a.烧写NT Link interface的NTB EEPROM;

b.重启NT Link interface的控制器;

c. NT Link interface重启进入OS之后,检查down steam port 是否存在,如果存在,到下一步; 否则跳到步骤a;

d. 烧写NT Virtual interface控制器的NTB EEPROM,烧写完成之后,重启让新的EEPROM生效。

  • 双NT

当NTSample显示两端都是Virtual-Side(背靠背)链接的时候,可以看做双NT模式,此时两侧的NVDIMM可参照单NT Port virtual interface 一侧的EEPROM进行烧写。

  • 无NT (没有NTB被eanble)

此时用lspic看不到NTB设备,down stram和upstream的设备都看不到,这很可能是BIOS中NTB没有使能的原因所致。

还有一种现象是,lspci能看到NTB upstream的设备,但是看不到down steam的设备,

这个很可能是因为两侧的NTB的NT端口在eeprom都被disable了,都变成link interface所致。

不管上面哪种NT的设置,都要求烧写NTB EEPROM的时候不要重启、掉电,否则可能导致系统无法启动。

3.烧写过程碰到问题的处理

烧写过程中,一不小心,很可能就会出现下面的问题:

a. 在link interface烧写EEPROM

如果在link interface通过downstream进行烧写EEPROM,注意它实际烧写到了virtual interface一侧的NTB上的EEPROM上去了。 如果是在单NT的配置下,且先在virtual interface一侧烧写NTB EEPROM,再在link interface一侧烧写link interface一侧期望的EEPROM, 实际结果会发现两侧节点的NT port都被disable了,导致只看到upstream节点,看不到downstream节点,这样NTB驱动无法加载,后面也就无法再用厂家提供的SDK工具来更新NTB EEPROM。 针对这种问题,可以考虑下面的步骤进行恢复:

  • 从其他双控系统上找到一个NTB 是virtual interface的节点,把它替换出现问题的双控系统上的link interface节点;或者把出现问题的virtual interface节点替换NTB正常的双控系统上的link interface节点;

  • 重新上电后,系统应该能够启动,并且两个控制器的NTB驱动都能加载,参考上文中关于单NT link interface 烧写EEPROM的方法,把当前系统上的link interface 一侧的控制器上的EEPROM 烧写成virtual interface 模式;

  • 用之前出现问题的双控系统的link interface 一侧的控制器,替代其他机器上的控制器;或者在virtual interface一侧重新插入烧好了EEPROM的控制器。上电后,应该两个控制器都能看到downstream NTB.

b.烧录了有问题的EEPROM,导致系统无法启动

可参考下面的方案,先通过硬件跳线跳过BIOS阶段对NTB的扫描,进入系统后解除跳线,通过SDK过擦除EEPROM, 然后重新烧写正确的EEPROM。

4.总结

NTB的EEPROM烧写,需要深刻理解NTB port interface和link interface的区别,只有对NTB底层硬件工作原理、PCIE设备探测、驱动加载、NTB系统互联有全面的了解,才可能找到办法解决烧写过程中碰到的各种问题。