我的内存谁也没动：4GB内存终极解迷（转）

疾风o0

500元、300元、150元......随着DDR2价格的逐渐崩盘，目前连2GB DDR2-800内存的价格也已经跌至百元，越来越多的朋友为爱机装上了4GB内存。随着4GB电脑的逐渐增加，一个长期存在的问题又再次被人们所关注：为何我只能看到3.25GB物理内存？


　　无论是WinXP-32bit还是Vista-32bit，所有的用户都可以发现自己的任务管理器中最多只显示3.25GB物理内存，更甚者还会有2.8GB甚至更低的数值出现。我们花钱购买的内存就这样白白不见了么？

　　人们当然不会允许这样的事情发生，于是各种论坛上展开了关于4GB内存的大量讨论。重装系统、打开PAE、使用Ramdisk、开启Memory Remapping等等各种手段层出不穷，所有人都想找回那失去的内存。再逐一尝试之后，人们发现始终能够在32bit系统上找到那0.75GB内存的下落。人们所寄希望的Vista系统也仅仅是能够在系统属性上看到4.00GB的字样，设备管理器的物理内存依然安逸的保持在3.25GB。期间，各大电脑网站和杂志也刊登了一些关于这方面的文章，介绍了大量内容，最终人们将一切归罪于32bit操作系统。

　　这样的审判似乎很正确，毕竟我们可以真实的看到64bit系统下那＞3.25GB的物理内存显示，32bit系统显然贪污掉了0.75GB内存。然而事实上，操作系统却在这里成为了不折不扣的替罪羊。因为事实上即使是在64bit系统中，内存同样会被“侵蚀”；而32bit系统也同样可以使用超过4GB的内存。

为了让广大网友都能够了解事实究竟，今天笔者就为操作系统客串一次辩护律师，为其平反这个内存贪墨案，找寻那失落的内存。真相永远只有一个！


　　注：文本将以Intel当代芯片组的内存分配机制为例讲述，其他品牌芯片组在细节上或许有与本文所描述不同之处，但结论上不会有太大出入。

观念上的错误：32bit寻址

32bit操作系统，32bit处理器，有着32bit寻址能力，可以访问2^32 = 4G物理地址，于是拥有识别4GB内存的能力，这似乎是完全顺理成章的事情。然而其中有一个关键，什么是物理地址？物理地址就是物理内存的地址？非也。物理地址是指处理器和系统内存之间所用到地址，我们可以简单理解成是CPU“极方便访问的地址”。这个地址并非物理内存独享，尽管通常它基本都会与物理地址重叠，但也可以根据需要被其他设备占用，使得物理内存实际上只能够占用这4GB地址中的一部分。


　　认真看看上面这个P45芯片组的系统地址区域图。图中的方块代表的是不同区域的“地址”，这些地址囊括了一台电脑中所有能和操作系统以及芯片组关联的设备地址，而不仅仅是“物理内存地址”。同样的，那个4G的红线代表的是第4G个Byte的地址，并不是4GB物理内存的分界线，尽管内存控制器很多时候确实会让它们重叠在一起。P45芯片组是一款支持36bit寻址的产品，即可以支持64GB地址，但为了去迎合操作系统以及各种软件，因此需要保证系统运转所必须的所有设备地址都可以在4GB范围内找到，否则会给硬件32bit驱动程序的制作带来很多麻烦，对驱动程序兼容性造成极大程度的影响。很显然，让一个系统正常运行并不仅仅包括内存，还要包括各种I/O设备等。在4GB的寻址范围内，物理内存实际上只占据了一块，就是那个被称为Main Memory Address Range的区域（图中绿色框）。安装4GB以下内存的话，Windows的任务管理器会确认1MB至TOLUD寄存器数值作为系统可用的物理内存（无板载显卡占用）。TOLUD全称是Top of Low Usable Dram，这个16bit寄存器由BIOS赋予一个适当的数值，其含义是4GB地址内的可用物理内存地址顶端。如果安装2GB内存，那么TOLUD的数值就是7FFFFFFFh，也就是16进制的2GB（加上0地址），任务管理器一般会显示2046MB（见小贴士）。既然内存并不能占据整个4GB地址，那么其他地址主要被谁占据了呢？

　　小贴士：相信不少非4GB用户会发现自己的内存同样被偷吃了几MB，比如2GB内存用户通常在设备管理器中只能看到2047MB或者2046MB内存等等。这是因为还有两块地址范围被占据，这两个区域分别是Legacy Address Range和TSEG，他们会使用一部分内存（比如加载系统BIOS）。由于这两个区域都处于TOLUD以下的地址范围内，包含了BIOS等底层部件的Legacy Address Range更是固定占据00000000h至000FFFFFh的1MB最底层地址空间，所以无论系统安装了多少内存，Windows任务管理器显示的数值都会受到影响。


　　上面的图中展示了00000000h至FFFFFFFFh共4GB地址的详细分配（上图中方块大小于占用地址多少无关），4GB物理内存本身会自然排布其上，但会有一些优先级更高的分派来争夺物理地址空间，使得真正留下的物理内存只在Main Memory区域，而其他部分通常会占据几MB最多十几MB的地址空间，但其中有一个地址大户：PCI Memory Address Range（PCI Memory Range）。
内存地址“侵蚀者”：PCI Memory Address Range




　　PCI Memory Address Range这一部分包含了各种I/O设备，系统总线等部分所需的地址，上面的图中我们可以看到ICH10的磁盘控制器、PCIE（显卡）等该系统现有设备所占据的地址范围。这些I/O设备地址被通过一种叫做MMIO的技术使得CPU可以高速便捷的访问它们。根据设备状况的不同，PCI Memory Address Range的大小也会发生变化，这都一切取决于硬件本身及硬件驱动的需求，例如芯片组、显卡等等。

　　小贴士：MMIO全称是Memory-mapped I/O，是一种在CPU和外围设备之间执行输入输出功能的途径。MMIO简单说就是将各种外围设备的控制寄存器映射到物理内存地址上，CPU可以像访问内存一样方便的访问I/O设备，而无需重复再三的去调用IO控制函数。CPU会将自己的寻址空间预留一块用于I/O设备，这也意味着内存地址被占用了一块，但并不会真的占用物理内存存储空间。


　　没有板载显卡的话，PCI Memory Address Range基本可以与MMIO区域划等号。MMIO会占据TOLUD至4GB的地址空间，不过这只是将物理地址分派给各种外围设备，而不会真的占用物理内存。上图中的系统只有2GB内存，那么TOLUD的值就是2GB（7FFFFFFFh），PCI Memory Address Range也就自动占据了80000000h至FFFFFFFFh这剩下2GB的地址空间。而且很明显，它不占用内存，因为后面2GB根本没有内存。MMIO区域所占据的地址实际上对应的物理设备是外围设备的寄存器之类，相对于这些设备的寄存器来说，MMIO是一块逻辑地址区间。


　　上图展示了P45芯片组（Intel芯片组）的典型MMIO分配，里面包含了大量系统所必须的内容：High BIOS、DMI总线、FSB中断、APIC、PCIE等多方面的设备地址。这些都是一款Intel芯片组正常运行所必须的东东，尤其是DMI总线（连接Intel芯片组南北桥）管理着主板上的大多数IO设备，它们自然必须在任何时候都享受着MMIO所分配的地址，而这个地址范围通常就是0.75GB。

　　现在是时候讲一讲主板BIOS中的Memory Remapping（也有的叫Memory Hole Remapping）了。实际上一些主板的Memory Remapping就是在定义TOLUD的地址（华硕P5Q主板为例），这个功能并不会让任务管理器中显示4GB内存。在使用4GB内存(准确说应该是3.25GB以上内存)并将该功能开启时，TOLUD会被赋值D0000000h，这样MMIO区域就会被固定在3.25GB至4GB这个范围内，所以我们就会在任务管理器中看到3.25GB的物理内存显示了。

　　注：每款主板BIOS中的Memory Remapping项含义可能有所不同，其也可能是Memory Reclaim功能的开关。关于Memory Reclaim后文将详细讲述。


　　DFI的X58主板给出了一个很有意思的选项，名叫Memory LowGap。这个选项可以让用户自定义选择TOLUD的地址，或者说自定义选择MMIO区域的大小。该选项的范围为1024M至3072M，即MMIO区域的大小为1024MB-3072MB。可能是因为需要映射到物理地址的寄存器数量很大，一些顶级显卡的驱动程序会要求比较大的MMIO区域支持，例如NVIDIA的GTX280、GTX295之类。4GB内存用户甚至可以发现，当更换显卡后，设备管理器显示的物理内存大小竟然也会发生变化，甚至会降低到3GB以下的数值，这就是因为某些高阶显卡申请了更大的MMIO，使得内存在4GB以下的地址空间被进一步压缩，我们可以在Windows的设备管理器内看到地址分布的变化。


　　当我们把DFI X58主板BIOS中的Memory LowGap调至一个巨额的数值之后，上图中的景象就出现了。由于MMIO的进一步扩张，我们发现连2GB的内存竟然也被侵蚀了好大一块，50000000h（1280MB）之后的地址就已经开始被MMIO占据。4GB地址就像是一辆拥挤的公共汽车，空间总共就那么大，PCI Memory Address Range挤上去了、满载了，内存自然就上不去了。难道内存就这么白费了？真是万恶的PCI Memory Address Range，万恶的MMIO，万恶的美帝国主义。。。。。。先不用着急，继续向下看，我们会把内存找回来的。
寻找失落的内存



　　让我们再来温习一下这张图，并再次明确一件事情：PCI Memory Address Range中的MMIO占去的仅仅是物理地址，并不会去占据内存空间。每个内存颗粒中每个可以存储1bit的晶体管本身并不会拥有地址，所有的地址都是由系统进行分配的。这一切的地址排布与操作系统是多少位并无太多关联，而操作系统方面对MMIO大小的影响主要来自于系统自身驱动以及设备驱动程序等方面的要求。因此我们可以发现在一些默认功能开启较少，硬件驱动地址开销较少的系统中（如Win Sever），任务管理器显示的物理内存会大一些（例如3.6GB）。因为此时的MMIO相对较小。从根本上来说，这是芯片组来自于兼容性方面的考量，必须让MMIO位于4GB以内。


　　由于兼容性的考量，即使使用了64bit操作系统和64bit处理器，MMIO仍然会被芯片组安置于4GB地址以内。MMIO必须占用这段地址空间，且MMIO有着比内存更高的优先级，物理内存又会老老实实的自然排布，这使得当安装了接近4GB或更多物理内存时，PCI Memory Address Range必然会与物理内存交叠，在整个物理内存地址中形成一个Memory Hole。

　　小贴士：Memory Hole其实很好理解，就像上面的图中那样，Main Memory被分成了两段，而那段被占用的地址空间就像一个“洞”（Hole），所以称之为Hole。。。。。。上面图中PCI Memory Address Range就充当了这个Hole的角色，它并不占用内存存储空间，只是一个物理地址上的横亘，使得Hole的地址与内存地址发生了重叠。

　　芯片组设计师们自然有其他的考量去解决物理内存地址的分配问题，毕竟会白白浪费内存的芯片组是不讨人喜欢的。既然4GB以下地址如此紧张，我们为何不将物理内存分配到更高的地址空间去呢？于是，TOM、 TOUUD寄存器以及RECLAIMBASE、RECLAIMLIMIT寄存器诞生了。


　　TOM即“Top of Memory”，其描述的是系统上所安装的物理内存的总量。TOM寄存器值并不见得代表最高内存地址，因为MMIO的地址分配要优先于TOM寄存器，内存地址中基本都会存在一些hole（PCI Memory Address Range），所以TOM寄存器的地址最终还需要加上这些hole的地址，从而会更高一些。TOM寄存器之下将会有1-64MB内存被Manageability Engine占用（图中的EP-UMA），这是确确实实被占有的内存。

　　TOUUD即“Top of Upper Usable DRAM”，其描述的是可设定地址的物理内存总量。TOLUD寄存器会始终在4GB内存地址以下工作，但我们知道现在的主流芯片组都能安装高达16GB的内存，TOUUD就可以解决这个问题。TOUUD会在4GB以上地址定义物理内存范围，这个范围会从4GB到可用物理内存顶端(TOM)，经过鉴定的物理内存可以直接被使用。这并不受操作系统的影响，而是芯片组的工作，也就是至少BIOS肯定是能够接受16GB内存的。


　　OK，现在我们要回收那块被“占用”的内存地址了。MMIO占据了TOLUD到4GB的地址空间，所以芯片组需要去回收这段地址重叠的物理内存。物理内存并不能直接搬家，芯片组会开启一个remap window（Main Memory Reclaim Address Range），其底端地址由RECLAIMBASE寄存器定义，顶端地址由RECLAIMLIMIT寄存器定义，总大小会与被MMIO占用的内存地址范围完全相等。然后会将原本将落在TOLUD至4GB地址之间的物理内存回收，重映射到4GB以上EP Stolen Base之下的地址空间中，属于remap window中的地址都会去对应由TOLUD至4GB的这段物理内存。

　　注：由于笔者目前不确定芯片组的Memory Reclaim功能是否可以通过主板BIOS开关，所以某些品牌主板BIOS中的Memory （Hole） Remapping选项可能控制了Memory Reclaim功能的开关。


　　当然，我们的任务管理器中并不能显示出它们，因为我们的物理地址只有4GB，MMIO会占据一部分地址。被置于4GB以上地址区间的内存显然早已超出了TOLUD。不过在实际使用中我们其实能够完整利用那些看不到的内存，那些位于4GB地址以上的内存。想知道究竟？请翻开下一页。
虚拟内存与物理地址扩展（PAE）

虚拟内存　　在早年的计算机中，地址的转换很单纯，有效地址就直接等于物理存储器的地址，这适合同一时间只有一个进程在运作。但Windows不会只有一个Window，多进程并存是现代计算机的基本情形。后来人们决定为每个进程划定一块专用内存区域，这样可以让多个进程同时运作。但这种分段方式会让内存在进程开开关关的过程中产生很多碎片，很多小块内存无法被利用。由于内存空间总是相对有限的，因此应用程序也不能疯狂的将所有东西直接塞进内存当中。同时我们也不能依赖硬盘这个缓慢的二级存储器去充当内存，那实在太慢了。为了调和这个矛盾，操作系统都引入了虚拟内存机制。


　　Windows的虚拟内存并非简单的指位于我们硬盘上的那个pagefile.sys文件，或者是在内存装不下的时候用于应急的“模拟内存”。在当代Windows系统中，任何一个进程都会被赋予其自己的虚拟地址空间，这是一种逻辑地址空间，并不存在实体，该虚拟地址空间可以覆盖了一个相当大的范围。对于一个32位进程，其可以拥有的虚拟地址空间为2^32=4GB，典型情况为2GB用户空间，2GB系统内核空间（最大可调整为3GB用户空间和1GB内核空间），这与安装了多少物理内存没有任何关系。每个进程的虚拟地址空间都会被标上各自的ID，这样两个进程之间的虚拟地址就不会互相干扰。虽然每一个32位进程可使用4GB的地址空间，但并不意味着每一个进程实际拥有4GB的物理地址空间或使用4GB物理内存，虚拟地址仅仅是一种逻辑地址。


　　应用程序自然不能总在看不见摸不着的虚拟地址里溜达，最终还是需要实实在在的物理存储器关联。应用程序会去为其虚拟地址申请物理存储空间，这个空间通常会小于应用程序的总虚拟空间。这里所说的物理存储器并不局限于计算机内存，还包括在磁盘空间上创建的页文件（pagefile.sys），其存储空间大小为计算机内存和页文件存储容量之和（所以Windows自动管理时的pagefile.sys是很大的）。由于通常情况下磁盘存储空间要远大于内存的存储空间，因此页文件的使用对于应用程序而言确实相当于透明的增加了其所能使用的内存容量，只是速度慢了点。有了虚拟内存的存在，程序本身就不用完全装入内存，或者完全存于硬盘，系统会将目前需要的部分读入内存处理，暂时不需要的就放在硬盘的页文件留作交换。不过CPU并不能直接去访问磁盘上的信息，每次磁盘访问都必须通过内存，所以若所需的内容在磁盘上的页文件中，就需要先加载到内存然后访问。

　　应用程序本身并不关心自己占用的内存大小，它只要求提交物理存储器，无论是磁盘还是内存。那么自然是尽量分配更多的高速的内存作为物理存储器最佳，所以我们也知道内存大的机器在大量应用程序启动时会快。当一个进程的虚拟内存提交的物理存储器是物理内存时，我们就可以省去从磁盘的页文件加载数据到物理内存的时间，程序的工作效率自然就会提高。尽管我们的内存超出了32bit系统的地址结构范围，但我们只要将4GB地址以上的物理内存为虚拟内存所用就不会浪费内存了。


物理地址扩展（PAE）


　　物理地址扩展（PAE）是早在Pentium Pro时代就有的东东，它可以提高IA32处理器应对4GB以上内存的能力。当启用 PAE之后，Windows操作系统将从两级线性地址转换变为三层地址转换，额外的一层转换用于访问超过4GB地址的物理内存，可以将超出4GB地址的物理内存映射为应用程序进程的虚拟地址空间以提升虚拟内存性能。地址窗口扩展（AWE）更是可以将未分页的物理内存转换到进程的虚拟地址。通过PAE，我们可以完整的利用到被回收至4GB以上地址的那部分内存。


　　至于开启PAE的方法网上遍地都是，我想就不用在这里多费笔墨了。而且事实上，操作系统多数情况下会自动开启PAE，在使用多核心处理器时，无论安装多少物理内存，Windows都会因处理器需要而默认开启PAE功能。换句话说，在这个双核心处理器普及的时代我们基本上不用去考虑PAE的开启问题。
结语：我的内存谁也没动      

       　通过Memory Reclaim，我们可以回收与MMIO交叠的内存为己所用。自己爱机上的4GB内存并非只能用到任务管理器所显示的那3.25GB或者更少，而是可以完整的被利用。同时我们也能够了解到高端显卡对系统地址分配的影响，更换显卡导致任务管理器所示内存容量改变的疑问相信也已经烟消云散。

　　PAE的开关我们基本上不用担心，而BIOS中的Memory （Hole） Remapping由于可能影响着Memory Reclaim功能，所以笔者建议在各种IO设备（尤其是显卡）正常工作的情况下尽量打开它。

　　
后记：事实上笔者发现一些主板的Memory Reclaim状况有些特别，从笔者的角度暂时难以去确认其内部的Memory Reclaim实际状况。请期待后续的研究。

好长，先收藏，等我内存加到4G了再看看！

呵呵
看来4G是满载利用哦

好长好复杂...顶起来,我是懒得看了

感谢分享…

太长了..............

有什么办法能够完全使用4G内存呢?????????

我的内存仍然像楼主第一张图片的显示一样

不错。。

文章太乱不知所云思维混乱。:a47: