以前追蹤過這個問題,但是那個時候工具用的不太好,沒看的這么細(xì),這次搞的比較細(xì),修正了偶以前的看法
.于是寫小文一篇總結(jié)一下.
PHP偶爾會爆一下如下 錯誤Allowed memory size of xxx bytes exhausted at xxx:xxx (tried to
allocate xxx bytes)
不想看原理的,直接跳到最后看總結(jié).
這個報錯信息的意思是是說,若ini配置的memory_limit(內(nèi)存限制) 大于 AG(allocated_memory),就報錯
AG(allocated_memory) += rs;
if (AG(memory_limit)<AG(allocated_memory)) {
int php_mem_limit = AG(memory_limit);
AG(allocated_memory) -= rs;
if (EG(in_execution) && AG(memory_limit)+1048576 > AG(allocated_memory)){
AG(memory_limit) = AG(allocated_memory) + 1048576;
if (file) {
zend_error(E_ERROR,"Allowed memory size of %d bytes exhausted
at %s:%d (tried to allocate %d bytes)", php_mem_limit, file, lineno, s);
} else {
zend_error(E_ERROR,"Allowed memory size of %d bytes exhausted
(tried to allocate %d bytes)", php_mem_limit, s);
}
} else {
if (file) {
fprintf(stderr, "Allowed memory size of %d bytes exhausted
at %s:%d (tried to allocate %d bytes)n", php_mem_limit, file, lineno, s);
} else {
fprintf(stderr, "Allowed memory size of %d bytes exhausted
(tried to allocate %d bytes)n", php_mem_limit, s);
}
exit(1);
}
}
memory_limit很簡單,就是PHP可用的內(nèi)存..AG(allocated_memory)是什么呢?是不是已經(jīng)使用的內(nèi)存,恩,
我們用代碼驗證一下
PHP_FUNCTION(memory_get_usage) {
RETURN_LONG(AG(allocated_memory));
}
這下就清晰明了,還不懂的,查php手冊,看memory_get_usage的說明
到底什么時候設(shè)置AG(allocated_memory)呢,具體代碼就不貼了,太繁瑣,是在emalloc函數(shù)中調(diào)用了第一段
代碼,看第一行代碼,那里的rs就是每次tried to allocate %d bytes對應(yīng)的s變量(你要申請的實際空間)
的align對齊,具體計算方法:rs = (s+7) & ~0x7,也就是必須是8的倍數(shù),不足則補足,這樣做的好處是符合
64位機(jī)器的要求,可以加速運算,例如 s =1,那么運算出來的rs =8 ,具體的,可以自己用PHP寫個函數(shù)計算
(0×7是16進(jìn)制寫法).
總結(jié):既然知道了怎么回事,就好解決了,在開啟 –enable-memory-limit情況下,會出這個錯誤,把配置文
件直接設(shè)置memory_limit,或者在代碼中設(shè)置ini_set(‘memory_limit’, ‘value’)都可以,省事的辦法
就是設(shè)置配置文件(如php.ini)
而且建議開啟–enable-memory-limit,若這個不開啟,PHP的內(nèi)存限制就處于”裸跑”狀態(tài),可能會出現(xiàn)著
名的out of memory錯誤.
使用腳本語言最大的好處之一就是可利用其擁有的自動垃圾回收機(jī)制(釋放內(nèi)存)。你不需要在使用完變
量后做任何釋放內(nèi)存的處理,PHP會幫你完成。
當(dāng)然,我們可以按自己的意愿調(diào)用 unset() 函數(shù)來釋放內(nèi)存,但通常不需要這么做。
不過在PHP里,至少有一種情況內(nèi)存不會得到自動釋放,即便是手動調(diào)用 unset()。
問題癥狀
如果兩個對象之間存在著相互引用的關(guān)系,如“父對象-子對象”,對父對象調(diào)用 unset() 不會釋放在子
對象中引用父對象的內(nèi)存(即便父對象被垃圾回收,也不行)。
有些糊涂了?我們來看下面的這段代碼:
<?php
class Foo {
function __construct()
{
$this->bar = new Bar($this);
}
}
class Bar {
function __construct($foo = null)
{
$this->foo = $foo;
}
}
while (true) {
$foo = new Foo();
unset($foo);
echo number_format(memory_get_usage()) . "\n";
}
?>
運行這段代碼,你會看到內(nèi)存使用率越來越高越來越高,直到用光光。
...
33,551,616
33,551,976
33,552,336
33,552,696
PHP Fatal error: Allowed memory size of 33554432 bytes exhausted
(tried to allocate 16 bytes) in memleak.php on line 17
對大部分PHP程序員來講這種情況不算是什么問題。
可如果你在一個長期運行的代碼中使用到了一大堆相互引用的對象,尤其是在對象相對較大的情況下,內(nèi)
存會迅速地消耗殆盡。
Userland解決方案
雖然有些乏味、不優(yōu)雅,但之前提到的 bugs.php.net 鏈接中提供了一個解決方案。
這個方案在釋放對象前使用一個 destructor 方法以達(dá)到目的。Destructor 方法可將所有內(nèi)部的父對象
引用全部清除,也就是說可以將這部分本來會溢出的內(nèi)存釋放掉。
以下是“修復(fù)后”的代碼:
<?php
class Foo {
function __construct()
{
$this->bar = new Bar($this);
}
function __destruct()
{
unset($this->bar);
}
}
class Bar {
function __construct($foo = null)
{
$this->foo = $foo;
}
}
while (true) {
$foo = new Foo();
$foo->__destruct();
unset($foo);
echo number_format(memory_get_usage()) . "\n";
}
?>
注意那個新增的 Foo::__destruct()方法,以及在釋放對象前對 $foo->__destruct() 的調(diào)用?,F(xiàn)在這
段代碼解決了內(nèi)存使用率一直增加的問題,這么一來,代碼就可以很好的工作了。
PHP內(nèi)核解決方案?
為什么會有內(nèi)存溢出的發(fā)生?我對PHP內(nèi)核方面的研究并不精通,但可以確定的是此問題與引用計數(shù)有關(guān)
系。
在 $bar 中引用 $foo 的引用計數(shù)不會因為父對象 $foo 被釋放而遞減,這時PHP認(rèn)為你仍需要 $foo 對
象,也就不會釋放這部分的內(nèi)存……大概是這樣。
這里確實可以看出我的無知,但大體意思是:一個引用計數(shù)沒有遞減,所以一些內(nèi)存永遠(yuǎn)得不到釋放。
在前面提到的 bugs.php.net 鏈接中我看到修改垃圾回收的過程將會犧牲極大的性能,因為我對引用計數(shù)
了解不多,所以我認(rèn)為這是真的。
與其改變垃圾回收的過程,為什么不用 unset() 對內(nèi)部對象做釋放的工作呢?(或者在釋放對象的時候
調(diào)用 __destruct()?)
也許PHP內(nèi)核開發(fā)者可以在此或其他地方,對這種垃圾回收處理機(jī)制做出修改。
更新:Martin Fjordvald 在評論中提到了一個由 David Wang 為垃圾回收所寫的補丁(其實它看起來更
像“一整塊布”——非常巨大。詳情參見此郵件結(jié)尾的CVS導(dǎo)出信息。)確實存在(一封郵件),并受到
了PHP內(nèi)核開發(fā)成員的關(guān)注。問題是這個補丁要不要放到PHP5.3中并未得到太多支持。我覺得一個不錯的
折中方案就是在 unset() 函數(shù)中調(diào)用對象中的 __destruct() 方法;
========================內(nèi)存溢出解決方案
在做數(shù)據(jù)統(tǒng)計分析時,經(jīng)常會遇到大數(shù)組,可能會發(fā)生內(nèi)存溢出,這里分享一下我的解決方案。還是用例子來說明這個問題,如下:
假定日志中存放的記錄數(shù)為500000條,那么解決方案如下:
ini_set(‘memory_limit’,’64M’); //重置php可以使用的內(nèi)存大小為64M,一般在遠(yuǎn)程主機(jī)上是不能修改php.ini文件的,只能通過程序設(shè)置。注:在safe_mode(安全模式)下,ini_set失效
set_time_limit(600);//設(shè)置超時限制為6分鐘
$farr = $Uarr = $Marr = $IParr = $data = $_sub = array();
$spt = ”$@#!$”;
$root = ”/Data/webapps/VisitLog”;
$path = $dpath = $fpath = NULL;
$path = $root.”/”.date(“Y-m”,$timestamp);
$dpath = $path.”/”.date(“m-d”,$timestamp);
for($j=0;$j<24;$j++){
$v = ($j < 10) ? ”0″.$j : $j;
$gpath = $dpath.”/”.$v.”.php”;
if(!file_exists($gpath)){
continue;
} else {
$arr = file($gpath);////將文件讀入數(shù)組中
array_shift($arr);//移出第一個單元-》<?php exit;?>
$farr = array_merge($farr,$arr);
unset($arr);
}
}
if(empty($this->farr)){
echo ”<p><center>沒有相關(guān)記錄!</center></p>”;
exit;
}
while(!empty($farr)){
$_sub = array_splice($farr, 0, 10000); //每次取出$farr中1000個
for($i=0,$scount=count($_sub);$i<$scount;$i++){
$arr = explode($spt,$_sub[$i]);
$Uarr[] = $arr[1]; //vurl
$Marr[] = $arr[2]; //vmark
$IParr[] = $arr[3].” |$nbsp;”.$arr[1]; //IP
}
unset($_sub);//用完及時銷毀
}
unset($farr);
這里,不難看出,一方面,我們要增加PHP可用內(nèi)存大小,另一方面,只要我們想辦法對數(shù)組進(jìn)行分批處理,分而治之,將用過的變量及時銷毀(unset),一般是不會出現(xiàn)溢出問題的。
另外,為了節(jié)省PHP程序內(nèi)存損耗,我們應(yīng)當(dāng)盡可能減少靜態(tài)變量的使用,在需要數(shù)據(jù)重用時,可以考慮使用引用(&)。再一點就是:數(shù)據(jù)庫操作完成后,要馬上關(guān)閉連接;一個對象使用完,要及時調(diào)用析構(gòu)函數(shù)(__destruct())。
============================unset銷毀變量并釋放內(nèi)存問題
PHP的unset()函數(shù)用來清除、銷毀變量,不用的變量,我們可以用unset()將它銷毀。但是某些時候,用unset()卻無法達(dá)到銷毀變 量占用的內(nèi)存!我們先看一個例子:
<?php
$s=str_repeat('1',255); //產(chǎn)生由255個1組成的字符串
$m=memory_get_usage(); //獲取當(dāng)前占用內(nèi)存
unset($s);
$mm=memory_get_usage(); //unset()后再查看當(dāng)前占用內(nèi)存
echo $m-$mm;
?>
最后輸出unset()之前占用內(nèi)存減去unset()之后占用內(nèi)存,如果是正數(shù),那么說明unset($s)已經(jīng)將$s從內(nèi)存中銷毀(或者說,unset()之后內(nèi)存占用減少了),可是我在PHP5和windows平臺下,得到的結(jié)果是:0。這是否可以說明,unset($s)并沒有起 到銷毀變量$s所占用內(nèi)存的作用呢?我們再作下面的例子:
<?php
$s=str_repeat('1',256); //產(chǎn)生由256個1組成的字符串
$m=memory_get_usage(); //獲取當(dāng)前占用內(nèi)存
unset($s);
$mm=memory_get_usage(); //unset()后再查看當(dāng)前占用內(nèi)存
echo $m-$mm;
?>
這個例子,和上面的例子幾乎相同,唯一的不同是,$s由256個1組成,即比第一個例子多了一個1,得到結(jié)果是:272。這是否可以說 明,unset($s)已經(jīng)將$s所占用的內(nèi)存銷毀了?
通過上面兩個例子,我們可以得出以下結(jié)論:
結(jié)論一、unset()函數(shù)只能在變量值占用內(nèi)存空間超過256字節(jié)時才會釋放內(nèi)存空間。
那么是不是只要變量值超過256,使用unset就可以釋放內(nèi)存空間呢?我們再通過一個例子來測試一下:
<?php
$s=str_repeat('1',256); //這和第二個例子完全相同
$p=&$s;
$m=memory_get_usage();
unset($s); //銷毀$s
$mm=memory_get_usage();
echo $p.'<br />';
echo $m-$mm;
?>
刷新頁面,我們看到第一行有256個1,第二行是0,按理說我們已經(jīng)銷毀了$s,而$p只是引用$s的變量,應(yīng)該是沒有內(nèi)容了,另 外,unset($s)前后內(nèi)存占用沒變化!現(xiàn)在我們再做以下的例子:
<?php
$s=str_repeat('1',256); //這和第二個例子完全相同
$p=&$s;
$m=memory_get_usage();
$s=null; //設(shè)置$s為null
$mm=memory_get_usage();
echo $p.'<br />';
echo $m-$mm;
?>
現(xiàn)在刷新頁面,我們看到,輸出$p已經(jīng)是沒有內(nèi)容了,unset()前后內(nèi)存占用量之差是272,即已經(jīng)清除了變量占用的內(nèi)存。本例中的$s=null也 可以換成unset(),如下:
<?php
$s=str_repeat('1',256); //這和第二個例子完全相同
$p=&$s;
$m=memory_get_usage();
unset($s); //銷毀$s
unset($p);
$mm=memory_get_usage();
echo $p.'<br />';
echo $m-$mm;
?>
我們將$s和$p都使用unset()銷毀,這時再看內(nèi)存占用量之差也是272,說明這樣也可以釋放內(nèi)存。那么,我們可以得到另外一條結(jié)論:
結(jié)論二、只有當(dāng)指向該變量的所有變量(如引用變量)都被銷毀后,才會釋放內(nèi)存。