在電商領(lǐng)域，淘寶商品的 SKU（庫(kù)存單位）詳細(xì)信息對(duì)于商家優(yōu)化庫(kù)存管理、制定價(jià)格策略以及進(jìn)行市場(chǎng)分析具有重要價(jià)值。本文將詳細(xì)介紹如何利用 PHP 爬蟲(chóng)技術(shù)獲取淘寶商品的 SKU 詳細(xì)信息，并提供完整的代碼示例。
一、前期準(zhǔn)備
（一）環(huán)境搭建
確保你的開(kāi)發(fā)環(huán)境中已經(jīng)安裝了 PHP 7.4+，并配置了環(huán)境變量。
（二）安裝必要的 PHP 庫(kù)
通過(guò) Composer 安裝以下庫(kù)，用于發(fā)送 HTTP 請(qǐng)求和解析 HTML 數(shù)據(jù)：
- GuzzleHttp：用于發(fā)送 HTTP 請(qǐng)求。
- DOMDocument：用于解析 HTML 頁(yè)面。
- 在 composer.json 文件中添加以下依賴(lài)：
- JSON
{
"require": {
"guzzlehttp/guzzle": "^7.0"
}
}
運(yùn)行 composer install 命令來(lái)安裝依賴(lài)。二、編寫(xiě)爬蟲(chóng)代碼
（一）發(fā)送 HTTP 請(qǐng)求
使用 GuzzleHttp 庫(kù)發(fā)送 GET 請(qǐng)求，獲取商品評(píng)論頁(yè)面的 HTML 內(nèi)容：
php
<?php
require 'vendor/autoload.php';
use GuzzleHttp\Client;
function getHtml($url) {
$client = new Client();
$response = $client->request('GET', $url, [
'headers' => [
'User-Agent' => 'Mozilla/5.0 (Windows NT 10.0; Win64; x64) AppleWebKit/537.36 (KHTML, like Gecko) Chrome/91.0.4472.124 Safari/537.36'
]
]);
return $response->getBody()->getContents();
}
?>
（二）解析 HTML 內(nèi)容
使用 DOMDocument 和 DOMXPath 解析 HTML 內(nèi)容，提取評(píng)論數(shù)據(jù)：
php
<?php
function parseHtml($html) {
$doc = new DOMDocument();
@$doc->loadHTML($html);
$xpath = new DOMXPath($doc);
$comments = [];
$items = $xpath->query('//div[@class="comment-list"]/div[@class="comment-inner"]');
foreach ($items as $item) {
$content = $xpath->query('.//div[@class="comment-content"]/p', $item)->item(0)->nodeValue;
$comments[] = trim($content);
}
return $comments;
}
?>
（三）按關(guān)鍵字搜索商品評(píng)論
根據(jù)商品 ID 構(gòu)建評(píng)論請(qǐng)求 URL，并獲取評(píng)論數(shù)據(jù)：
php
<?php
function getTaobaoComments($itemId, $page = 1) {
$url = "https://rate.taobao.com/feedRateList.htm";
$params = [
'auctionNumId' => $itemId,
'currentPageNum' => $page,
'pageSize' => 20,
'rateType' => 1, // 1-全部評(píng)價(jià) 2-好評(píng) 3-中評(píng) 4-差評(píng)
'orderType' => 'sort_weight' // 排序方式
];
$headers = [
'User-Agent: Mozilla/5.0 (Windows NT 10.0; Win64; x64) AppleWebKit/537.36 (KHTML, like Gecko) Chrome/91.0.4472.124 Safari/537.36',
'Referer: https://item.taobao.com/item.htm?id='.$itemId,
'Accept: application/json'
];
$ch = curl_init();
curl_setopt($ch, CURLOPT_URL, $url.'?'.http_build_query($params));
curl_setopt($ch, CURLOPT_HTTPHEADER, $headers);
curl_setopt($ch, CURLOPT_RETURNTRANSFER, true);
curl_setopt($ch, CURLOPT_COOKIEFILE, 'taobao_cookies.txt');
curl_setopt($ch, CURLOPT_COOKIEJAR, 'taobao_cookies.txt');
curl_setopt($ch, CURLOPT_SSL_VERIFYPEER, false);
$response = curl_exec($ch);
curl_close($ch);
// 處理 JSONP 響應(yīng)
$response = preg_replace('/^jsonp\d+(/', '', rtrim($response, ')'));
return json_decode($response, true);
}
?>
（四）解析評(píng)論數(shù)據(jù)
解析返回的 JSON 數(shù)據(jù)，提取評(píng)論內(nèi)容：
php
<?php
function parseComments($rawData) {
$comments = [];
if (!isset($rawData['comments'])) {
return $comments;
}
foreach ($rawData['comments'] as $item) {
$comment = [
'id' => $item['id'],
'author' => $item['user']['nick'],
'content' => $item['content'],
'date' => $item['date'],
'rate' => $item['rate'],
'photos' => [],
'append' => null
];
if (isset($item['photos']) && is_array($item['photos'])) {
foreach ($item['photos'] as $photo) {
$comment['photos'][] = 'https:'.$photo['url'];
}
}
if (isset($item['appendComment'])) {
$comment['append'] = [
'content' => $item['appendComment']['content'],
'date' => $item['appendComment']['date']
];
}
$comments[] = $comment;
}
return $comments;
}
?>
（五）整合代碼
將上述功能整合到主程序中，實(shí)現(xiàn)完整的爬蟲(chóng)程序：
php
<?php
require 'vendor/autoload.php';
$goodsId = '1005006'; // 商品 ID
$pageNum = 1; // 評(píng)論分頁(yè)頁(yè)碼
$rawData = getTaobaoComments($goodsId, $pageNum);
$comments = parseComments($rawData);
foreach ($comments as $comment) {
echo "昵稱(chēng): " . $comment['author'] . "\n";
echo "評(píng)論內(nèi)容: " . $comment['content'] . "\n";
echo "評(píng)論時(shí)間: " . $comment['date'] . "\n";
echo "----------------------\n";
}
?>
三、注意事項(xiàng)與優(yōu)化建議
（一）遵守法律法規(guī)
在進(jìn)行爬蟲(chóng)操作時(shí)，必須嚴(yán)格遵守相關(guān)法律法規(guī)，尊重網(wǎng)站的 robots.txt 文件規(guī)定。
（二）合理設(shè)置請(qǐng)求頻率
避免過(guò)高的請(qǐng)求頻率導(dǎo)致對(duì)方服務(wù)器壓力過(guò)大，甚至被封禁 IP。
（三）應(yīng)對(duì)反爬機(jī)制
淘寶平臺(tái)可能會(huì)采取一些反爬措施，如限制 IP 訪問(wèn)頻率、識(shí)別爬蟲(chóng)特征等?？梢酝ㄟ^(guò)使用動(dòng)態(tài)代理、模擬正常用戶(hù)行為等方式應(yīng)對(duì)。
（四）數(shù)據(jù)存儲(chǔ)與分析
將抓取到的評(píng)論數(shù)據(jù)存儲(chǔ)到數(shù)據(jù)庫(kù)或文件中，以便后續(xù)分析和使用。
四、總結(jié)
通過(guò)上述步驟和代碼示例，你可以高效地利用爬蟲(chóng)技術(shù)獲取淘寶商品評(píng)論數(shù)據(jù)。無(wú)論是用于市場(chǎng)調(diào)研、競(jìng)品分析還是用戶(hù)體驗(yàn)優(yōu)化，這些數(shù)據(jù)都將為你提供強(qiáng)大的支持。希望本文的示例和策略能幫助你在爬蟲(chóng)開(kāi)發(fā)中更好地應(yīng)對(duì)各種挑戰(zhàn)，確保爬蟲(chóng)程序的高效、穩(wěn)定運(yùn)行。
