Форумы портала PHP.SU :: Версия для печати :: Как парсить большие XML-файлы

1. Faab - 30 Апреля, 2015 - 12:19:18 - перейти к сообщению

Мне дали тестовый XML-файл для ознакомления со структурой - 150 единиц товара. Я под него написал модуль на drupal.

Пока мой парсер справляется с XML-фалом с 150 единицами товара, но я сильно сомневаюсь что он справиться с количеством в 20,000 товаров.

У меня самое слабое звено это параметры товара:

CODE (htmlphp):
скопировать код в буфер обмена

 
            <offer id="tovar_14526" available="true">
                <name>Товар 14526</name>
                <vendor>Alfa</vendor>
                <url>http://xxx.ru/catalog/product/14526g/</url>
                <currencyId>RUB</currencyId>
                <categoryId>245</categoryId>
                <image>http://xxx.ru/tovar_14526_fedf.jpeg</image>
                <param name="Страна">Италия</param>
                <param name="Коллекция">Omega</param>
                <param name="Артикул">14526/G</param>
                <param name="Высота, мм">400</param>
                <param name="Диаметр, мм">500</param>
                <param name="Количество колёс">3</param>
                <param name="Мощность мотора, W">400</param>
                <param name="Тип мотора (основной) (новый)">Электрический</param>
                <param name="Тип кузова (новый)">Пластик</param>
                <param name="Напряжение, V">24</param>
                <param name="Степень защиты, IP">20</param>
                <param name="Виды материалов (новый)">Пластик</param>
                <param name="Материал арматуры (новый)">Металл</param>
                <param name="Материал управления (новый)">Пластик</param>
                <param name="Цвет (новый)">Белый</param>
                <param name="Цвет арматуры (новый)">Золото</param>
                <param name="Цвет кузова (новый)">Белый</param>
                <param name="Место использования (новый)">Внутри</param>
                <param name="Стиль (новый)">Классика</param>
                <param name="Форма кузова">Круглый</param>
                <param name="Дизайн (новый)">Beta</param>
                <param name="ШтрихКод">150001450060</param>
                <param name="Базовая единица">шт</param>
                <param name="Производитель">Производители/Alfa</param>
                <param name="Остаток поставщика">11</param>
                <param name="Видимость">Y</param>
                <param name="Остаток">Больше 10 шт.</param>
                <param name="Новинка">Да</param>
                <param name="Акция">false</param>
                <param name="Раздел на сайте">Машинки</param>
                <price>7172.85</price>
            </offer>
 

Записав в базу данных объект продукта (без параметров), я начинаю парсить сами параметры (имея уже на руках id продукта):

PHP:
скопировать код в буфер обмена

 
    $elements = new XMLElementIterator($reader, 'offer');
    foreach ($elements as $element) {
        $offer = array();
        
        // id
        $offer['id'] = (string) $element->getAttribute('id');
        
        // available
        if((string) $element->getAttribute('available') == 'true'){
          $offer['available'] = 1;
        }else{
          $offer['available'] = 0;
        }
        
        $offerSimpleXMLElement = $element->getSimpleXMLElement();
        
        // name
        $offer['name'] = (string) $offerSimpleXMLElement->name;
        
        // vendor
        $offer['vendor'] = (string) $offerSimpleXMLElement->vendor;
        
        // url
        $offer['url'] = (string) $offerSimpleXMLElement->url;
        
        // currencyId
        $offer['currencyId'] = (string) $offerSimpleXMLElement->currencyId;
        
        // categoryId
        $offer['categoryId'] = (string) $offerSimpleXMLElement->categoryId;
        
        // image
        $offer['image'] = (string) $offerSimpleXMLElement->image;
        
        // price
        $offer['price'] = (string) $offerSimpleXMLElement->price;
        
        // save offer object in db
        $i_offer_id =  _custom_function_save_current_offer($offer['id'], $offer['available'], $offer['name'], $offer['vendor'], $offer['url'], $offer['image'], floatval($offer['price']), $offer['categoryId'], $offer['categoryId']);
 
        $params = $offerSimpleXMLElement->param;  /// asSimpleXML  getSimpleXMLElement
        foreach($params as $attribute_value){
          $param = array();
          foreach($attribute_value->attributes() as $attribute_name){
            $param['name'] = (string) $attribute_name;
            $param['value'] = (string) $attribute_value;
            
            if(isset($param['name']) && isset($param['value'])){
              // save param obect in db
              _custom_function_save_current_param($param['name'], $param['value'], $i_offer_id);
            }
          }
        }
    }
 

Этот участок кода, у меня занимает полминуты. Ведь в функции _custom_function_save_current_param() я должен сначала сделать проверку, а не существует ли такой param-объект в таблице, записать если надо, потом в отдельной таблице (связь many-to-many) записать связь между offer_id и param_id.

Короче мой парсер точно захлебнётся с большим XML-файлом. Как на практике парсить разумно? Частями?