PHP.SU

Программирование на PHP, MySQL и другие веб-технологии

PHP.SU Портал

Главная

Помощь

Поиск

Поиск Яндекс Вакансии

Пользователи

Здравствуйте, Гость

( Вход · Регистрация · Правила форума )

Забыли пароль?

Нужна помощь в оптимизации моей функции

Форумы портала PHP.SU » PHP » Программирование на PHP (Модераторы: valenok, OrmaJever, Саныч)

Страниц (1): [1]

Описание: Оптимизация PHP функции - ускорение обработки, снижение нагрузки на сервер.

Поиск в теме | Версия для печати

google_funny	Отправлено: 13 Января, 2016 - 22:24:26
Новичок Покинул форум Сообщений всего: 27 Дата рег-ции: Дек. 2015 Помог: 0 раз(а)	Добрый вечер, друзья. Хочу попросить у вас помощи в оптимизации одной моей PHP функции, что парсит и грабит видео с одного из ТУБ сайтов.. Нужно, если это возможно, ускорить обработку полученных данных с веб и снизить нагрузку на ресурсы сервера.. Приму любую критику.. (приветствуется критика)) ) Спасибо! Вот, собственно функция. Полностью рабочая, работает на ура... но, возможно, можно и оптимизировать.. Спойлер (Отобразить) PHP: скопировать код в буфер обмена <? function get_tube_video ($config) { $video = array( 'tube_url'=>null, 'html'=>null, 'head'=>null, 'video-wrapper'=>null, 'player_main_js'=>null, 'player_main_flashvars'=>null, 'title'=>null, 'count_thumbs'=>16, 'thumb'=>null, 'thumbs'=>array(), 'thumbs_medium'=>null, 'thumb_player_video'=>null, 'video_download_links'=> array( //'mobile'=>array(), '240'=>array(), '480'=>array(), '720'=>array(), '1080'=>array() ), 'pstars' =>array(), 'categories' =>array(), 'tags' =>array(), 'productions' =>array(), 'views' =>null, 'raiting' =>null, 'video_duration' =>null, 'embed_code' =>null, 'is_HD' =>null, 'CURL' =>array(), 'javascripts'=>array(), 'css'=>array() ); $url_video = ''; $is_GET_v = false; if (count($_GET) && $_GET['ph_video'] !='') {$is_GET_v = true; $_GET['url'] = null; } $parse_url_video = $url_video_print = ($is_GET_v) ? parse_url($_GET['ph_video']) : ''; if ($is_GET_v) { $url_video = $_GET['ph_video']; $video['tube_url'] = $url_video; $ph_regexs = array( 'downl_vid240'=> '`var\s+player_quality_240p\s+=\s+["\']([^\'"]+)`is', 'downl_vid480'=> '`var\s+player_quality_480p\s+=\s+["\']([^\'"]+)`is', 'downl_vid720'=> '`var\s+player_quality_720p\s+=\s+["\']([^\'"]+)`is', 'downl_vid1080'=> '`var\s+player_quality_1080p\s+=\s+["\']([^\'"]+)`is', 'thumb'=> '`<link\s+href=["\']([^"\']+)["\']\s+rel=["\']image_src["\'][^\<]+`', 'video_wrapper'=> '`<div\s+class=["\']video-wrapper["\']>(.?)</div>[\s\n\r]+<div\s+class=["\']video-wrapper["\']>`isU', 'player_main_js'=> '`<div\s+id=["\']player["\']\s+data-video-id=["\'][0-9]+["\']>[\s\n\r]+<script\s+type=["\']text/javascript["\']>(.)<\/script>[\s\n\r]+<div\s+id=["\']playerDiv_[0-9]+["\'].<\/div>.<\/div>`is', 'player_main_flashvars'=>'`<div\s+id=["\']player["\']\s+data-video-id=["\'][0-9]+["\']>[\s\n\r]+<script\s+type=["\']text/javascript["\']>.?var\s+flashvars_[0-9]+\s+=\s+\{(.)?\}.?var\s+player_quality_.?<\/script>`is', 'head'=>'`<head>(.?)</head>`is', 'title'=> '`<h1\s+class=["\']title["\']>([^<>]+)<\/h1>`is', 'video_title_replace' => '`[^\w]`', 'file_thumb' => '`(http://[\w\.]+/([\w=]+)/./)[0-9]+\.jpg`', 'vid240_for_get_mobile' => '`http://(\w+)\.\w+\.([\w\.]+/videos/[0-9]+/[0-9]+/([0-9]+)/)[\w.]+(\?rs=150)&ri=[0-9]+&(ipa=[0-9.]+)(.)`', 'pstars'=> '`<a\s+class=["\']pstar-list-btn["\'].?href=["\']([\w-/]+)["\']>([^<>/]+).?</a>`is', 'categories_wrapper'=>'`<div\s+class=["\']categoriesWrapper["\']>.?</div>`is', 'categories'=>'`<a.?href=["\']([^"\']+)["\'].?>([^<>/]+)</a>`is', 'tags_wrapper'=>'`<div\s+class=["\']tagsWrapper["\']>.?</div>`is', 'tags'=>'`<a.?href=["\']([^"\']+)["\'].?>([^<>/]+)</a>`is', 'production_wrapper'=>'`<div\s+class=["\']productionWrapper["\']>.?</div>`is', 'productions'=>'`<a.?href=["\']([^"\']+)["\'].?>([^<>/]+)</a>`is', 'views'=>'`<div\s+class=["\']views["\']><span.?>([0-9,]+)</span>.?</div>`', 'raiting'=>'`<div\s+class=["\']votes-count-container["\']>[\s\n\r]+<span\s+class=["\']percent["\']>([0-9\%]+)</span>`is', 'video_duration'=>'`"video_duration":"([0-9]+)"`is', 'embed_code'=>'`"embedCode":"(<iframe.?<.?/iframe>)"`is', 'is_HD'=>'`"isHD":"([\w]+)"`is', 'thumb_player_video'=>'`"image_url":"([^"\']+)"`is', ); $regex_ph_js =array( 0 => '`(<script.?src[="\'\s]+\|[^\w]=["\'\s]+)((http(s\|):\|//)[^"\']+)["\']`is', //ссылка в match[2]; 1 => '`["\'\s]+script["\'\s]+,["\'\s]+((http(s\|):\|//)[^"\']+)["\']`is', //ссылка в match[1]; 'inside_js_array'=>'`[\w\._\s]+=\s+[\[\s\n\r]+([^\[\]]+)\]`is' ////ссылки в match[1]; ); $ph_video = ($config['use_local_html']) ? file_get_contents($config['path_html_gallery'].DS.'video.html') : _cURL($url_video, array(),true,$config['POST_data'], 'POST',$login_details); $video['CURL']['meta_data'] = $ph_video['info']; $video['CURL']['errno'] = $ph_video['errno']; $video['CURL']['error'] = $ph_video['error']; $video['CURL']['options'] = $ph_video['options']; $video['html'] = ($config['use_local_html']) ? $ph_video : $ph_video['content']; if ($video['html'] !='') { @set_time_limit(200); preg_match($ph_regexs['head'],$video['html'],$matches_head); $video['head'] = $matches_head[1]; preg_match($ph_regexs['video_wrapper'],$video['html'],$matches_video_wrapper); $video['video-wrapper'] = $matches_video_wrapper[1]; preg_match($ph_regexs['player_main_js'],$video['video-wrapper'],$matches_player_main_js); $video['player_main_js'] = $matches_player_main_js[1]; preg_match($ph_regexs['player_main_flashvars'],$video['video-wrapper'],$matches_player_main_flashvars); $video['player_main_flashvars'] = $matches_player_main_flashvars[1]; // preg_match($ph_regexs['downl_vid240'],$video['player_main_js'],$matches_downl_vid240); preg_match($ph_regexs['downl_vid480'],$video['player_main_js'],$matches_downl_vid480); preg_match($ph_regexs['downl_vid720'],$video['player_main_js'],$matches_downl_vid720); preg_match($ph_regexs['downl_vid1080'],$video['player_main_js'],$matches_downl_vid1080); $video['video_download_links']['240']['link'] = $matches_downl_vid240[1]; $video['video_download_links']['480']['link'] = $matches_downl_vid480[1]; $video['video_download_links']['720']['link'] = $matches_downl_vid720[1]; $video['video_download_links']['1080']['link'] = $matches_downl_vid1080[1]; / // Building MOBILE link for vidio if ($video['video_download_links']['240']['link'] !='') { preg_match($ph_regexs['vid240_for_get_mobile'],$video['video_download_links']['240']['link'],$matches_vid240_for_get_mobile); $video['video_download_links']['mobile']['link'] = 'http://'.$matches_vid240_for_get_mobile[1].'.download.'.$matches_vid240_for_get_mobile[2].'144P_150K_'.$matches_vid240_for_get_mobile[3].'.3gp'.$matches_vid240_for_get_mobile[4].'&ri=1000&'.$matches_vid240_for_get_mobile[5].$matches_vid240_for_get_mobile[6]; } / if (!$config['use_local_html']) { foreach($video['video_download_links'] as $k=>$download_link) { if ($download_link['link'] !='') { $headers_downl = get_headers($download_link['link'], 1); $video['video_download_links'][$k]['size'] = ($headers_downl['Location'] !='') ? $headers_downl['Content-Length'][count($headers_downl['Content-Length'])-1] : $headers_downl['Content-Length']; $video['video_download_links'][$k]['range'] = $headers_downl['Accept-Ranges']; $video['video_download_links'][$k]['type'] = (is_array($headers_downl['Content-Type'])) ? $headers_downl['Content-Type'][count($headers_downl['Content-Type'])-1] : $headers_downl['Content-Type']; } } } preg_match($ph_regexs['thumb'],$video['html'],$matches_thumb); preg_match($ph_regexs['title'],$video['video-wrapper'],$matches_title); // //file_put_contents($config['path_html_gallery'].DS.'video.html',$video['html']); // $video['thumb'] = $matches_thumb[1]; $video['title'] = $matches_title[1]; if ($video['thumb'] !='') { preg_match($ph_regexs['file_thumb'],$video['thumb'],$matches_file_thumb); $sub_link_thumb_medium = str_replace($matches_file_thumb[2],'m=eWdT8daaaa',$matches_file_thumb[1]); for ($i=1; $i<=$video['count_thumbs']; $i++) { $video['thumbs'][$i] = $matches_file_thumb[1].$i.'.jpg'; $video['thumbs_medium'][$i] = $sub_link_thumb_medium.$i.'.jpg'; } } preg_match_all($ph_regexs['pstars'],$video['video-wrapper'],$matches_pstars,PREG_SET_ORDER); foreach ($matches_pstars as $k_ps =>$ps_data) { $video['pstars'][$k_ps]['link-on-tube']='http://www.sometube.com'.$ps_data[1]; $video['pstars'][$k_ps]['name']=trim($ps_data[2]); } preg_match($ph_regexs['categories_wrapper'],$video['video-wrapper'],$matches_categories_wrapper); preg_match_all($ph_regexs['categories'],$matches_categories_wrapper[0],$matches_categories,PREG_SET_ORDER); foreach ($matches_categories as $k_cat =>$cat_data) { $video['categories'][$k_cat]['link-on-tube']='http://www.sometube.com'.$cat_data[1]; $video['categories'][$k_cat]['name']=trim($cat_data[2]); } preg_match($ph_regexs['tags_wrapper'],$video['video-wrapper'],$matches_tags_wrapper); preg_match_all($ph_regexs['tags'],$matches_tags_wrapper[0],$matches_tags,PREG_SET_ORDER); foreach ($matches_tags as $k_tag =>$tag_data) { $video['tags'][$k_tag]['link-on-tube']='http://www.sometube.com'.$tag_data[1]; $video['tags'][$k_tag]['name']=trim($tag_data[2]); } preg_match($ph_regexs['production_wrapper'],$video['video-wrapper'],$matches_production_wrapper); preg_match_all($ph_regexs['productions'],$matches_production_wrapper[0],$matches_productions,PREG_SET_ORDER); foreach ($matches_productions as $k_prod =>$prod_data) { $video['productions'][$k_prod]['link-on-tube']='http://www.sometube.com'.$prod_data[1]; $video['productions'][$k_prod]['name']=trim($prod_data[2]); } preg_match($ph_regexs['views'],$video['video-wrapper'],$matches_views); $video['views'] = str_replace(',',' ',$matches_views[1]); preg_match($ph_regexs['raiting'],$video['video-wrapper'],$matches_raiting); $video['raiting'] = $matches_raiting[1]; preg_match($ph_regexs['video_duration'],$video['player_main_flashvars'],$matches_video_duration); $video['video_duration'] = $matches_video_duration[1]; preg_match($ph_regexs['embed_code'],$video['player_main_flashvars'],$matches_embed_code); $video['embed_code'] = str_replace('\\','',$matches_embed_code[1]); preg_match($ph_regexs['is_HD'],$video['player_main_flashvars'],$matches_is_HD); $video['is_HD'] = $matches_is_HD[1]; preg_match($ph_regexs['thumb_player_video'],$video['player_main_flashvars'],$matches_thumb_player_video); $video['thumb_player_video'] = str_replace('\\','',$matches_thumb_player_video[1]); // searching for all types of javascripts in html foreach ($regex_ph_js as $k_js => $regex_js) { $matches_JS = array(); preg_match_all($regex_js,$video['html'],$matches_JS,PREG_SET_ORDER); if ($k_js != 0) $video['javascripts'][$k_js] = $matches_JS[1]; else $video['javascripts'][$k_js] = $matches_JS[2]; } //jbdump($video['javascripts']); } } return $video; } ?> (Отредактировано автором: 13 Января, 2016 - 22:36:30)*

Viper	Отправлено: 14 Января, 2016 - 00:24:03
Активный участник Покинул форум Сообщений всего: 4555 Дата рег-ции: Февр. 2007 Откуда: Симферополь Помог: 98 раз(а)	"Работает?! Не трожь!" Если нужна скорость, то парсить на php дурная затея(а тем более регулярками). Лучше python или на крайняк nodejs. ----- Список фильмов с описанием, блекджеком и... для Joomla? -> https://киноархив[dot]com Демо нового движка для сайта php.su -> php[dot]su, проект на гитхабе

google_funny	Отправлено: 14 Января, 2016 - 02:05:45
Новичок Покинул форум Сообщений всего: 27 Дата рег-ции: Дек. 2015 Помог: 0 раз(а)	Viper, что значит "Работает?! Не трожь!" ? Т.е. вы считаете, что эта функция не рабочая? а что, можно как-то использовать python в php скрипте? как парсить на python в php? Я пробовал разобрать HTML методами PHP DOM, но так как в этом HTML много незнакомых HTML5 тегов для ДОМ ПХП таких как (<video>,<var> и прочих), у меня вылазит куча ошибок... поэтому решил регулярками..

Faraon-san	Отправлено: 14 Января, 2016 - 11:43:03
Посетитель Покинул форум Сообщений всего: 318 Дата рег-ции: Сент. 2013 Помог: 8 раз(а)	А еще наверное лучше использовать для этого специальное API https://developers[dot]google[dot]com/youtube/v3/

DelphinPRO	Отправлено: 14 Января, 2016 - 13:42:41
Активный участник Покинул форум Сообщений всего: 7187 Дата рег-ции: Февр. 2012 Помог: 353 раз(а)	google_funny пишет: использовать python в php скрипте? А я хочу использовать php в плюсах!!! Я слышал, плюсы - очень быстрые, но я их не знаю. Зато знаю php. Помогите, пожалуйста!!!!!!!!! ----- Чем больше узнаю, тем больше я не знаю.

google_funny	Отправлено: 14 Января, 2016 - 19:08:27
Новичок Покинул форум Сообщений всего: 27 Дата рег-ции: Дек. 2015 Помог: 0 раз(а)	DelphinPRO пишет: А я хочу использовать php в плюсах!!! Я слышал, плюсы - очень быстрые, но я их не знаю. Зато знаю php. Помогите, пожалуйста!!!!!!!!! Вы здесь ка маленькие дети.. свое эго поднимаете... не наком больше выпендрится... так вы свои обширные знания показываете вот в такой форме.. Были моменты, когда и вы мало что знали.. написали бы лучше что-то путное, или промолчали.. Я просто попросил помощи в оптимизации функции, а вы тут начинаете.

DelphinPRO	Отправлено: 14 Января, 2016 - 20:46:01
Активный участник Покинул форум Сообщений всего: 7187 Дата рег-ции: Февр. 2012 Помог: 353 раз(а)	Ты обиделся что ли? А я-то, в принципе, написал то же самое, что и ты про питон в php. Но в моей фразе ты заметил глупость, а своей - нет. ----- Чем больше узнаю, тем больше я не знаю.

google_funny	Отправлено: 14 Января, 2016 - 21:32:25
Новичок Покинул форум Сообщений всего: 27 Дата рег-ции: Дек. 2015 Помог: 0 раз(а)	DelphinPRO пишет: Но в моей фразе ты заметил глупость, а своей - нет. Да нет, не обиделся.. просто вот не могу я спокойно относится вот к таким выпадам.. издержки.. Я и в своей фразе заметил глупость, когда я прочитал о ПИТОНЕ, о его его возможностях и реализации, на тот момент, когда я написал это - я совсем ничего о ПИТОНЕ не знал! Только потом погуглил и все понял.. Я просто по мере надобности стараюсь инфо получать.. я с ПИТОНОМ никогда не сталкивался, и не слышал даже о нем.. до того момента.. Всего же не узнать) ------------------------------ Так а что насчет функции, то? Что вы думаете? ЕЕ можно как-то оптимизировать, используя методы PHP? как вообще написана функция? я же для критики ее тут и выложил.. (Отредактировано автором: 14 Января, 2016 - 21:35:17)

Viper	Отправлено: 14 Января, 2016 - 22:14:16
Активный участник Покинул форум Сообщений всего: 4555 Дата рег-ции: Февр. 2007 Откуда: Симферополь Помог: 98 раз(а)	google_funny пишет: ЕЕ можно как-то оптимизировать, используя методы PHP? как вообще написана функция? я же для критики ее тут и выложил.. Её лучше не трогать если она работает как вам нужно(об этом цитата в втором посте была). Если же вы уткнулись в производительность, то php не самое лучшее решение для парсинга веба. Но если вы всё же решили оптимизировать, то эту функцию-полотенце как минимум разбить на части необходимо, т.к. получение контента и его парсинг в одной функции большой функции - один большой геморой. И как минимум часть разбора контента можно переделать на xpath. Не стоит забывать про то, что в некоторых случаях substr/strpos быстрее регулярок, в некоторых нет. PS! Собственно если не хотите гемороя перечитайте мой второй пост в этой теме ;) ----- Список фильмов с описанием, блекджеком и... для Joomla? -> https://киноархив[dot]com Демо нового движка для сайта php.su -> php[dot]su, проект на гитхабе

DelphinPRO	Отправлено: 14 Января, 2016 - 22:44:53
Активный участник Покинул форум Сообщений всего: 7187 Дата рег-ции: Февр. 2012 Помог: 353 раз(а)	google_funny пишет: как вообще написана функция? я же для критики ее тут и выложил.. функция как функция, что там критиковать. Если работает - не стоит трогать. Вряд ли там будет просадка в производительности связанная именно с парсингом. ----- Чем больше узнаю, тем больше я не знаю.

google_funny	Отправлено: 14 Января, 2016 - 23:42:48
Новичок Покинул форум Сообщений всего: 27 Дата рег-ции: Дек. 2015 Помог: 0 раз(а)	ОК, друзья, я вас понял... спасибо за конструктивную критику! Да, ф-ция полностью рабочая.. все как нужно ищет) Насчет ПИТОНА... я бы использовал его для парсинга... если бы у меня был нормальный вебсервер с полным доступом к админ-панели сервера (чтобы я тот самый ПИТОН смог установить! Почти нигде по-умолчанию хостеры не ставят ПИТОН на свои сервера..) И хотелось бы чтобы скрипт парсинга можно было использовать почти на любим хосте.. вот еще одна причина, почему он на PHP. Насчет простыни в функции... ок.. разобью ее на более компактные части и буду передавать в нее предварительно загруженный контент. Насчет парсинга по xpath. Я вот это и хочу реализовать.. а то, что не сможет разобрать XPATH - разобрать регулярками.. НО, ПОЧЕМУ , почему, когда я разбираю контент по XPATH - у меня вылазит много ошибок, что типа найден недопустимый тег.. (<video>, <var> и тому подобные.. ), что DOM методлы не поддерживают новые HTML5 стандарты тегов? Если нет, то можно как-то включить поддержку HTML5 тегов для DOM? И еще.. есть библиотека SIMPLE HTML DOM. Может быть лучше использовать ее для разбора контента? или использовать стандартные PHP методы работы с DOM? (Отредактировано автором: 14 Января, 2016 - 23:43:54)

Viper	Отправлено: 15 Января, 2016 - 10:54:28
Активный участник Покинул форум Сообщений всего: 4555 Дата рег-ции: Февр. 2007 Откуда: Симферополь Помог: 98 раз(а)	google_funny пишет: xpath ему пофиг на теги, т.к. он работает с xml, а в xml можно определять свои теги. Малюсенький кусочек примера. ----- Список фильмов с описанием, блекджеком и... для Joomla? -> https://киноархив[dot]com Демо нового движка для сайта php.su -> php[dot]su, проект на гитхабе

Поиск в теме | Версия для печати

Страниц (1): [1]

Сейчас эту тему просматривают: 0 (гостей: 0, зарегистрированных: 0)

« Программирование на PHP »

Все гости форума могут просматривать этот раздел.
Только зарегистрированные пользователи могут создавать новые темы в этом разделе.
Только зарегистрированные пользователи могут отвечать на сообщения в этом разделе.