PHP.SU

 Программирование на PHP, MySQL и другие веб-технологии
PHP.SU Портал     На главную страницу форума Главная     Помощь Помощь     Поиск Поиск     Поиск Яндекс Поиск Яндекс     Вакансии  Пользователи Пользователи

Страниц (12): В начало « ... 2 3 4 5 [6] 7 8 9 10 ... » В конец

> Найдено сообщений: 170
mstdmstd Отправлено: 19 Октября, 2017 - 10:00:13 • Тема: Чем лушче делать Web scraping • Форум: Вопросы новичков

Ответов: 7
Просмотров: 509
 Всем привет,
У меня есть некоторый опыт Web scraping-а с помошью регулярок но сам убеждался что не все сайты регуляркам по зубам
очень хвалят SimpleHTMLDOM
А как из вашего опыта ? есть ли что 100% для всех сайтов ?

Спасибо!
mstdmstd Отправлено: 19 Октября, 2017 - 08:13:51 • Тема: парсер к амазону • Форум: Прочее

Ответов: 1
Просмотров: 45
 Я погуглил и нашел статью по амазоновским поисковикам
http://www[dot]newselfpublishing[dot]com[dot][dot][dot]azonLinking[dot]html

Там есть полезные описания с различными параметрами вроде
http://www[dot]amazon[dot]com/gp/search?[dot][dot][dot]or=Aaron+Shepard

и первый найденный элемент в списке имеет вид :
https://www[dot]amazon[dot]com/Business-[dot][dot][dot]89010&sr=1-1

Обращают на себя внимание 2 параметра dp и gid но попробовав подставить их в первоначальный запрос
CODE (htmlphp):
скопировать код в буфер обмена
  1. https://www.amazon.com/gp/search/other/ref=?rh=%2Cn%3A1508389010&pickerToList=enc-merchantbin&ie=UTF8
  2.  
  3. https://www.amazon.com/gp/search/other/ref=?rh=%2Cn%3A1620355019&pickerToList=enc-merchantbin&ie=UTF8
  4.  

в любом случае получал ошибку
Цитата:
An error occurred when we tried to process your request. Rest assured, we're working to resolve the problem as soon as possible. If you were tryin...

но просмотрев примеры я не нашел параметров как в моем запросе и в недумении а что это за параметр $nid ?
mstdmstd Отправлено: 18 Октября, 2017 - 20:31:34 • Тема: парсер к амазону • Форум: Прочее

Ответов: 1
Просмотров: 45
 сем привет,

Нужно подправить парсер к амазону с урлом вида
PHP:
скопировать код в буфер обмена
  1. $url = 'https://www.amazon.com/gp/search/other/ref=?rh=%2Cn%3A' . $nid . '&pickerToList=enc-merchantbin&ie=UTF8';
  2.  

но подключения к базе нет и эти самы е nid-ы отсутствуют.
Не подскажите несколько валидных nid-ов для тестирования ?

  Спасибо !
mstdmstd Отправлено: 04 Сентября, 2017 - 18:10:09 • Тема: сервис для тестирования rest api хочу • Форум: Вопросы новичков

Ответов: 2
Просмотров: 547
 Подскажите, удобный сервис на халяву для тестирования
rest api на php - чтобы можно было и запросы вводить и доку тут же написать и желательно сохранять наборы тестовых данных
для повторного тестирования...
Спасибо !
mstdmstd Отправлено: 27 Июля, 2017 - 15:28:43 • Тема: Страницы по ширине сдвигаются влево/ вправо • Форум: HTML, Дизайн & CSS

Ответов: 1
Просмотров: 587
 Всем привет,

Посмотрите, пожалуйста на страницах(там логин отображается над вводом логина)
http://ec2-34-212-140-26[dot]us-west[dot][dot][dot]m/admin/cms-item

http://ec2-34-212-140-26[dot]us-west[dot][dot][dot]/edit?id=75&

При тестировании на Chrome на разных экстрамалых(320px) и малых ( 768px ) девайсах
страницы по ширине сдвигаются влево/ вправо - как будто что-то распирает верстку по ширине.
В инспекторе обьектов не увидел что распирает - вроде ширина не превосходит макс параметров ширины.

Проверил на http://quirktools[dot]com/screenfly/ - вроде по ширине нормально ...

кажется общая проблема для всех страниц...
Тестируя на Chromium я настроил на несколько девайсов и тестируя для айпадов(ширина 768 px)
http://imgur[dot]com/a/L7VGi
кликнув мышой и потянув влево/вправо я вижу что страница елозит влево/вправо примерно пикселей на 30
Эта разница видна на принтскринах
http://imgur[dot]com/a/PmWDG

Обычно такре происходит если что-то распирает верстку по ширине. Я не вижу из-за чего проблема.


Спасибо!
mstdmstd Отправлено: 21 Июля, 2017 - 14:35:54 • Тема: Получить статьи с пустой картинкой • Форум: Регулярные выражения

Ответов: 6
Просмотров: 569
 Выложил пример на http://sandbox.onlinephpfunctions.com/code/b54e7fa3a212804b6df324b0f1f2d16806cfb0b9,
Там текст с 3 блоками текста причем первый блок без картинки и 3 паттерна:
1) получаю 3 блока, но без картинки и картинку нужно выдергивать из 0-го элемента каждой строки результата
2) получаю 2 блока c картинками и 1-я строка пропущена Но тут проблемка в том что в первой результирующей строке заголовок из 1й строки
но картинка и контент из 2й строки
3) Пытаюсь получить 3 строки с картинками( если картинка неопределена поле news_image будет пустым из-за условие “или” )

Понимаю что наверно правильней делать 1й вариант и не заморачиваться - но заинтересовал возможность 3-го варианта. 2 тоже интересно .
mstdmstd Отправлено: 19 Июля, 2017 - 17:51:54 • Тема: Получить статьи с пустой картинкой • Форум: Регулярные выражения

Ответов: 6
Просмотров: 569
 Сорри, если я непонятно выразился с задачей :
Мне не нужно фильтровать, мне нужно получить ВСЕ строки и в news_image - или ссылка на картинку или пуста или нет такого ключа, но есть сама строка.
mstdmstd Отправлено: 19 Июля, 2017 - 17:47:44 • Тема: Чем заменить параметры в запросе • Форум: Вопросы новичков

Ответов: 1
Просмотров: 146
 Всем привет,
А чем в php7 удобно заменить параметры в запросе
CODE (SQL):
скопировать код в буфер обмена
  1. SELECT * FROM "pd_settings" WHERE "name" = ?

при массиве :
CODE (htmlphp):
скопировать код в буфер обмена
  1. {"Bindings":["site_name"]

?

Спасибо!
mstdmstd Отправлено: 19 Июля, 2017 - 10:54:47 • Тема: Получить статьи с пустой картинкой • Форум: Регулярные выражения

Ответов: 6
Просмотров: 569
 То есть убирать условие для отбора news_image и делать дополнительный preg_match для каждого элемента
в цикле или с помощью array_filter? Только так?
mstdmstd Отправлено: 18 Июля, 2017 - 10:18:12 • Тема: Подскажите практические задачи для практики с регуляркой • Форум: Регулярные выражения

Ответов: 8
Просмотров: 1064
 Поскольку я сижу под ubuntu(KDE) Notepad там недоступен
Я работаю в PhpStorm 2016.2.1
к нему эти примеры применимы ?
Или есть аналоги Notepad для линукса с аналогичными возможностями?
mstdmstd Отправлено: 18 Июля, 2017 - 09:56:53 • Тема: Получить статьи с пустой картинкой • Форум: Регулярные выражения

Ответов: 6
Просмотров: 569
 Всем привет,
Есть регулярка для разбора текста:

PHP:
скопировать код в буфер обмена
  1. $pattern = '~
  2.        <a[\s]+name="ni(?<news_id>[\d]+)"><h2>(?<news_title>.*)<\/h2><\/a>
  3.        (?:.*)
  4.        <p><small>(?<news_published>[\d\w\s,]+)
  5.        (?:.?)
  6.        \|
  7.        (?:.*)
  8.        <img[\s]+src="(?<news_image>.*)
  9.        "
  10.        (?:.*)
  11.        \/>
  12.        (?<news_content>.*)
  13.        <br[\s]+clear="left"[\s]*\/>
  14.        (?:.*)
  15.        ~isUx'; // result all without pages
  16.  
  17.  

Которая работает для всех статей у которых в статье определена картинка в news_image
Но не все статьи имеют картинки
Чтобы получить и статьи без картинок и чтобы поле news_image оставалось пустым я пытался написаить с условием " или "
PHP:
скопировать код в буфер обмена
  1.         $pattern = '~
  2.                <a[\s]+name="ni(?<news_id>[\d]+)"><h2>(?<news_title>.*)<\/h2><\/a>
  3.                (?:.*)
  4.                <p><small>(?<news_published>[\d\w\s,]+)
  5.                (?:.?)
  6.                \|
  7.                (?:.*)
  8.                (<img[\s]+src="(?<news_image>.*)
  9.                "
  10.                (?:.*)
  11.                \/>|)
  12.                (?<news_content>.*)
  13.                (<br[\s]+clear="left"[\s]*\/>
  14.                (?:.*)
  15.                ~isUx'; // result all without pages
  16.  

Статьи в результате все, но news_image пусты.
А как правильно ?

Спасибо!
mstdmstd Отправлено: 18 Июля, 2017 - 07:52:27 • Тема: Где определена ссылка на видео • Форум: Прочее

Ответов: 2
Просмотров: 40
 Спасибо,
а еще подскажите на странице http://www[dot]rollingstone[dot]com/
есть статья с заголовком
Цитата:
Chris Janson Sets Fall Release for New Album 'Everybody'

Не нашел, а где в ней ссылка на видео?
mstdmstd Отправлено: 01 Июля, 2017 - 09:13:52 • Тема: Где определена ссылка на видео • Форум: Прочее

Ответов: 2
Просмотров: 40
 Всем привет,
Подскажите а где на ссылке

https://www[dot]realclearpolitics[dot]co[dot][dot][dot]f_reporting[dot]html
определена ссылка на видео которую нужно выдрать ?

Спасибо!
mstdmstd Отправлено: 27 Июня, 2017 - 10:43:33 • Тема: используя прокси scraping в Kubuntu16 • Форум: Работа с сетью

Ответов: 0
Просмотров: 707
 Всем привет,
Нашел статью о Scraping используя прокси
http://www[dot]jacobward[dot]co[dot]uk/using[dot][dot][dot]g-with-php-curl/
Нашел описание прокси сервера Squid [url]http://help[dot]ubuntu[dot]ru/wiki/%D1%8[dot][dot][dot]uid_proxy_server
[/url]
Это-то что нужно чтобы отлаживать работу с моей Kubuntu16 ?
И ткните, плиз на описание как это все связать...

Спасибо !
mstdmstd Отправлено: 21 Июня, 2017 - 14:08:06 • Тема: Пример с опережающей проверкой из Фридла • Форум: Регулярные выражения

Ответов: 4
Просмотров: 624
 Спасибо !
с пп1-2 понятно.
с п3 не сoвсем
В результате получилось:
PHP:
скопировать код в буфер обмена
  1.         $str= "The US population is 298444215 lorem";
  2.         $pattern = "~
  3.                (?<=\d)  # а слева есть хотя бы одна цифра
  4.                (?=(\d\d\d)+)  # , у которых количество цифр справа кратно трем
  5.            ~isUx";
  6.        $matches     = preg_replace($pattern, ",", $str);
  7.  
И на выводе :
PHP:
скопировать код в буфер обмена
  1. $matches::The US population is 2,9,8,4,4,4,215 lorem

?

Страниц (12): В начало « ... 2 3 4 5 [6] 7 8 9 10 ... » В конец
Powered by PHP  Powered By MySQL  Powered by Nginx  Valid CSS  RSS

 
Powered by ExBB FM 1.0 RC1. InvisionExBB