1

Тема: Парсинг и всё, что с ним связано

Интересует мнение тех, кто занимался. Насколько будет грузить парсер систему, если будет 100 страниц/ 500 / 1000? И через что лучше делать, какие методы использовать?

Спасибо можно перевести на WebMoney-кошелёк R378231864568 или на Яндекс-деньги 410015093172871

2

Re: Парсинг и всё, что с ним связано

Fck_This пишет:

Интересует мнение тех, кто занимался. Насколько будет грузить парсер систему, если будет 100 страниц/ 500 / 1000? И через что лучше делать, какие методы использовать?

Вопрос актуален

Спасибо можно перевести на WebMoney-кошелёк R378231864568 или на Яндекс-деньги 410015093172871

3

Re: Парсинг и всё, что с ним связано

Fck_This пишет:

Интересует мнение тех, кто занимался. Насколько будет грузить парсер систему, если будет 100 страниц/ 500 / 1000? И через что лучше делать, какие методы использовать?

а что хоть парсится -то
за последнее время несколько раз разбиралась с примерами с форума(с учебными целями)
-- XML в 1.5гб (кодировку не помню, в одну строку)
-- немного меньше в UTF-8 с переносом строки по коду 10(LINE INPUT не сработает)
--опять же ХМЛ , но какой-то неоднородный, разделителя нет совсем --не поняла как как с ним работать, типа
<d>fio1</d><d>adress</d><d>inn</d><d>kod</d><d>///</d><d>///</d>
<d>fio2</d><d>inn21</d><d>kod21</d><d></d><d></d><d></d>
<d>fio2</d><d>inn22</d><d>kod22</d><d></d><d></d><d></d>

короче фио может повторяться
адрес может отсутствовать
тега начала строки --нет
теги между реквизитами --одинаковые

с подобными файлами --проблем намного больше, чем кодировка=1251, разделитель строк 13+10, теги разные

4

Re: Парсинг и всё, что с ним связано

shanemac51 пишет:
Fck_This пишет:

Интересует мнение тех, кто занимался. Насколько будет грузить парсер систему, если будет 100 страниц/ 500 / 1000? И через что лучше делать, какие методы использовать?

а что хоть парсится -то
за последнее время несколько раз разбиралась с примерами с форума(с учебными целями)
-- XML в 1.5гб (кодировку не помню, в одну строку)
-- немного меньше в UTF-8 с переносом строки по коду 10(LINE INPUT не сработает)
--опять же ХМЛ , но какой-то неоднородный, разделителя нет совсем --не поняла как как с ним работать, типа
<d>fio1</d><d>adress</d><d>inn</d><d>kod</d><d>///</d><d>///</d>
<d>fio2</d><d>inn21</d><d>kod21</d><d></d><d></d><d></d>
<d>fio2</d><d>inn22</d><d>kod22</d><d></d><d></d><d></d>

короче фио может повторяться
адрес может отсутствовать
тега начала строки --нет
теги между реквизитами --одинаковые

с подобными файлами --проблем намного больше, чем кодировка=1251, разделитель строк 13+10, теги разные

Html разметку в ютф8.

Спасибо можно перевести на WebMoney-кошелёк R378231864568 или на Яндекс-деньги 410015093172871