Боремся с трафиком

Просмотр 15 сообщений - с 241 по 255 (из 338 всего)
  • Автор
    Сообщения
  • #1963495
     VaIerik
    Участник

    [quote name='overpro'] нет, ну для чего же тогда их используют.. опять что ли, сделали, а потом подумали..раз вводят. значит это кому-нибудь нужно [/quote]я не говорю, что gzip совсем не работает. он работает криво, если делать перенаправление (напр. через тот же webwarper). если _сам веб сервер_ поддерживает gzip, то тогда проблем с кукисами нет.также gzip работал криво при использовании IE вплоть до шестой версии – а это было весьма много лет, пока MS не поправил баг…опять же я не говорю, что gzip не помогает сжимать трафик. я говорю что по сравнению с другими программами он и рядом не стоял. пример – если идешь на php-форум, которые обычно уже gzip-нутые, то при использовании ТК или toonel все равно получаешь сжатие, причем не плохое – а все из-за http-заголовков, которые понятно что при gzip не жмутся.

    #1963553
    Smokes
    Участник

    С куками криво работает не гзип, а сам вебварпер. А как по-вашему, должен работать анонимный прокси то?Если рассматривать gzip как программу для сжатия, по аналогии, например, с винраром, то она позволяет регулировать степень сжатия. Сжатие по гзип может производиться как самим сервером, так и php-модулем. В зависимости от загруженности сервера и производительности процессора администратор может выбирать степень сжатия правкой конфигурационных файлов. Таким образом, можно отправлять пользователю практически не сжатый контент с пометкой гзип.

    #1963604
     VaIerik
    Участник

    [quote name='Smokes'] С куками криво работает не гзип, а сам вебварпер. А как по-вашему, должен работать анонимный прокси то? [/quote]вот toonel – анонимный прокси, и как-то ему удается рабоать без проблем с куками.кстати вебварпер не анонимный прокси, насколько я помню.[quote name='Smokes'] Если рассматривать gzip как программу для сжатия, по аналогии, например, с винраром, то она позволяет регулировать степень сжатия [/quote]если рассматривать еще более внимательно алгоритм gzip то можно увидеть, что 80% сжатия обеспечивается применением уровня сжатия 2 (из 9-ти возможных). более того, применение любого уровня сжатия очень сильно повышает энтропию в полученных данных и поэтому последующее сжатия плохо сжатого содержимого очень неэффективно.но суть в другом – gzip сжимает только тело запроса, заголовки идут не сжатые. а общее потребление трафика заголовками может потребовать трафика больше, чем собственно сама информация. особенно сильно это проявляется при использовании кеша (броузера или кеш-прокси, не важно), когда идет обмен в основном заголовками типа “у меня есть такой-то файл в кеше”, в ответ “вот его и используй” – в этом случае тела вообще нет, соответственно gzipа тоже нет, одни заголовки.

    #1963613
    Данилка
    Участник

    Если бы стояла проблема неэффективности того же ТК при работе с контентом г-зипа, то программисты ТК нали бы решение в распаковке контента с последующим сжатем уже силами ТК. но в любом случае, ТК показывает свою эффективность в графе “сэкономлено”. Неплохие цифры.

    #1963614
     VaIerik
    Участник

    [quote name='Данилка'] Если бы стояла проблема неэффективности того же ТК при работе с контентом г-зипа, то программисты ТК нали бы решение в распаковке контента с последующим сжатем уже силами ТК [/quote]а они и нашли решение, только немного другое – там галочку можно поставить, пропускать гзипный контент через них или забирать напрямую, минуя сервера ТК 😉 . что совершенно понятно, пережатие с минимального уровня до максимального требует до 10 раз больше процессорного времени, а выигрыш минимальный по сравнению с затраченными ресурсами…[quote name='Данилка'] но в любом случае, ТК показывает свою эффективность в графе “сэкономлено”. Неплохие цифры. [/quote]безусловно.

    #1963692
    Smokes
    Участник

    Кстати, вебварпер – анонимный прокси. Ну, если быть точнее, анонимайзер, это немножко разные вещи, однако при помощи общеизвестной программы можно использовать его в качестве прокси. И с куками ( на популярных форумах, другие не пробовал), работает прекрасно.Если говорить о заголовках, то опять же по аналогии с винраром, попробуйте сжать файл, состоящий из нескольких сотен байт или проанализировать irc или icq-траффик в том же toonel. Как правило, эффективность сжатия такого траффика очень мала – например, при общении на irc.icq.com в течение нескольких часов я экономлю около 1-20%. То же самое и с заголовками. Хотя, сэкономить возможно, я думаю, нехило. В том случае, если давить F5 в браузере денно и нощно, на страничке, которая не обновлялась с 2003 года.Однако, если нужно максимально экономить траффик, например на GPRS,можно и использовать сжатие заголовков… однако, находясь в комтеке, дальтеке или на дсл, я бы об этом и не задумывался.Если уж заговорили о вебварпер, то можно напомнить о такой замечательной функции у него, как super-dense mode. В этом случае из страницы вырезается css и html-код необходимый для веб-дизайна. Этот режим очень удобен для просмотра веб-страниц с мобильника. Скажу еще, что этот режим можно организовать на локальном прокси Handycache при помощи правил.

    #1963703
    zerkms
    Участник

    в этом треде много говорят об”использовать сжатие заголовков”не могли бы товарищи, указывающие что сжатие заголовков не только возможно, но и приносит огромную выгоду привести пример заголовков запроса браузера и ответа сервера, ну и в дополнение – объём до и после сжатия.очень интересно было бы посмотреть

    #1963766
     VaIerik
    Участник

    [quote name='Smokes'] Кстати, вебварпер – анонимный прокси. Ну, если быть точнее, анонимайзер, это немножко разные вещи, однако при помощи общеизвестной программы можно использовать его в качестве прокси. И с куками ( на популярных форумах, другие не пробовал), работает прекрасно [/quote]а разве при постах на формумах вебварпер _сам_ не добавляет запись типа “отправлено по запросу такого-то IP”? точно не помню фаразу, но смысл такой.[quote name='Smokes'] Если говорить о заголовках, то опять же по аналогии с винраром, попробуйте сжать файл, состоящий из нескольких сотен байт [/quote]аналогия не верная. винрар, равно как и винзип, компрессоры так называемого общего назначения. есть и другие виды компресси, в случае с заголовками естественно применение винрар-винзип неэффективно, они там и не применяются.[quote name='Smokes'] при общении на irc.icq.com в течение нескольких часов я экономлю около 1-20%. То же самое и с заголовками. [/quote]icq трафик и http трафик совсем разные вещи, поэтому “То же самое” употреблять нельзя.[quote name='Smokes'] В том случае, если давить F5 в браузере денно и нощно, на страничке, которая не обновлялась с 2003 года. [/quote]ну это вы батенька утрируете… достаточно зайти на первую страничку форума, чтобы все картинки закешировались, поэтому когда идешь дальше по форуму – заговлоки идут именно проверочные на наличие в кеше, без всяких там body.экономия на гзипнутых phpBB форумах порядка 50% – стандартно. понятно, что это экономия только из-за заголовков случается, контет-то уже гзипнутый.

    #1963768
     VaIerik
    Участник

    [quote name='zerkms'] не могли бы товарищи, указывающие что сжатие заголовков не только возможно, но и приносит огромную выгоду привести пример заголовков запроса браузера и ответа сервера [/quote]идешь на http://web-sniffer.netвводишь адрес какой-нибудь, рассматриваешь.пример – вводишь http://ru.toonel.net/index.php – это гзипнутый форум.он тебе выдаст что было послано, что было получено.после этого считаешь сколько картинок на страничке (я насчитал 10), берешь адрес картинки http://ru.toonel.net/templates/subSilver/images/folder_big.gif вводишь и видишь, что размер картинки 667 байт, а трафик заголовков больше для получения этих 667 байт.далее, как только эта картинка загрузилась в кеш, броузер будет посылать запросы вида “у меня уже есть такая картинка”, сервер будет отвечать “вот ее и используй”. тем не менее этот обмен заголовками опять же будет больше чем 600 байт (ну или такой же порядок). и так 10 раз.[quote name='zerkms'] ну и в дополнение – объём до и после сжатия [/quote]поставь комрессор какой-нибудь, загрузи через него гзипнутый форум (гзипнутый – чтобы избежать погрешностей при подсчете сжатия), закрой броузер, закрой компрессор (чтобы обнулить счетчики), открой броузер, запусти компрессор, открой опять эту же страничку.т.к. все будет закешировано, кроме гзипной странички, у которой можно считать компрессия близка к нулю, то броузер будет посылать запросы указывая что у него объекты в кеше, таким образом будут ходить только заголовки – смотри в статистику компрессора чтобы оценить сжатие заголовков.это конечно весьма грубый метод, т.к. на самом деле из общего загруженного трафика нужно вычесть размер странички, которая уже гзипнутая, да и картинки уже пожаты,но в любом случае это даст идею о сжатии заголовков данным компрессором (бо не все их жмут, на самом деле). если получишь компрессию близкую к нулю – значит заголовки не жмутся.

    #1963769
     VaIerik
    Участник

    [quote name='zerkms'] ну и в дополнение – объём до и после сжатия.очень интересно было бы посмотреть [/quote]решил сам попробовать..у меня показывает исходящий трафик был сжат на 49% (а исходящий трафик – это одни заголовки), с 14К до 7Квходящий сжат с 12К до 10К, 16% – при том что сюда включена страничка гзипнутая размером 5Кобщая компрессия 34%, с 26К до 17Кпонятно, что вебварпер ничего здесь сэкономить вообще не может.вот такая простая статистика – на получения 5К гзипнутой странички было потрачено только исходящего трафика (т.е. исходящие заголовки) 14К. ну и плюс еще входящие заголовки. собственно, именно поэтому я и говорил, что ни гзип, ни вебварпер и рядом не стоят по степени экономии трафика.

    #1963830
    X-Enik-X
    Участник

    со своими заголовками задолбали, [smile :(] (не в обиду) я просил аналоги ONSpeed, TC, Toonel.net. И воррос бесплатные есть? (7uslug.ru уже пробовал)

    #1963896
     VaIerik
    Участник

    [quote name='X-Enik-X'] со своими заголовками задолбали, [smile :(] (не в обиду) я просил аналоги ONSpeed, TC, Toonel.net. И воррос бесплатные есть? (7uslug.ru уже пробовал) [/quote]ты сам просил про гзип рассказать – вот тебе и рассказывают, разве не так? если бы внимательно читал, 7uslug.ru не пользовал бы.аналоги тебе уже дали, про платность-бесплатность ответили. а дальше – google в помощь.

    #1963903
    Данилка
    Участник

    [quote name='X-Enik-X'] я просил аналоги ONSpeed, TC, Toonel.net. И воррос бесплатные есть? [/quote]Представь себе. Ты написал программу компрессор трафика. Купил мощные сервера. Подключил их к мощному каналу. Ты станешь теперь бесплатно раздавать свою программу?Траффик Компрессор стоит 400 рублей за 6 месяцев. Пользоваться можно вдвоем. Выходит по 200 рублей за полгода! Или тяга к халяве не искоренима?Если не искоренима, то ТК предоставляет и бесплатный доступ. Только на всех халявщиков мощности не хватает, увы. Я предпочел заплатить вшивые 200 рублей и до лета забыть про “подождите пока сервер ТК освободится… 39 минут”

    #1963905
     VaIerik
    Участник

    [quote name='Данилка'] Представь себе. Ты написал программу компрессор трафика. Купил мощные сервера. Подключил их к мощному каналу. Ты станешь теперь бесплатно раздавать свою программу? [/quote]ну примеры есть – toonel.в спутниковом и-нете компрессоры для своих пользователей бесплатны.да и РОЛ пошел по пути штатов – для своих модемных пользователей компрессор бесплатно предоставляет. роловский компрессор тоже, кстати, штатовский.

    #1963906
    zerkms
    Участник

    “в спутниковом и-нете компрессоры для своих пользователей бесплатны.”свои для своихесли уж на то пошло – посмотрите в сторону глобакса – 2бакса за гиг трафа

Просмотр 15 сообщений - с 241 по 255 (из 338 всего)
  • Для ответа в этой теме необходимо авторизоваться.