webew
Войти » Регистрация
 
JavaScript
MySQL/MariaDB :: оптимизация
Протоколы :: HTTP
Linux

Highload++, Москва, 24-25 октября 2012

15 июля 2012, 14:02
Автор: rgbeast
Объявлена конференция разработчиков высоконагруженных систем Highload++ 2012.

См. наш обзор Highload++ 2011 и спешите зарегистрироваться на официальном сайте

Пока Программа только формируется, немного о примерах докладов и собрании Программного комитета HL++. Компания Мамба, 250М хитов в сутки, вполне себе хайлоад, представит целую серию докладов:
+ специализированный поиск примерно в 100 раз быстрее Сфинкса;
+ персистентный производительный брокер очередей;
+ правильная система деплоя (заметьте - не просто система деплоя, а правильная!);
+ i18n на больших проектах;
+ использование comet для реалтайм счетчиков под реально большой нагрузкой.

Доклад Александра Короткова "Индексный поиск по регулярным выражениям".

Существует два основных подхода к выполнению поиска по регулярным выражениям с помощью индекса: "FREE indexing engine", основанный на выделении из регулярного выражения непрерывных фрагментов текста, и метод разработанный для Google Code Search, осуществляющий рекурсивный анализ составных частей регулярного выражения, с целью выявления его атрибутов. В целом же оба этих подхода используют инвертированные индексы на основе k-грам (подстрок исходной строки длиной k) и различаются методом извлечения k-грам из исходного выражения для последующего сканирования.

Данный доклад представляет новый метод извлечений k-грам из регулярного выражения, основанный не на анализе исходного регулярного выражения, а на преобразовании соответствующего конечного автомата. Предлагаемый подход позволяет осуществить более полное извлечение k-грам из регулярного выражения, что подтверждается примерами. Разработан патч к модулю pg_trgm СУБД PostgreSQL, реализующий данный подход.

Все из нас используют индексы в СУБД, но редко кто понимает, как они работают. Именно это понимание и отличает highload-разработчика от просто разработчика.

Алексей Тутубалин сделает доклад под кодовым названием "Используем современный процессор на 146%" про современное состояние параллельных вычислений. Приведем краткий конспект выступления:

+ Векторные операции (SIMD: MMX, SSE, AVX). SIMD расшифровывается как single instruction, multiple data - одиночный поток команд, множественный поток данных. Что умеет, типы данных, виды операций. Требования к программам и алгоритмам, выравнивание данных. Быстродействие формальное и реальное. Кто сделает SIMD-код?
+ Многоядерные процессоры, многопроцессорные конфигурации. Сложно думать параллельно, сложно отлаживать (невоспроизводимые ситуации), data races, расход ресурсов на синхронизацию, проблемы с процессорными кэшами если потоки работают с одними/близкими адресами в памяти. Типичное современное использование:
++ Несколько/много изолированных процессов
++ Несколько/много потоков (threads), обрабатывающих независимые запросы
++ Сложные многопоточные программы, сильно связанные внутри себя
++ Data-parallel программы: пилим (большие) данные на (независимые) куски и обрабатываем: map-Reduce (всех видов), сортировка, точки синхронизации/reduce понятны, не требуется синхронизация в случайный момент, да еще и по внешнему событию. Data races маловероятны. Программа выглядит последовательной, а вычислительно-интенсивные места используют все ядра/CPU.
+ Параллельные языки программирования:
++ ISPC: интересует CPU-only, двойная буферизация болезненна, нет желания таскать большой рантайм вне программы.
++ OpenCL: планируется/возможен перенос на GPU, рантайм не пугает, двойная буферизация не пугает.
Добавить комментарий
Отображение комментариев: Древовидное | Плоское
NO USERPIC

rgbeast

Стали известны новые доклады на Highload++ 2012:

+ Статистика на NoSQL в реальном времени / Сергей Туленцев;
+ SciDB - массовые операции над данными / Павел Велихов.
+ Как сделать в Amazon действительно 24/7 систему? Что может казаться очевидным, а на самом деле не работает. И наоборот - работает, когда совсем не очевидно / Евгений Попов
+ Облачная обработка видео на примере услуги перекодирования видеороликов "налету" / Ярослав Городецкий
+ Разработка высоконагруженных социальных flash-приложений / Александр Календарев
+ Механика DDOS / Александр Крижановский

И гвоздь программы: язык Go от Goole:
+ Что такое Go? Немного истории. Основные свойства языка. Причины появления.
+ Введение в язык Go. Ряд примеров демонстрирующих основные элементы языка от простого к сложному.
+ Concurrency. Модель программирования, горутины и каналы. Паттерны для веб приложений.
+ Инструментарий. Система сборки, управления пакетами, документация, форматирование кода.
23.07.2012, 21:23
Ответить
NO USERPIC

rgbeast

На Highload++ выступит Олег Илларионов из крупнейшей социальной сети Рунета - ВКонтакте с докладом "Хранение и доставка контента".

Ретроспектива системы хранения Фото, Видео и Аудио данных ВКонтакте. Путь от одного сервера до CDN. Процесс загрузки, обработки и доставки изнутри. В данный момент в VK хранится более 30 миллиардов фотографий. А каждый день заливается 17 миллионов новых картинок, 264 тысячи видеофайлов и 130 тысяч аудиозаписей. Все это успешно обрабатывается, хранится и, главное, отдается пользователям. Как? Узнаем на HighLoad++ через месяц.

Вот еще несколько заявок в секции "Системы хранения":
+ Опыт создания собственных key/value -хранилищ для небольших высоконагруженных проектов / Александр Календарев;
+ Решение проблем ритейла методами DataMining / Кирилл Коринский;
+ Gigaspaces в построении отказоустойчивых и масштабируемых систем / Абдразаков Эльдар;
+ GPU и технология CUDA для ускорения операций поиска в простых табличных базах данных: один пример практического применения / Алексей Медведев;
+ Kyoto Tycoon / Андрей Костенко.
16.09.2012, 22:51
Ответить
NO USERPIC

rgbeast

Продолжаем освещать доклады предстоящей конференции:
1. "Поисковая система Одноклассники.ру" от Алексея Шевчука.

Поиск в Одноклассниках построен на базе модифицированной Apache Lucene и работает с дюжиной разных групп данных, каждая из которых имеет свои особенности. Чтобы эффективнее отвечать на запросы, поисковая система учитывает социальный граф.

Доклад будет интересен всем кто занимается разработкой нагруженных распределенных систем. Представленный опыт позволит предугадывать и решать проблемы возникающие при их работе.

2. "Выжимаем из сервера максимум! Приёмы кеширования и передачи данных на Java" от Андрея Паньгина, ведущего инженера-программиста проекта "Одноклассники".

Java платформа предоставляет мощный функционал для разработки серверных приложений. Однако, когда встает вопрос о высоких нагрузках, стандартные средства не всегда позволяют достичь наилучшей производительности. Разработчики портала Одноклассники.ру, кто ежедневно имеет дело с проблемами высоконагруженных серверов, используют малоизвестные особенности Java, пишут новые библиотеки для взаимодействия с операционной системой и разрабатывают собственные алгоритмы для хранения и передачи данных. В своем докладе ведущий инженер проекта "Одноклассники" делится опытом создания таких механизмов. Речь идет о трех ключевых аспектах разработки производительного сервера на Java: сетевой ввод-вывод, сериализация-десериализация и кеширование.

Доклад будет полезен Java-разработчикам, занимающимся оптимизацией серверных приложений и бизнес-логики, а также всем, кто интересуется устройством Java-платформы изнутри. Представленные алгоритмы и механизмы позволят по-новому взглянуть на проблемы хранения и передачи данных в Java.
26.09.2012, 15:05
Ответить
NO USERPIC

rgbeast

Из интересных докладов:

Михаил Буйлов (Mamba) представит серьёзное исследование NoSQL-баз данных и эволюцию их использования в компании — «Практические вопросы использования NOSQL в высоконагруженном проекте (NoSQL-экзотика: TokyoTyrant -> KyotoTycoon -> Google LevelDB)».

С большим нетерпением мы ожидаем доклад «MySQL в Google» от Ievgen Varavva (Google). Интересно, что в Google действительно работает на MySQL?

Вдумайтесь в цифру — 30 миллиардов фотографий в хранилище, куда добавляются 17 миллионов фотографий и 264 тысячи видео в сутки — о том, как работать с такими объемами расскажет наш постоянный докладчик Олег Илларионов (ВКонтакте).

Кстати, а знаете ли Вы, что в Nginx работает не только Игорь Сысоев, наш бессменный член Программного комитета? Оказывается, там есть ещё разработчики :) И один из них выступит на конференции HighLoad++, Валентин Бартенев с докладом «SPDY: быстрее на 146%».

PS: Кстати, каждый участник конференции получит в подарок книгу о разработке высоконагруженных систем по материалам лучших выступлений за прошлые года. Сразу отвечаем на вопрос — эту книгу можно получить ТОЛЬКО на конференции HighLoad++.

Торопитесь зарегистрироваться, места заканчиваются.

В смежных областях, для самообразования мы услышим доклады «Эффективное использование (современных x86-совместимых) CPU» от Алексея Тутубалина, «Суперкомпьютеры сегодня и завтра: архитектура, проблемы, перспективы» от Андрея Слепухина и «Go Language» от Дмитрия Вьюкова (Google).
10.10.2012, 17:59
Ответить
NO USERPIC

rgbeast

Вот еще некоторые доклады из программы:

Роман Зыков из Wikimart прочитает доклад «Сервис рекомендаций на виртуальном Hadoop-кластере».

«Спасение 6 000 000 файлов в условиях полного Хецнера» от Дмитрия Симонова и Даниила Подольского (Setup.ru). Файлов вроде бы немного (6 миллионов, сравните с 30 миллиардами от ВКонтакте в выступлении Олега Илларионова), но выбранный способ хранения картинок (в базе данных PostgreSQL) заставил поспорить даже бывалых членов Программного комитета. Я посмотрел, как они спорят, и решил взять доклад — для дискуссии, как спорный метод решения задачи. Обсудим, тем более, что ребята грозятся прийти с бенчмарками.

Кстати, доклад-интрига "Крадущийся сервер, затаившийся диод" от Андрея Аксенова (Sphinx) как раз про то, как правильно бенчмаркать и проводить эксперименты. Поставим доклады рядом, устроим шоу.

«Как Badoo модерирует 1 миллиард фотографий в год» — доклад от Андрея Гоменюка. Оказывается, Badoo модерирует все закачиваемые фотографии, а их, на минуточку, 3 миллиона в день. Простой расчёт подсказывает, что это 30 фотографий в секунду. При этом эти фотографии раскладываются на несколько сотен серверов в двух дата-центрах на разных континентах. В докладе будут раскрыты не только архитектурные особенности, но и менеджмент этого процесса, что лично мне, значительно более интересно.

Новички программы — Алексей Копытов (Percona) с докладом "Percona XtraBackup: экспертные возможности".

Секция "Смежные технологии" дополнилась интересным рассказом про супер-компьютеры от Андрея Слепухина (Т-Платформы). Процессоры, ускорители, энергетический барьер, будущее суперкомпьютинга.

Также в програме мастер-класс Алексея Рыбака «Основы построения масштабируемых высоконагруженных систем»?
http://www.highload.ru/2012/news/77.html
14.10.2012, 12:33
Ответить
NO USERPIC

rgbeast

На Highload++ пройдет российский PGDay. В его программе:

1. MVCC Unmasked. Bruce Momjian (EnterpriseDB) — Bruce практически не нуждается в представлении, c 1991 года он входит в core team разработчиков PostgreSQL и делает одни из лучших в мире технических докладов об этой СУБД. MVCC Unmasked — это рассказ о том, как осуществляется управление конкурентным доступом в PostgreSQL.

2. Tricky SQL. Особые возможности SQL-диалекта PostgreSQL. Иван Фролков. Этот человек не любит славы и лучей софитов, его крайне сложно заманить поделиться своим бесценным опытом публично, но мы сделали это! Вам будет НЕ интересен этот доклад, если вы: умеете распарсить JSON одним SQL-запросом, знаете все об использовании массивов и view (в том числе с параметрами), с легкостью реализуете линейную и нелинейную рекурсию одним запросом и вообще считаете себя гуру использования CTE, а про использование курсоров можете проконсультировать любого member of core team PostgreSQL.

3. Chris Bohn (Etsy.com). В настоящее время Крис занимает должность ведущего разработчика баз данных в etsy.com. Он дольше всех работает инженером в Etsy — более 5 лет — и имеет глубокие знания в области построения масштабируемых систем данных. Сейчас он руководит проектом по интеграции системы Vertica с системой данных etsy.com. Именно он разработал инструменты репликации, которые будут представлены на конференции HighLoad++.

4. Использование очередей асинхронных сообщений с PostgreSQL. Илья Космодемьянский (PostgreSQL-Consulting.com) расскажет о наиболее востребованных паттернах использования асинхронного мессаджинга в связке с базой данных PostgreSQL и о существующих реализациях очередей сообщений в том числе о собственных open source разработках PostgreSQL-Consulting.com.

5. Полнотекстовый поиск в PostgreSQL за миллисекунды. Олег Бартунов и Александр Коротков — российские разработчики PostgreSQL — расскажут как быстро и качественно работает обновлённый полнотекстовый поиск в PostgreSQL.

6. Что такое Postgres-XC. Максим Богук (PostgreSQL-Consulting.com) — человек-легенда в области дрессировки самых разных способов репликации PostgreSQL. Postgres-XC — write-scalable расширение стандартного PostgreSQL. Рассказ Макса об опытах по дрессировке Postgres-XC это серьёзно, поверьте.
16.10.2012, 19:43
Ответить
NO USERPIC

rgbeast

Доклады секции MySQL:

«Using MySQL Performance Schema to debug performance issues» от Danil Zburivsky.

Сергей Голубчик из команды самого Монти с докладом «MariaDB new features».

Lars Thalmann (Oracle) с докладом «Personal story of how MySQL grew and the challenges I've met on the journey». Ларс — ответственный за будущее MySQL, директор по разработке MySQL в компании Oracle, доктор Lars Thalmann.

«MySQL в Google» от Ievgen Varavva.
20.10.2012, 12:56
Ответить
Добавить комментарий
Отображение комментариев: Древовидное | Плоское
© 2008—2024 webew.ru, связаться: x собака webew.ru
Сайт использует Flede и соответствует стандартам WAI-WCAG 1.0 на уровне A.
Rambler's Top100

Реклама: