Разработчики ПО для высоконагруженных сайтов научили решение сохранять кэш при перезагрузке системы

Возврат к списку

Разработчики ПО для высоконагруженных сайтов научили решение сохранять кэш при перезагрузке системы

09.10.2019     

Разработчики выпустили несколько новых версий Memcached 1.5.18 и 1.5.19 – программный комплекс позволяет кэшировать информацию в оперативной памяти. ПО актуально для сайтов с высокой нагрузкой.

Главная «фишка» версии 1.5.18 – сохранение содержимого кэша при перезагрузке системы. В 1.5.19 расширили текстовый протокол по умолчанию.

Что такое Memcached

Memcached – высокопроизводительная система хранения данных в оперативной памяти сервера. Систему разработали создатели LiveJournal для собственных нужд. Решение повышает скорость загрузки сайтов и оптимизирует их производительность. Memcached можно использовать в случае повышенной нагрузки на основную СУБД и дисковую подсистему.

Основа программы – хеш-таблица с парами «ключ-значение». Данные из хеш-таблиц позволяют моментально определять сервер, на котором хранится информация. А значит, быстрее находить данные в кэше и извлекать их.

Сервис написан на С и является кроссплатформенным. Клиентские библиотеки ПО есть для C/C++, Python, Java, Perl, Ruby, PHP, .Net. Код Memcached распространяется под лицензией BSD.

Сохранение кэша после перезапуска

В Memcached 1.5.18 разработчики добавили так называемый «теплый кэш». Теперь содержимое кэша сохраняется между перезапусками сервиса.

Memcached 1.5.18 избавляет от появления пиков нагрузки из-за пустого серверного кэша. Когда приложение стартует, оно извлекает содержимое кэша из сохраненной копии и использует его в работе. Сайт не тратит время на сбор коллекции данных, его производительность повышается, растет стабильность доступа.

Разработчики подчеркнули: пока «теплый кэш» – экспериментальная функция, и его стоит использовать осторожно. Они также призвали делиться отзывами о новой функции, чтобы улучшить продукт.

Поддержка устройств постоянной памяти

Начиная с Memcached 1.5.18, для кэширования данных можно использовать не только оперативную, но и постоянную память (persistent-memory, например NVDIMM) через их монтирование с использованием DAX (прямой доступ к ФС в обход страничного кэша без применения уровня блочных устройств).

Хеш-таблица с парами «ключ-значение», записи о соединениях и другая информация по-прежнему будут храниться в оперативной памяти. До перезагрузки эти данные копируются в файл .mmap.

После перезапуска Memcached данные извлекаются из .mmap-файла в оперативную память. Демон исправляет внутренние указатели и восстанавливает хэш-таблицу. Для небольших сайтов это занимает несколько секунд. Но если у вас в памяти около миллиарда элементов, то готовьтесь подождать 2-3 минуты.

«Теплый кеш» помогает, даже если приложение аварийно перезагрузится. Так как основной массив данных сохранится в .mmap-файле, потеряются только самые свежие данные, а значит, сайты будут загружаться быстрее.

Расширение текстового протокола

В Memcached 1.5.19 появился дополнительный набор метакоманд в текстовом протоколе, доступном по умолчанию. Добавили преимущественно функции, которые раньше работали только для бинарного протокола.

Метакоманды также стоит считать экспериментальными. По крайней мере, в нескольких следующих релизах.

Чем это может быть полезно в 1С

На Инфостарте можно найти решения, использующие Memcached для более быстрого получения данных из 1С через протокол XML-RPC (для 7.7 и 1С++) и через протокол OData (для 8.3).

В частности, решение «PHP-драйвер к OData-интерфейсу 8.3» активно развивается на GitHub, и позволяет кэшировать данные из 1С для интеграции с сайтами, использующими в качестве СУБД PostgreSQL, MSSQL и MySQL.
 

Подробное описание новых версий проекта Memcached на GitHub



Источник: https://infostart.ru/journal/news/tekhnologii/razrabotchiki-po-dlya-vysokonagruzhennykh-saytov-nauchili-reshenie-sokhranyat-kesh-pri-perezagruzke-_1132964/
Автор:
Ксения Шестакова Обозреватель


Комментарии
Избранное Подписка Сортировка: Древо
1. VmvLer 09.10.19 18:00 Сейчас в теме
Перевел заголовок в свое понимание
Разработчики ПО для высоконагруженных сайтов создали механизм сохранения кэша при перезагрузке системы


ну а чо, хорошая станция сейчас от 32 гиг ОП, так что можно толкать туда кеши - вдруг никто и не заметит или поставят 128 гиг.
2. IssakN 3 10.10.19 09:18 Сейчас в теме
Демон исправляет внутренние указатели и восстанавливает хэш-таблицу

Просветите что за демон? На моей памяти так называли daemon tools.
3. A_Max 17 10.10.19 09:26 Сейчас в теме
(2) Термин из юникс систем ="Сервис".
4. IssakN 3 10.10.19 09:27 Сейчас в теме
(3)Благодарю. Век живи - век учись.
5. Chai Nic 140 10.10.19 16:47 Сейчас в теме
В экосистеме 1с8 подобный "теплый кэш", сохраняемый между перезапусками, пользуется очень нехорошей репутацией из-за отсутствия контроля его целостности и когерентности.. в результате "очистка кэша" стала действием номер 1 при глюках.
Оставьте свое сообщение

См. также

На заводе телеграфных аппаратов в Калуге запустят производство смартфонов

Новость Гаджеты Импортозамещение

В марте 2020 года на Калужском заводе телеграфных аппаратов начнется серийный выпуск защищенных российских смартфонов и планшетов MIG S6 и MIG T8X.

сегодня в 13:46    332    AnastasiaKl    6       

Кто выиграет и проиграет когда Google откажется от сторонних cookies

Новость Google Веб Интернет

Google заявил, что к 2022 году Chrome перестанет принимать сторонние cookie-файлы. Попробуем выяснить, кому и чем это грозит.

сегодня в 11:23    367    SKravchenko    0       

Больше возможностей: представлен релиз ядра Linux 5.5

Новость Linux

Cоздатель операционной системы – Линус Торвальдс традиционно представил важное обновление ядра Linux 5.5. Работа над изменениями заняла у команды около двух месяцев.

05.02.2020    2059    user1015646    7       

Робот-бухгалтер сэкономил российской компании 50 млн рублей за год

Новость Бухучет Робототехника

В среде программистов ходит шутка о том, что в будущем целые ведомства заменит один небольшой скрипт. В «Билайне» сделали важный шаг в этом направлении: робот-бухгалтер RobBee сократил годовые расходы компании на 50 млн рублей и уже окупился.

31.01.2020    3398    user1015646    42       

Текст, написанный ИИ, впервые защитили авторским правом

Новость Развлечения, искусство, спорт Искусственный интеллект

Суд в китайском Шэньчжэне защитил авторским правом статью, созданную с помощью искусственного интеллекта. Это первый судебный прецедент, который позволяет расценивать ИИ как творческую силу. 

30.01.2020    1205    SKravchenko    6       

На рынок вышел смартфон без операционной системы

Новость Linux Гаджеты

Компания Pine Microsystems представила новый смартфон PinePhone Braveheart Edition. Устройство продается без операционной системы – установить один из дистрибутовов Linux придется самостоятельно.

28.01.2020    2877    user1015646    26       

PlayStation 5: новый логотип – новые функции

Новость Видеоигры

На пресс-конференции Sony, в рамках выставки CES 2020, компания представила логотип новой игровой консоли PlayStation 5, выпуск которой запланирован на 2020 год.

24.01.2020    1790    SKravchenko    3       

Рейтинг языков программирования TIOBE назвал самый популярный язык 2019 года

Новость Рейтинг Языки программирования

Первым, по версии составителей рейтинга TIOBE, ожидаемо стала Java, а второе место неожиданно досталось C. Серебряный призер рейтинга обогнал Python – лидера 2007, 2010 и 2018 годов. 

21.01.2020    2750    user1015646    12       

Доступно для всех: вышло приложение GitHub для Android

Новость GitHub Мобильные приложения

Крупнейший на планете хостинг репозиториев GitHub представил официальное приложение для Android. Ссылки на загрузку бета-версии получили пользователи, которые заранее оставили заявки на GitHub. 

21.01.2020    1609    user1015646    3       

Большие перемены: Google откажется от приложений для Chrome и сторонних cookies

Новость Google Интернет

Google рассказал о двух крупных изменениях в своей политике: компания перестанет поддерживать сторонние cookies в браузере Chrome и откажется от приложений для него. 

20.01.2020    2227    user1015646    1       

В России появится «медицинский» ИИ на отечественных нейропроцессорах 

Новость Искусственный интеллект Медицина Нейросети

Российские разработчики создадут программно-аппаратную базу для системы искусственного интеллекта, которую планируется использовать в медицине. Для ее создания задействуют отечественные нейропроцессоры.

17.01.2020    2066    user1015646    3       

Amazon представила библиотеку для создания приложений с применением ИИ

Новость Amazon Искусственный интеллект

Чтобы создать приложение с помощью ИИ, разработчику достаточно написать всего три строки кода. 

16.01.2020    1976    AnastasiaKl    7       

Microsoft предложила купить новый ПК вместо обновления старого до Windows 10

Новость Microsoft

Поддержка Windows 7 прекращается 14 января. Microsoft напоминает пользователям, что их устройство может не поддерживать «десятку», и рекомендует вместо обновления купить новый компьютер. 

14.01.2020    2320    VKuser24342747    20       

Российский программист создал сервис, который может продолжить любую историю за рассказчика

Новость Искусственный интеллект Маск Нейросети

Разработчик Михаил Гранкин создал сервис «Порфирьевич», который умеет дописывать тексты на русском языке. Гранкин взял за основу нейросеть GPT-2 компании OpenAI. Один из основателей компании – Илон Маск, создатель Tesla и SpaceX. 

09.01.2020    9617    user1015646    15       

Apple отключила чип для Bluetooth в российских iPhone 11 из-за запрета Роскомнадзора

Новость Apple Роскомнадзор

Apple попросила Роскомнадзор выдать лицензию на частоты, необходимые для использования новой технологии беспроводной передачи данных. Из-за отказа ведомства компания отключила в России чип, необходимый для этой функции. 

24.12.2019    2943    VKuser24342747    38       

Система госзакупок засбоила после перехода на свободное ПО

Новость Госзакупки Мобильные приложения Тендер

Модуль в системе госзакупок, который отвечает за взаимодействие с электронными площадками и внешними решениями, решили перевести на ПО с открытым исходным кодом. В результате перехода система больше суток работала со сбоями.

23.12.2019    1928    user1015646    6       

Путин подписал указ о переводе российских больниц на электронный документооборот

Новость Здравоохранение, медицина, стоматология Путин Цифровая экономика

Президент России Владимир Путин утвердил несколько поручений, направленных на цифровизацию здравоохранения. Среди них – внедрение электронного документооборота в больницах страны. 

19.12.2019    2716    user1015646    8       

Экспертный совет: «Яндекс» значительно обновил поисковую систему

Новость Интернет Яндекс

«Яндекс» представил обновление «Вега» для своей системы поиска. В сервисе появилось более 1500 нововведений и улучшений. Главная особенность – функция экспертного поиска. 

19.12.2019    2121    VKuser24342747    4       

ИИ от Amazon освободит врачей от бумажной работы и поможет пациенту прочесть рецепты

Новость Amazon Искусственный интеллект Нейросети

Разработчики представили нейросеть Transcribe Medical. Она слушает беседу врача и пациента и помогает вести медицинские записи.

19.12.2019    1847    user1015646    1       

Russian AI Cup 2019: стартовал чемпионат Mail.Ru Group по программированию искусственного интеллекта

Новость Искусственный интеллект Нейросети

Участвовать в Russian AI Cup 2019 могли все желающие – от студентов профильных вузов и фанатов передовых технологий до профессиональных разработчиков.

17.12.2019    2510    user1015646    14       

Вот так сюрприз: в самом копируемом фрагменте Java-кода нашли ошибку

Новость Языки программирования

Сайт StackOverflow – популярная система вопросов и ответов о программировании. Но не все советы коллег одинаково полезны: в самом цитируемом куске кода на Java, представленном на StackOverflow, обнаружили серьезный баг.

16.12.2019    3378    user1015646    3       

Команда из России превратила Python-хакатон в свой мастер-класс

Новость Языки программирования

В Бахрейне прошел ИТ-марафон GeoHack-2019. Команды должны были создать нейронные сети для обработки данных с месторождений нефти.

13.12.2019    2488    user1015646    3       

Google начал учитывать контекст слов при русскоязычном поиске

Новость Google Интернет Нейросети

Компания Google обновила алгоритмы для поиска по русскоязычным сайтам. Это крупнейший апдейт системы за последние пять лет. Его главная цель – улучшить результаты выдачи. 

13.12.2019    1887    VKuser24342747    3       

Аэропорт «Внуково» отказался от электронных посадочных талонов из-за законодательства

Новость Законодательство Цифровая экономика

«Внуково» перестал пускать в самолеты пассажиров с электронными посадочными талонами. Остальные российские аэропорты по-прежнему используют цифровые билеты. 

11.12.2019    2630    VKuser24342747    5       

У кроссплатформенной библиотеки разработки Qt появился свой магазин модулей и дополнений

Новость Языки программирования

Qt Company запустила официальный магазин дополнений и модулей для Qt: популярный фреймворк используют для создания ПО на С++, но существуют привязки решения к другим языкам.

11.12.2019    2545    user1015646    5