Разработчики ПО для высоконагруженных сайтов научили решение сохранять кэш при перезагрузке системы

Разработчики ПО для высоконагруженных сайтов научили решение сохранять кэш при перезагрузке системы

09.10.2019     

Разработчики выпустили несколько новых версий Memcached 1.5.18 и 1.5.19 – программный комплекс позволяет кэшировать информацию в оперативной памяти. ПО актуально для сайтов с высокой нагрузкой.

Главная «фишка» версии 1.5.18 – сохранение содержимого кэша при перезагрузке системы. В 1.5.19 расширили текстовый протокол по умолчанию.

Что такое Memcached

Memcached – высокопроизводительная система хранения данных в оперативной памяти сервера. Систему разработали создатели LiveJournal для собственных нужд. Решение повышает скорость загрузки сайтов и оптимизирует их производительность. Memcached можно использовать в случае повышенной нагрузки на основную СУБД и дисковую подсистему.

Основа программы – хеш-таблица с парами «ключ-значение». Данные из хеш-таблиц позволяют моментально определять сервер, на котором хранится информация. А значит, быстрее находить данные в кэше и извлекать их.

Сервис написан на С и является кроссплатформенным. Клиентские библиотеки ПО есть для C/C++, Python, Java, Perl, Ruby, PHP, .Net. Код Memcached распространяется под лицензией BSD.

Сохранение кэша после перезапуска

В Memcached 1.5.18 разработчики добавили так называемый «теплый кэш». Теперь содержимое кэша сохраняется между перезапусками сервиса.

Memcached 1.5.18 избавляет от появления пиков нагрузки из-за пустого серверного кэша. Когда приложение стартует, оно извлекает содержимое кэша из сохраненной копии и использует его в работе. Сайт не тратит время на сбор коллекции данных, его производительность повышается, растет стабильность доступа.

Разработчики подчеркнули: пока «теплый кэш» – экспериментальная функция, и его стоит использовать осторожно. Они также призвали делиться отзывами о новой функции, чтобы улучшить продукт.

Поддержка устройств постоянной памяти

Начиная с Memcached 1.5.18, для кэширования данных можно использовать не только оперативную, но и постоянную память (persistent-memory, например NVDIMM) через их монтирование с использованием DAX (прямой доступ к ФС в обход страничного кэша без применения уровня блочных устройств).

Хеш-таблица с парами «ключ-значение», записи о соединениях и другая информация по-прежнему будут храниться в оперативной памяти. До перезагрузки эти данные копируются в файл .mmap.

После перезапуска Memcached данные извлекаются из .mmap-файла в оперативную память. Демон исправляет внутренние указатели и восстанавливает хэш-таблицу. Для небольших сайтов это занимает несколько секунд. Но если у вас в памяти около миллиарда элементов, то готовьтесь подождать 2-3 минуты.

«Теплый кеш» помогает, даже если приложение аварийно перезагрузится. Так как основной массив данных сохранится в .mmap-файле, потеряются только самые свежие данные, а значит, сайты будут загружаться быстрее.

Расширение текстового протокола

В Memcached 1.5.19 появился дополнительный набор метакоманд в текстовом протоколе, доступном по умолчанию. Добавили преимущественно функции, которые раньше работали только для бинарного протокола.

Метакоманды также стоит считать экспериментальными. По крайней мере, в нескольких следующих релизах.

Чем это может быть полезно в 1С

На Инфостарте можно найти решения, использующие Memcached для более быстрого получения данных из 1С через протокол XML-RPC (для 7.7 и 1С++) и через протокол OData (для 8.3).

В частности, решение «PHP-драйвер к OData-интерфейсу 8.3» активно развивается на GitHub, и позволяет кэшировать данные из 1С для интеграции с сайтами, использующими в качестве СУБД PostgreSQL, MSSQL и MySQL.
 

Подробное описание новых версий проекта Memcached на GitHub



Источник: https://infostart.ru/journal/news/tekhnologii/razrabotchiki-po-dlya-vysokonagruzhennykh-saytov-nauchili-reshenie-sokhranyat-kesh-pri-perezagruzke-_1132964/
Автор:
Ксения Шестакова Обозреватель


Комментарии
Избранное Подписка Сортировка: Древо развёрнутое
Свернуть все
1. VmvLer 09.10.19 18:00 Сейчас в теме
Перевел заголовок в свое понимание
Разработчики ПО для высоконагруженных сайтов создали механизм сохранения кэша при перезагрузке системы


ну а чо, хорошая станция сейчас от 32 гиг ОП, так что можно толкать туда кеши - вдруг никто и не заметит или поставят 128 гиг.
2. IssakN 3 10.10.19 09:18 Сейчас в теме
Демон исправляет внутренние указатели и восстанавливает хэш-таблицу

Просветите что за демон? На моей памяти так называли daemon tools.
3. A_Max 18 10.10.19 09:26 Сейчас в теме
(2) Термин из юникс систем ="Сервис".
4. IssakN 3 10.10.19 09:27 Сейчас в теме
(3)Благодарю. Век живи - век учись.
5. Chai Nic 143 10.10.19 16:47 Сейчас в теме
В экосистеме 1с8 подобный "теплый кэш", сохраняемый между перезапусками, пользуется очень нехорошей репутацией из-за отсутствия контроля его целостности и когерентности.. в результате "очистка кэша" стала действием номер 1 при глюках.
Оставьте свое сообщение

См. также

Нейросеть научили расшифровывать названия товаров в чеках

Новость Нейросети

Для экономии знаков в чеках названия товарных позиций сокращают так, что они теряют всякий смысл в глазах покупателя. Российские разработчики создали нейросеть, которая поможет расшифровать подобные сокращения.

вчера в 15:40    256    user1015646    0       

Видеозвонки для всех: Mail.ru провела ребрендинг старейшего мессенджера ICQ

Новость Mail.Ru Мессенджеры

Mailr.ru Group перезапустила мессенджер ICQ. Теперь он ориентирован на групповые видеозвонки, поддерживает возможность создания быстрых ответов и разработки ботов. 

вчера в 09:50    479    VKuser24342747    4       

В Liberica JDK 14 улучшилась совместимость с российскими операционными системами

Новость Языки программирования

Российская компания Bellsoft представила Liberica Java Development Kit 14. Новая версия инструментов для Java-разработчиков обеспечивает улучшенную производительность и совместимость с отечественными ОС.

02.04.2020    565    VKuser24342747    0       

Microsoft прекратит развитие Visual Basic в качестве языка программирования

Новость Microsoft Языки программирования

Разработчикам VB корпорация предложила перенести свои наработки на платформы .NET Core или .NET 5.0, где сохранится поддержка языка.

31.03.2020    918    AnastasiaKl    11       

Программирование без кода: обзор инструментов

Новость Языки программирования

Разработка без кода – форма визуального программирования, где пользователи манипулируют элементами кода, перетаскивая их в специальном интерфейсе. Рассказываем еще про несколько инструментов, позволяющих разрабатывать ПО, не написав ни строчки кода.

26.03.2020    2183    SKravchenko    7       

В России создадут систему для выявления «контактеров» с коронавирусом

Новость Минкомсвязь Мобильные приложения

Координационный совет по борьбе с коронавирусом объявил о создании системы по отслеживанию контактов между здоровыми людьми и зараженными коронавирусом. Данные об этих контактах поможет собрать геолокация смартфонов.

26.03.2020    1066    Senator_I    17       

Российские студенты-программисты провели лекцию в Minecraft с трансляцией в Twitch

Новость Образование

Студенты помогли преподавателю добавить в лекции интерактива: занятие по программированию провели в онлайн-игре Minecraft с трансляцией на канале в Twich и общением в мессенджере Discord.

25.03.2020    915    user1015646    3       

Apple проведет конференцию для разработчиков WWDC2020 в онлайн-формате

Новость iOS Apple

WWDC – главная конференция для разработчиков ПО для macOS, iOS, iPadOS и watchOS. В этом году Apple решила отказаться от традиционного «живого» мероприятия в театре Стива Джобса и провести его онлайн.

23.03.2020    517    user1015646    0       

«Яндекс» открыл доступ к исходному коду фреймворка Testsuite 

Новость GitHub Яндекс

Компания «Яндекс» разработала фреймворк Testsuite специально для тестирования сервиса «Яндекс.Такси». Теперь доступ к продукту открыли для всех желающих – исходный код Testsuite выложили на GitHub под лицензией MIT.

18.03.2020    1127    user1015646    0       

Проект «Доступный интернет» сделает услуги связи для россиян дороже

Новость Интернет Минкомсвязь Цифровая экономика

Программа «Доступный интернет» предполагает предоставление бесплатного доступа к сайтам властей. Но отказ Минкомсвязи компенсировать расходы провайдерам может привести к росту цен на услуги связи. 

18.03.2020    1126    VKuser24342747    12       

Вот это поворот: теперь Android можно установить на iPhone

Новость Android iOS Apple Гаджеты

Независимые разработчики компании Correlium создали бета-версию сборки Android для iOS –  Project Sandcastle. Мобильную ОС можно запустить на iPhone или iPad.

17.03.2020    2006    user1015646    3       

Новая версия iOS раскрыла подробности новых гаджетов Apple

Новость iOS Apple Гаджеты

В Apple произошла утечка кода еще не выпущенной операционной системы iOS 14. Кроме обновлений самой ОС, в исходниках можно отыскать некоторые характеристики новых планшетов и смартфонов компании. 

17.03.2020    1226    VKuser24342747    1       

Соцсеть TikTok до конца марта выпустит облачного конкурента Google G Suite

Новость Google Облачные технологии

Создатели TikTok планируют потеснить Google на рынке корпоративных облачных услуг. В ближайшее время стартап запустит онлайн-редакторы текстов и электронных таблиц, а также удаленное хранилище файлов.

16.03.2020    1071    VKuser24342747    2       

Курс на Ближний Восток: Google расширяет облачную инфраструктуру

Новость Google Облачные технологии

Компания Google сообщила, что в следующем году откроет на четыре новых ЦОДа больше, чем планировала ранее. После этого количество облачных дата-центров поискового гиганта достигнет 31 штуки.

12.03.2020    992    VKuser24342747    1       

Российский вуз впервые выдаст цифровые блокчейн-дипломы

Новость Блокчейн Образование

Выпускникам Пензенского государственного университета (ПГУ) выдадут электронные дипломы. Информацию об окончании вуза сохранят на блокчейн-платформе компании Credentia, запущенной в сети Ethereum.

11.03.2020    1110    user1015646    3       

В JetBrains реализовали автодополнение кода на основе машинного обучения

Новость Искусственный интеллект Языки программирования

Интегрированная среда разработки ПО IntelliJ компании JetBrains внедряет машинное обучение для автоматического завершения кода.

10.03.2020    2861    SKravchenko    42       

Новый тип магнитной памяти поможет ускорить обработку больших данных

Новость Искусственный интеллект Нейросети

Нейросети работают с большими объемами данных. Узкое место этого процесса – скорость считывания и записи информации на носители. Ученые предлагают для решения проблемы использовать антиферромагнетики. 

10.03.2020    1408    VKuser24342747    8       

Глобальный переход: в Windows 10 после обновления нельзя создать локальный аккаунт

Новость Windows

Компания Microsoft без шума и пыли убрала из новой версии Windows 10 возможность создания локальных аккаунтов. Теперь можно создавать только глобальные учетные записи.

06.03.2020    2806    user1015646    42       

Microsoft объединила Word, Excel и PowerPoint в одном Android-приложении

Новость Microsoft Мобильные приложения

Смартфон стал полноценным помощником в ведении бизнеса, а порой – главным рабочим инструментом. Понимая это, компания Microsoft представила приложение, которое заменяет весь пакет Office.

05.03.2020    3503    user1015646    5       

Все бесплатно: для системы маркировки «Честный знак» запустили сервис электронного документооборота

Новость Маркировка

В системе маркировки «Честный знак» внедрили электронный документооборот «ЭДО Лайт». Сервис с бесплатным доступом запустил оператор системы маркировки ЦРПТ.

02.03.2020    4269    user1015646    9       

В регионах планируют развивать цифровые сервисы для гражданских обращений

Новость Интернет Умный город Цифровая экономика

По поручению президента в регионах будут внедрять сервисы обратной связи с гражданами для развития и контроля местного управления. Курировать внедрение будет Алексей Гореславский, который ранее отвечал за развитие интернет-платформ.

02.03.2020    1073    VKuser24342747    2       

На рынке появились отечественные электронные ценники

Новость Ростех Цифровая экономика

На Рязанском приборном заводе наладили выпуск электронных графических ценников. Первая пробная партия устройств в ближайшее время будет направлена в магазины одного из крупнейших российских ритейлеров.

28.02.2020    2324    AnastasiaKl    22       

Нежданный релиз: Google представила версию Android 11 для разработчиков

Новость ОС Android Мобильные приложения

Google раньше обычного срока представила новую, одиннадцатую версию Android. Релиз предназначен для разработчиков – он поможет изучить особенности обновленной ОС и адаптировать приложения для нее.

28.02.2020    1758    VKuser24342747    0       

Новая эра: Microsoft показала Windows 10X и открыла доступ к эмулятору

Новость ОС Windows Microsoft

Windows 10 должна была стать последней в линейке. Но Microsoft изменила свои планы. Компания не только показала, как будет выглядеть новая операционная система, но и предоставила возможность протестировать основные функции Windows 10X в эмуляторе.

28.02.2020    2595    user1015646    15       

Впервые за восемь лет: ЦБ внес изменения в положение о блокировке счетов

Новость Банки Безопасность Центробанк

Центральный банк обновил список ситуаций, при которых транзакции могут быть признаны сомнительными. Перечень критериев изменен впервые за восемь лет.

28.02.2020    1457    VKuser24342747    3