تکنیک‌هایی برای مدیریت حافظه در پستگرس

در دنیای پر سرعت و داده‌محور امروز، مدیریت کارآمد منابع سیستمی در پایگاه‌های داده نقشی حیاتی در عملکرد و پاسخگویی برنامه‌های کاربردی ایفا می‌کند. PostgreSQL، به عنوان یکی از قدرتمندترین و محبوب‌ترین سیستم‌های مدیریت پایگاه داده رابطه‌ای متن‌باز، نیازمند توجه ویژه به بهینه‌سازی منابع، به خصوص مدیریت حافظه است.

سایت Tembo که بر روی استک‌های تخصصی مبتنی بر پستگرس، کار می‌کند، مقاله‌ای را راجع به مدیریت حافظه در پستگرس منتشر کرده است که خلاصه آنرا در این جا با هم مرور می کنیم.

How to Get the Most out of Postgres Memory Settings | Tembo

Best practices for configuring Postgres to maximize RAM use without risking process termination.

این مقاله به بررسی جامع و عمیق استراتژی‌های بهینه‌سازی حافظه در PostgreSQL در پنج حوزه زیر می‌پردازد:

• بافرهای اشتراکی
• مدیریت حافظه کاری
• بهینه‌سازی حافظه کاری داخلی ( maintenance_work_mem )
• استفاده موثر از استخر اتصالات (Connection Pools) 
• کاهش اتلاف فضا (Table Bloat) .

در هر بخش نه تنها اهمیت و جایگاه این پارامترها را در ساختار PostgreSQL توضیح می‌دهد، بلکه توصیه‌های فنی دقیق و کاربردی برای تنظیم و بهینه‌سازی آنها ارائه می‌دهد.

۱٫ بافرهای اشتراکی (Shared Buffers)

بافرهای اشتراکی مهم‌ترین و بزرگترین بخش حافظه در PostgreSQL هستند. این بخش به عنوان یک کش برای نگهداری داده‌های پرکاربرد و پرارجاع عمل می‌کند و تأثیر مستقیمی بر عملکرد کلی پایگاه داده دارد. بافرهای اشتراکی با کاهش نیاز به خواندن از دیسک، سرعت دسترسی به داده‌ها را به طور قابل توجهی افزایش می‌دهند.

توصیه‌های فنی:

برای بهینه‌سازی بافرهای اشتراکی، تنظیم shared_buffers به حدود ۲۵٪ از کل حافظه RAM سیستم توصیه می‌شود. این مقدار معمولاً نقطه شروع خوبی است، اما باید با توجه به الگوی استفاده خاص سیستم تنظیم شود. برای بررسی دقیق استفاده از بافرها، استفاده از افزونه pg_buffercache بسیار مفید است. این افزونه امکان مشاهده محتوای بافرها و میزان استفاده از آنها را فراهم می‌کند. در PostgreSQL 16، نمای pg_stat_io ابزار قدرتمندی برای بررسی نسبت hit به miss در بافرها ارائه می‌دهد.

مهم است که از تنظیم بیش از ۴۰-۵۰٪ کل RAM به عنوان shared_buffers اجتناب کنید، زیرا این کار می‌تواند منجر به کمبود حافظه برای سایر عملیات‌ها شود. بررسی مداوم کارایی با تغییر تنظیمات و مانیتورینگ عملکرد سیستم ضروری است.

۲٫ حافظه کاری (Work Memory)

حافظه کاری برای اجرای عملیات‌های پیچیده مانند مرتب‌سازی، هش و الحاق جداول استفاده می‌شود. این بخش تأثیر مستقیمی بر سرعت اجرای پرس‌وجوهای پیچیده دارد و می‌تواند مانع از سرریز داده‌ها به دیسک شود.

توصیه‌های فنی:

برای تنظیم بهینه حافظه کاری، یک فرمول موثر در پایان مقاله با جزییات فنی توضیح داده شده است که توصیه می کنیم به خود مقاله اصلی مراجعه کنید. تنظیم درست این پارامتر مهم به مانیتورینگ منظم دیتابیس و یافتن کوئری های کند و استفاده از Explain برای یافتن دلیل این کندی و بررسی حداکثر تعداد نودهای گره‌های پارسر SQL آن است. با یافتن این عدد ماکزیمم، می توانید از فرمول زیر استفاده کنید :

(۸۰٪ کل RAM – shared_buffers) / (max_connections * حداکثر تعداد گره‌های کوئری‌های کند و زمان‌بر) است. این فرمول به شما کمک می‌کند تا مقدار مناسبی برای work_mem تعیین کنید.

بررسی منظم نمای pg_stat_database می‌تواند در تشخیص سرریز به دیسک کمک کند. اگر متوجه شدید که داده‌ها به طور مکرر به دیسک سرریز می‌شوند، ممکن است نیاز به افزایش work_mem داشته باشید. با این حال، افزایش تدریجی work_mem و مانیتورینگ دقیق تأثیر آن بر عملکرد سیستم بسیار مهم است.

همچنین، در نظر گرفتن تعداد اتصالات همزمان و پیچیدگی پرس‌وجوها در تنظیم work_mem حیاتی است. پرس‌وجوهای پیچیده‌تر ممکن است به حافظه کاری بیشتری نیاز داشته باشند، اما افزایش بیش از حد این مقدار می‌تواند منجر به مصرف بیش از حد حافظه شود.

۳٫ حافظه کاری داخلی (Maintenance Work Memory)

حافظه کاری داخلی برای عملیات‌های مدیریتی مانند VACUUM، CREATE INDEX و ALTER TABLE استفاده می‌شود. این بخش تأثیر مستقیمی بر سرعت و کارایی عملیات‌های نگهداری دارد که برای سلامت و عملکرد بلندمدت پایگاه داده حیاتی هستند.

توصیه‌های فنی:

برای بهینه‌سازی حافظه کاری داخلی، تنظیم maintenance_work_mem به مقادیر بالاتر از مقدار پیش‌فرض (تا ۱GB یا ۲GB) در صورت وجود حافظه کافی توصیه می‌شود. این افزایش می‌تواند سرعت عملیات‌های داخلی را به طور قابل توجهی بهبود بخشد. با این حال، در نظر گرفتن تعداد autovacuum_max_workers در تنظیم این پارامتر ضروری است، زیرا هر پردازه autovacuum می‌تواند از این مقدار حافظه استفاده کند.

استفاده از پارامتر autovacuum_work_mem برای کنترل دقیق‌تر حافظه مورد استفاده توسط autovacuum می‌تواند مفید باشد. این پارامتر به شما امکان می‌دهد حافظه اختصاص یافته به فرآیندهای autovacuum را جداگانه تنظیم کنید. افزایش تدریجی maintenance_work_mem و بررسی تأثیر آن بر سرعت عملیات‌های نگهداری روش خوبی برای یافتن مقدار بهینه است.

در سیستم‌های با حافظه محدود، حفظ تعادل بین maintenance_work_mem و سایر پارامترهای حافظه اهمیت زیادی دارد. گاهی اوقات، کاهش اندکی در shared_buffers یا work_mem می‌تواند فضای کافی برای افزایش maintenance_work_mem فراهم کند و منجر به بهبود کلی عملکرد شود.

۴٫ استخر اتصالات (Connection Pooling)

استخر اتصالات، گرچه مستقیماً بخشی از PostgreSQL نیست، نقش مهمی در مدیریت منابع و بهبود عملکرد دارد. این تکنیک با کاهش سربار ایجاد و از بین بردن اتصالات، مصرف حافظه را کاهش می‌دهد و امکان مدیریت بهتر اتصالات را فراهم می‌کند.

توصیه‌های فنی:

برای پیاده‌سازی موثر استخر اتصالات، استفاده از ابزارهایی مانند PgBouncer توصیه می‌شود. این ابزارها امکان مدیریت کارآمد اتصالات را فراهم می‌کنند. همراه با استفاده از استخر اتصالات، تنظیم max_connections در PostgreSQL به مقدار کمتر و مدیریت اتصالات بیشتر در سطح استخر می‌تواند به کاهش مصرف منابع کمک کند.

انتخاب حالت مناسب استخر (مانند session pooling یا transaction pooling) بسته به نیاز برنامه اهمیت زیادی دارد. برای مثال، transaction pooling می‌تواند در برنامه‌هایی که تراکنش‌های کوتاه و متعدد دارند، بسیار موثر باشد. مانیتورینگ دقیق عملکرد استخر اتصالات و تنظیم پارامترهای آن برای بهینه‌سازی ضروری است. این کار به شما امکان می‌دهد تا مشکلات احتمالی را شناسایی و رفع کنید.

در نظر گرفتن امنیت و ایزوله‌سازی اتصالات در هنگام استفاده از استخر بسیار مهم است. اطمینان حاصل کنید که استخر اتصالات شما از پروتکل‌های امنیتی مناسب پشتیبانی می‌کند و امکان جداسازی اتصالات برای کاربران و برنامه‌های مختلف را فراهم می‌کند.

۵٫ کاهش تورم یا اتلاف فضا (Reducing Bloat)

تورم یا اتلاف دیسک در PostgreSQL به دلیل استفاده از MVCC (Multi-Version Concurrency Control) رخ می‌دهد. کاهش این اتلاف برای بهبود کارایی، کاهش مصرف فضای دیسک و بهبود عملکرد پرس‌وجوها ضروری است. تورم زیاد می‌تواند باعث استفاده ناکارآمد از بافرهای اشتراکی و افزایش زمان اجرای پرس‌وجوها شود. توضیح اینکه با افزایش تعداد حذف و آپدیت به دلیل ایجاد یک کپی جدید از هر رکورد آپدیت شده و عدم حذف فیزیکی رکوردهای Delete‌ شده، فضای دیسک زیادی را یک جدول مصرف خواهد کرد که از مجموع حجم داده‌های جاری آن، ممکن است بیشتر باشد به این امر، تورم یا اتلاف دیسک می‌گوییم.

توصیه‌های فنی:

برای مدیریت موثر تورم، تنظیم مناسب autovacuum اولین و مهم‌ترین گام است. این کار به جلوگیری از تورم بیش از حد کمک می‌کند. تنظیمات autovacuum باید بر اساس الگوی استفاده و حجم تغییرات در پایگاه داده شما تعیین شود. در موارد شدید تورم، استفاده از VACUUM FULL می‌تواند برای بازسازی کامل جداول موثر باشد، اما باید با احتیاط و در زمان‌های کم‌ترافیک انجام شود، زیرا نیاز به قفل انحصاری دارد که منجر به منتظر ماندن تراکنش‌های جاری خواهد شد.

برای سیستم‌هایی که نمی‌توانیم آنها را حتی برای زمان کوتاهی خاموش کنیم، استفاده از افزونه pg_repack یک گزینه عالی است. این افزونه امکان بازسازی جداول بدون نیاز به قفل انحصاری را فراهم می‌کند. بررسی منظم جداول با استفاده از آمارهای سیستمی برای شناسایی تورم ضروری است. این کار به شما امکان می‌دهد تا جداولی که نیاز به توجه فوری دارند را شناسایی کنید.

در سطح طراحی پایگاه داده، در نظر گرفتن استراتژی‌هایی مانند پارتیشن‌بندی می‌تواند به کاهش تورم کمک کند. پارتیشن‌بندی امکان مدیریت بهتر داده‌ها و انجام عملیات نگهداری بر روی بخش‌های کوچکتر را فراهم می‌کند.

نتیجه‌گیری:

بهینه‌سازی استفاده از حافظه در PostgreSQL یک فرآیند پیچیده و مستمر است که نیازمند درک عمیق از ساختار داخلی پایگاه داده و الگوهای استفاده از آن است. برای دوستانی که در حوزه مدیریت و راهبری دیتابیس پستگرس کار می‌کنند توصیه میکنیم مقاله فوق را حتما مطالعه کنند. 

از سایت‌های زیر هم برای یافتن مقادیر مناسب برای پارامترهای اصلی پستگرس بر اساس منابع موجود خودتان می توانید استفاده کنید .