Dự án

Tổng quan

Hồ sơ

Actions
Copy link

Feature #150

đóng

Mục Tiêu #116: Qui Hoạch Site CMC-Tân Thuận-HCM

Feature #117: Triển khai Pool S3 CMC Tân Thuận

Enable compress cho cluster S3 CMC-Q7

Thêm bởi Ru Nguyễn cách đây khoảng 1 năm. Cập nhật cách đây 7 tháng.

Trạng thái:
Closed
Mức ưu tiên:
Normal
Phân công cho:
Thanh Tâm Nguyễn
Phiên bản:
LV SYSTEM - 0. Pending
Bắt đầu:
07-11-2023
Hết hạn:
Tiến độ:

0%

Thời gian ước lượng:

Mô tả

Yêu cầu: Enable compression trên data pool của S3
ceph osd pool set CMC-G1.rgw.buckets.data compression_algorithm snappy
ceph osd pool set CMC-G1.rgw.buckets.data compression_mode force

So sánh kết quả CPU trước và sau khi enable compress ( S3 gateway và các node)
Cách test: + Upload file lớn ( 500MB - 1GB)

Link kết quả:
https://docs.google.com/spreadsheets/d/1pGO0wn9Stg_3RKpjIpUq2nrsQEPRLeZl3n-8kdALJq0/edit#gid=0
https://docs.google.com/spreadsheets/d/1euil2yZ0S6TwR1ZOKru79nLmPWdUpGIAeUsTbe0SoKk/edit#gid=422264090

====
Phụ thuộc vào 2 giá trị sau
compression_max_blob_size
compression_min_blob_size

====
rgw_obj_stripe_size mặc định là 4M
sau khi upfile thì check số lượng compress_success

==========
ceph osd pool set CMC-G1.rgw.buckets.data compression_algorithm snappy
ceph osd pool set CMC-G1.rgw.buckets.data compression_mode aggressive
ceph osd pool set CMC-G1.rgw.buckets.data compression_max_blob_size 1073741824
ceph osd pool set CMC-G1.rgw.buckets.data compression_min_blob_size 1048576



ceph osd pool set CMC-G1.rgw.buckets.data compression_algorithm snappy
ceph osd pool set CMC-G1.rgw.buckets.data compression_mode force
ceph osd pool set CMC-G1.rgw.buckets.data compression_max_blob_size 1073741824
ceph osd pool set CMC-G1.rgw.buckets.data compression_min_blob_size 1048576



ceph osd pool set CMC-G1.rgw.buckets.data compression_algorithm snappy
ceph osd pool set CMC-G1.rgw.buckets.data compression_mode passive
ceph osd pool set CMC-G1.rgw.buckets.data compression_max_blob_size 1073741824
ceph osd pool set CMC-G1.rgw.buckets.data compression_min_blob_size 1048576



ceph osd pool set CMC-G1.rgw.buckets.data compression_algorithm snappy
ceph osd pool set CMC-G1.rgw.buckets.data compression_mode none
ceph osd pool set CMC-G1.rgw.buckets.data compression_max_blob_size 1073741824
ceph osd pool set CMC-G1.rgw.buckets.data compression_min_blob_size 1048576



ceph osd pool set CMC-G1.rgw.buckets.data compression_algorithm snappy
ceph osd pool set CMC-G1.rgw.buckets.data compression_mode none
ceph osd pool set CMC-G1.rgw.buckets.data compression_max_blob_size 0
ceph osd pool set CMC-G1.rgw.buckets.data compression_min_blob_size 0



====
12/12/2023
compression_max_blob_size 4194304
compression_min_blob_size 4096

Test upload file 994MB đang gặp tình trạng sau:
Test lần 1: compressed còn 747MB -> chưa load đầy đủ object
Test lần 2: compressed còn 885 MB

Test lần 3: không compressed

20/12/2023

lượng data compressed chưa đáng kể, cần test kỹ thêm

Tập tin

Download all files
clipboard-202311211146-5aqr0.png (6,01 KB) clipboard-202311211146-5aqr0.png Tùng Nguyễn, 21-11-2023 11:46
clipboard-202311211802-zmaqn.png (6,06 KB) clipboard-202311211802-zmaqn.png Tùng Nguyễn, 21-11-2023 18:02
clipboard-202312040855-coesv.png (242 KB) clipboard-202312040855-coesv.png Bùi Khắc Nghĩa, 04-12-2023 08:56
clipboard-202312040855-imziu.png (242 KB) clipboard-202312040855-imziu.png Bùi Khắc Nghĩa, 04-12-2023 08:56
clipboard-202312040855-hq6k1.png (242 KB) clipboard-202312040855-hq6k1.png Bùi Khắc Nghĩa, 04-12-2023 08:56
clipboard-202312040901-b9q5q.png (203 KB) clipboard-202312040901-b9q5q.png Bùi Khắc Nghĩa, 04-12-2023 09:02
clipboard-202312040918-8ojzj.png (242 KB) clipboard-202312040918-8ojzj.png Bùi Khắc Nghĩa, 04-12-2023 09:20
clipboard-202312040919-otkg8.png (235 KB) clipboard-202312040919-otkg8.png Bùi Khắc Nghĩa, 04-12-2023 09:20
clipboard-202312040919-0yatv.png (201 KB) clipboard-202312040919-0yatv.png Bùi Khắc Nghĩa, 04-12-2023 09:20
clipboard-202312040930-esmlh.png (205 KB) clipboard-202312040930-esmlh.png Bùi Khắc Nghĩa, 04-12-2023 09:32
clipboard-202312040931-ouapq.png (213 KB) clipboard-202312040931-ouapq.png Bùi Khắc Nghĩa, 04-12-2023 09:32
clipboard-202312040936-iww3f.png (24,4 KB) clipboard-202312040936-iww3f.png Bùi Khắc Nghĩa, 04-12-2023 09:37
clipboard-202312040936-vnpiw.png (23,5 KB) clipboard-202312040936-vnpiw.png Bùi Khắc Nghĩa, 04-12-2023 09:37
clipboard-202312040936-vlell.png (24 KB) clipboard-202312040936-vlell.png Bùi Khắc Nghĩa, 04-12-2023 09:37
clipboard-202312040943-8dkcz.png (223 KB) clipboard-202312040943-8dkcz.png Bùi Khắc Nghĩa, 04-12-2023 09:44
clipboard-202312040944-zsrai.png (207 KB) clipboard-202312040944-zsrai.png Bùi Khắc Nghĩa, 04-12-2023 09:45
clipboard-202312040950-i1uj3.png (22,9 KB) clipboard-202312040950-i1uj3.png Bùi Khắc Nghĩa, 04-12-2023 09:51
clipboard-202312041010-yb1vt.png (225 KB) clipboard-202312041010-yb1vt.png Bùi Khắc Nghĩa, 04-12-2023 10:11
clipboard-202312041011-tqcbb.png (207 KB) clipboard-202312041011-tqcbb.png Bùi Khắc Nghĩa, 04-12-2023 10:12
clipboard-202312041014-wlbov.png (24 KB) clipboard-202312041014-wlbov.png Bùi Khắc Nghĩa, 04-12-2023 10:15
clipboard-202312200856-fwnsv.png (80,2 KB) clipboard-202312200856-fwnsv.png Tùng Nguyễn, 20-12-2023 08:56
Actions
Copy link

Định dạng khác của trang này: Atom PDF