Fluent Bit 문서/버퍼링

1 개요

버퍼링

성능 및 데이터 안전

Fluent Bit이 데이터를 처리할 때, 시스템 메모리(힙)를 레코드 로그가 전달되기 전에 저장하기 위한 기본 및 임시 장소로 사용하며, 이 프라이빗 메모리 영역에서 레코드가 처리됩니다.

메모리 버퍼링은 가장 빠른 메커니즘이지만 백프레셔, 데이터 안전을 처리하거나 제한된 환경에서 서비스의 메모리 소비를 줄이기 위해 특별한 전략이 필요한 특정 시나리오가 있습니다.

서드파티 서비스의 네트워크 오류 또는 대기 시간은 매우 일반적이며, 처리할 새 데이터를 수신할 때 데이터를 충분히 빠르게 전달할 수 없는 시나리오에서는 백프레셔에 직면할 가능성이 높습니다.

우리의 버퍼링 전략은 백프레셔 및 일반적인 전송 실패와 관련된 문제를 해결하도록 설계되었습니다.

버퍼링 전략에 따라 Fluent Bit는 메모리에 기본 버퍼링 메커니즘을 제공하고 파일 시스템을 사용하여 선택적 보조 메커니즘을 제공합니다. 이 하이브리드 솔루션을 사용하면 모든 사용 사례를 안전하게 수용하고 데이터를 처리하는 동안 높은 성능을 유지할 수 있습니다.

두 메커니즘은 상호 배타적이지 않으며 데이터가 처리되거나 전달될 준비가 되면 항상 메모리에 있는 반면 큐의 다른 데이터는 처리될 준비가 되어 메모리로 이동할 때까지 파일 시스템에 있을 수 있습니다.

Fluent Bit의 버퍼링 구성에 대해 자세히 알아보려면 버퍼 및 스토리지 섹션으로 이동하세요.

2 참고

• https://docs.fluentbit.io/manual/concepts/buffering