Fluent Bit 문서/버퍼링

1 개요

버퍼링

성능 및 데이터 안전

Fluent Bit이 데이터를 처리할 때, 시스템 메모리(힙)를 레코드 로그가 전달되기 전에 저장하기 위한 기본 및 임시 장소로 사용하며, 이 프라이빗 메모리 영역에서 레코드가 처리됩니다.

메모리 버퍼링은 가장 빠른 메커니즘이지만 백프레셔, 데이터 안전을 처리하거나 제한된 환경에서 서비스의 메모리 소비를 줄이기 위해 특별한 전략이 필요한 특정 시나리오가 있습니다.

틀:Docs note 서드파티 서비스의 네트워크 오류 또는 대기 시간은 매우 일반적이며, 처리할 새 데이터를 수신할 때 데이터를 충분히 빠르게 전달할 수 없는 시나리오에서는 백프레셔에 직면할 가능성이 높습니다.

우리의 버퍼링 전략은 백프레셔 및 일반적인 전송 실패와 관련된 문제를 해결하도록 설계되었습니다. 틀:Docs /note

버퍼링 전략에 따라 Fluent Bit는 메모리에 기본 버퍼링 메커니즘을 제공하고 파일 시스템을 사용하여 선택적 보조 메커니즘을 제공합니다. 이 하이브리드 솔루션을 사용하면 모든 사용 사례를 안전하게 수용하고 데이터를 처리하는 동안 높은 성능을 유지할 수 있습니다.

두 메커니즘은 상호 배타적이지 않으며 데이터가 처리되거나 전달될 준비가 되면 항상 메모리에 있는 반면 큐의 다른 데이터는 처리될 준비가 되어 메모리로 이동할 때까지 파일 시스템에 있을 수 있습니다.

Fluent Bit의 버퍼링 구성에 대해 자세히 알아보려면 버퍼 및 스토리지 섹션으로 이동하세요.

2 같이 보기

• 버퍼링

3 참고

• https://docs.fluentbit.io/manual/concepts/buffering