장애가 났을 때 필요한 것은 대개 마지막 몇 분의 로그입니다. 파일 전체를 훑는 대신 필요한 구간의 시작 위치를 먼저 찾도록 Sift를 고쳤습니다. 코드가 대부분인 메모입니다.
--since는 상대 시간과 절대 시각을 모두 받습니다. --until을 생략하면 파일 끝까지 읽습니다.
sift app.log --since 10m --grep "timeout" sift app.log --since 2026-11-02T09:00:00 --until 2026-11-02T09:15:00 sift /var/log/service/ * .log --since 1h --grep "connection reset by peer" --context 3 --format json app.log 09:14:02.118 WARN upstream timeout after 3000ms (attempt 2/3) app.log 09:14:05.131 ERROR upstream timeout after 3000ms (attempt 3/3), giving up 2 lines matched in 38ms (scanned 1,204 of 4,812,330 lines) 상대 시간과 절대 시각을 하나의 타입으로 받고, 해석은 실행 시점에 한 번만 합니다.
1 use clap :: Parser ; 2 use std :: path :: PathBuf ; 3 4 #[derive( Parser , Debug )] 5 #[command(name = "sift" , version, about = "시간 범위와 키워드로 로그를 걸러 냅니다" )] 6 pub struct Args { 7 pub files : Vec < PathBuf >, 8 9 /// 10m, 2h 같은 상대 시간 또는 RFC 3339 시각 10 #[arg(long, value_parser = parse_instant)] 11 pub since : Option < Instant >, 12 13 #[arg(long, value_parser = parse_instant)] 14 pub until : Option < Instant >, 15 16 #[arg(long, short = 'g' )] 17 pub grep : Option < String >, 18 19 #[arg(long, default_value_t = 0)] 20 pub context : usize , 21 } 22 23 #[derive( Clone , Debug )] 24 pub enum Instant { 25 Relative (std :: time :: Duration ), 26 Absolute (chrono :: NaiveDateTime ), 27 } 로그는 시간순으로 쌓이므로 파일의 가운데로 건너뛴 뒤, 다음 줄바꿈까지 밀어서 온전한 한 줄의 시각을 읽으면 됩니다. 시각이 없는 줄(스택 트레이스의 이어지는 줄)은 건너뜁니다.
1 use std :: fs :: File ; 2 use std :: io :: { self , BufRead , BufReader , Seek , SeekFrom }; 3 4 /// `target` 이상인 첫 줄의 바이트 위치를 돌려준다. 5 pub fn seek_to (file : &mut File , target : Timestamp , format : & Format ) -> io :: Result < u64 > { 6 let mut low = 0 u64 ; 7 let mut high = file . metadata () ?. len (); 8 9 while high - low > BLOCK { 10 let middle = low + (high - low) / 2 ; 11 let mut reader = BufReader :: new ( &mut * file); 12 reader . seek (SeekFrom :: Start (middle)) ? ; 13 14 let mut skipped = String :: new (); 15 let offset = middle + reader . read_line ( &mut skipped) ? as u64 ; 1 16 17 match first_timestamp ( &mut reader, format) ? { 18 Some (found) if found < target => low = offset, 19 Some (_) => high = middle, 20 None => high = middle, // 구간에 시각이 있는 줄이 없으면 앞쪽을 본다 21 } 22 } 23 Ok (low) 24 } 25 26 fn first_timestamp < R : BufRead >(reader : &mut R , format : & Format ) -> io :: Result < Option < Timestamp >> { 27 let mut line = String :: new (); 28 for _ in 0 .. MAX_CONTINUATION_LINES { 29 line . clear (); 30 if reader . read_line ( &mut line) ? == 0 { 31 return Ok ( None ); 32 } 33 if let Some (found) = format . parse ( & line) { 34 return Ok ( Some (found)); 35 } 36 } 37 Ok ( None ) 38 } 39 40 const BLOCK : u64 = 64 * 1024 ; 41 const MAX_CONTINUATION_LINES : usize = 200 ; 25줄 더 보기 1 가운데 지점은 줄 중간일 수 있으므로 다음 줄 시작까지 밀어 둡니다.15행
주의 회전된 로그
여러 파일을 이어 붙인 로그는 시간순이 깨질 수 있습니다. 첫 줄과 마지막 줄의 시각이 뒤집혀 있으면 이분 탐색을 포기하고 처음부터 읽습니다.
let mut file = File::open(&path)?; -let reader = BufReader::new(file); +let start = match args.since { + Some(since) => seek::seek_to(&mut file, since.resolve(now), &format)?, + None => 0, +}; +file.seek(SeekFrom::Start(start))?; +let reader = BufReader::new(file); 4.8백만 줄 파일에서 마지막 십 분을 읽는 시간이 2.1초에서 38밀리초로 줄었습니다. 읽은 줄 수를 결과 끝에 함께 적어, 건너뛴 구간이 있다는 사실이 보이도록 했습니다.
댓글
불러오는 중…