LTX-2 I2V: 더 높은 해상도에서 품질이 훨씬 향상됨(RTX6000 Pro)

https://files.catbox.moe/pvlbzs.mp4

안녕하세요 Reddit,

저는 LTX-2의 I2V로 약간의 실험을 해왔고 다른 많은 사람들과 마찬가지로 좋은 결과 (스틸 프레임 비디오, 나쁜 품질의 비디오, 멜팅 등)를 얻기 위해 고군분투하고있었습니다. 여러 댓글 섹션을 훑어보고 여러 가지를 시도하면서 화질 개선에 도움이 되는 것 같은 목록을 정리했습니다.

1. 항상 가로 모드(너비 및 높이)로 동영상 생성하기
2. 기본 FPS를 24에서 48로 변경하면 모션이 더 사실적으로 보이는 데 도움이 되는 것 같습니다.
3. 클라운샤크 Res_2s 샘플러와 함께 LTX-2 I2V 3단계 워크플로우를 사용합니다.
4. 해상도를 높입니다(VRAM 사용량 증가). 이 게시물의 동영상은 2MP(1728x1152)로 생성되었습니다. LTX-2 팀이 제공하는 워크플로우에서는 기본 동영상을 절반 해상도로 생성하는 것으로 알고 있습니다.
5. 1단계에서 LTX-2 디테일러 LoRA를 사용합니다.
6. LTX-2 프롬프트 지침을 주의 깊게 따르세요. 한 번에 너무 많은 작업을 진행하지 않도록 하고, 누군가는 항상 프롬프트를 "시네마틱 장면"으로 시작하여 스틸 프레임 비디오를 피하라고 언급했습니다(웃기시죠?).

움직이는 모든 것에 아티팩트/고스트/번짐 현상이 발생하는 것은 (현재로서는) 문제인 것 같습니다.

추가적으로 도움이 될 수 있는 잠재적인 사항입니다:

1. 짧은 Wan2.2 애니메이션 동영상을 참조 이미지로 제공합니다.
2. LTX-2 팀이 제공한 2단계 워크플로우 추가 조정(시그마, 샘플러, 2단계에서 디스틸 제거, 스텝 증가 등)
3. 더 높은 해상도로 기본 비디오 잠상 생성 시도.
4. 포스트 프로세싱 워크플로우/다른 도구를 사용하여 이러한 문제 중 일부를 '마스크'합니다.

이러한 I2V 문제가 일시적인 현상일 뿐이고 다음 업데이트에서는 정말 해결되기를 바랍니다. 현재로서는 이 모델을 최대한 활용하려면 상당한 컴퓨팅 성능이 필요한 것 같습니다. 하지만 T2V의 경우, LTX-2는 저해상도(720p)에서도 이 동영상과 같이 huggingface의 댓글 섹션에 올라온 것처럼 놀라울 정도로 좋은 동영상을 만들어내는 것 같습니다.

제가 올린 동영상은 약 11초 분량이며, fp16 모델을 사용하여 약 15분 정도 걸렸습니다. 첫 번째 프레임은 Z-Image에서 생성되었습니다.

시스템 사양: RTX 6000 Pro(96GB VRAM), 128GB RAM
(아니요, 저는 부자가 아닙니다 ㅋㅋ)

**편집1:**

1. 동영상에 사용한 워크플로
2. LTX-2 팀의 컴피유 워크플로우 (저는 LTX-2_I2V_Full_wLora.json을 사용했습니다.)

**편집2:**
FPS를 60으로 올리면 배경이 크게 개선되고 텍스트가 선명 해지고 고스트가 사라지는 것 같지만 여전히 설정을 만지작 거립니다. https://files.catbox.moe/axwsu0.mp4

---