ข้ามไปยังเนื้อหา

LTX 2.3 Trainer (V2) - Audio+Video Reference Transformation

ผสานการทำงาน

ID โมเดล ltx23-trainer-v2/av2av
# Run the model; wait up to 20 s for the finished result in the same call
curl -X POST "https://api.doitong.com/v1/run/ltx23-trainer-v2/av2av?wait=20" \
  -H "Authorization: Bearer $DOITONG_API_KEY" \
  -H "Content-Type: application/json" \
  -d '{
    "training_data_url": "https://example.com/your-file.zip"
  }'

# Still "queued" or "running"? Poll with the id from the response:
curl "https://api.doitong.com/v1/requests/REQUEST_ID?wait=20" \
  -H "Authorization: Bearer $DOITONG_API_KEY"

คำขอนี้: $13.60 13,600 เครดิต API เรียกใช้ในหน้านี้

รับคีย์ API
Lightricks การฝึกโมเดล อินพุตอ้างอิง1–60 s

ฝึก LoRA ที่แมปวิดีโอและเสียงของคลิปอ้างอิงไปยังคลิปเป้าหมายที่จับคู่กัน โดยสร้างทั้งสองแทร็กร่วมกัน

Lightricks · ไฟล์

ผลลัพธ์แรกของคุณจะแสดงที่นี่

สร้างคำขอด้านล่างและเรียกใช้ด้วยคีย์ API ของคุณ เอาต์พุตจะถูกคัดลอกไปยังพื้นที่จัดเก็บของเรา และเก็บไว้ตลอดไปหรือฟรี 7 วัน

สร้างคำขอ

ตัวควบคุมสร้างจากสคีมาของโมเดล โค้ดและราคาจะอัปเดตเมื่อคุณเปลี่ยนค่า

resolution ค่าเริ่มต้น medium

ความละเอียดสำหรับการฝึก การเพิ่มความละเอียดจะเพิ่มความต้องการหน่วยความจำ

aspect_ratio ค่าเริ่มต้น 1:1

อัตราส่วนภาพสำหรับการฝึก

•จำเป็น

URL ของ `.zip` ที่มีข้อมูลฝึก ซึ่งจัดระเบียบตามโหมดการฝึกที่เลือก ไฟล์สื่อแต่ละไฟล์อาจมีคำบรรยาย `.txt` ที่มีชื่อฐานตรงกัน

ค่าเริ่มต้น 2000

จำนวนขั้นตอนการฝึกทั้งหมด

ขั้นสูง validation_negative_prompt · rank · validation_resolution · validation_aspect_ratio · trigger_phrase · learning_rate · number_of_frames · frame_rate · split_input_duration_threshold · validation_number_of_frames · validation_frame_rate · stg_scale · reference_downscale_factor · reference_temporal_scale_factor · auto_scale_input · split_input_into_scenes · debug_dataset · audio_normalize · audio_preserve_pitch · validation
ค่าเริ่มต้น blurry, out of focus,...

พรอมต์เชิงลบที่ใช้ระหว่างการตรวจสอบ ซึ่งใช้กระบวนการพรีวิวแบบขั้นตอนเดียว เนื่องจากกระบวนการดังกล่าวประมาณการอนุมานสำหรับการใช้งานจริงแบบกลั่นที่มีสองขั้นตอน คำแนะนำและคุณภาพพรีวิวจึงแตกต่างจากผลลัพธ์สุดท้าย

rank ค่าเริ่มต้น 32

อันดับการปรับใช้ LoRA ซึ่งแลกการใช้หน่วยความจำที่เพิ่มขึ้นกับความจุที่มากขึ้นเมื่อเพิ่มค่าการตั้งค่า

validation_resolution ค่าเริ่มต้น high

ความละเอียดที่ใช้ระหว่างการตรวจสอบ

validation_aspect_ratio ค่าเริ่มต้น 1:1

อัตราส่วนภาพที่ใช้ระหว่างการตรวจสอบ

ค่าเริ่มต้น

วลีเปิดใช้สไตล์ LoRA ซึ่งแทรกไว้ที่จุดเริ่มต้นของคำบรรยายระหว่างการฝึก

ค่าเริ่มต้น 0.0002

อัตราการเรียนรู้สำหรับการเพิ่มประสิทธิภาพ

ค่าเริ่มต้น 89

จำนวนเฟรมของแต่ละตัวอย่างฝึก เมื่อนำจำนวนดังกล่าวหารด้วย 8 ต้องเหลือเศษ 1 ตัวอย่างได้แก่ 1, 9, 17, 25, 33, 41, 49, 57, 65, 73, 81, 89, 97

ค่าเริ่มต้น 24

อัตราเฟรมเป้าหมายของวิดีโอฝึกในหน่วยเฟรมต่อวินาที อัตราดั้งเดิมของ LTX-2.3 คือ 24

ค่าเริ่มต้น 30

ทริกเกอร์การแยกฉากที่ระบุเป็นระยะเวลาในหน่วยวินาที: จะแยกเฉพาะวิดีโอที่ยาวกว่าเกณฑ์

ค่าเริ่มต้น 89

จำนวนเฟรมของวิดีโอการตรวจสอบแต่ละรายการ

ค่าเริ่มต้น 24

อัตราเฟรมเป้าหมายของวิดีโอการตรวจสอบในหน่วยเฟรมต่อวินาที โดย LTX-2.3 ทำงานดั้งเดิมที่ 24

ค่าเริ่มต้น 1

สเกล Spatio-Temporal Guidance (STG) โดยแนะนำให้ใช้ 1.0 และ 0.0 จะปิดใช้ STG

ค่าเริ่มต้น 1

ตัวคูณการลดขนาดสำหรับสร้างพร็อกซีควบคุมวิดีโออ้างอิงแบบหยาบและความละเอียดต่ำก่อนการเข้ารหัส โดยคงเอาต์พุตไว้ที่ความละเอียดเต็ม ขนาดทั้งสองของข้อมูลอ้างอิงต้องหารด้วย 32 ลงตัวทั้งก่อนและหลังการหารด้วยตัวคูณ ค่าเริ่มต้น 1 จะคงความละเอียดเดิม

ค่าเริ่มต้น 1

ตัวคูณการลดอัตราเฟรมของวิดีโออ้างอิง โดยมีค่าเริ่มต้นเป็น 1 เพื่อคง fps การลดการสุ่มตัวอย่างตามเวลาด้วยตัวคูณนี้จะลด fps ก่อนเข้ารหัสวิดีโอ

ค่าเริ่มต้น []

ลิสต์พรอมต์ตรวจสอบที่จับคู่แต่ละพรอมต์กับวิดีโอและเสียงอ้างอิง

POST /run/ltx23-trainer-v2/av2av?wait=20 ใบเสนอราคา → $13.60
# Run the model; wait up to 20 s for the finished result in the same call
curl -X POST "https://api.doitong.com/v1/run/ltx23-trainer-v2/av2av?wait=20" \
  -H "Authorization: Bearer $DOITONG_API_KEY" \
  -H "Content-Type: application/json" \
  -d '{
    "training_data_url": "https://example.com/your-file.zip"
  }'

# Still "queued" or "running"? Poll with the id from the response:
curl "https://api.doitong.com/v1/requests/REQUEST_ID?wait=20" \
  -H "Authorization: Bearer $DOITONG_API_KEY"

เรียกใช้คำขอนี้

คีย์ของคุณจะอยู่ในเบราว์เซอร์นี้ โดยส่งไปยัง Doitong API เท่านั้น และจะบันทึกใน localStorage ก็ต่อเมื่อคุณเลือกจดจำ รับคีย์ API

เกี่ยวกับ LTX 2.3 Trainer (V2) - Audio+Video Reference Transformation

ฝึก LoRA จากคลิปที่จับคู่กัน โดยวิดีโออ้างอิงแต่ละรายการพร้อมเสียงจะจับคู่กับคลิปเป้าหมาย ระบุ zip ผ่าน `training_data_url` พร้อมคำบรรยาย .txt ที่ไม่บังคับ การแยกฉากปิดไว้เป็นค่าเริ่มต้น เพราะจะทำให้คู่เริ่มต้น/สิ้นสุดไม่ซิงค์กัน ดังนั้นให้ส่งคลิปที่ตัดไว้แล้ว Rank อยู่ที่ 8 ถึง 128 ขั้นตอนอยู่ที่ 100 ถึง 10000 และอนุญาตรายการตรวจสอบความถูกต้องได้สูงสุด 2 รายการ

พารามิเตอร์

ชื่อประเภท ค่าเริ่มต้นค่าที่อนุญาต คำอธิบาย
training_data_urlจำเป็น
ประเภทstring
URL ของ `.zip` ที่มีข้อมูลฝึก ซึ่งจัดระเบียบตามโหมดการฝึกที่เลือก ไฟล์สื่อแต่ละไฟล์อาจมีคำบรรยาย `.txt` ที่มีชื่อฐานตรงกัน
rankไม่บังคับ
ประเภทenum
ค่าเริ่มต้น32
8163264128
อันดับการปรับใช้ LoRA ซึ่งแลกการใช้หน่วยความจำที่เพิ่มขึ้นกับความจุที่มากขึ้นเมื่อเพิ่มค่าการตั้งค่า
number_of_stepsไม่บังคับ
ประเภทinteger
ค่าเริ่มต้น2000
100 – 10,000
จำนวนขั้นตอนการฝึกทั้งหมด
learning_rateไม่บังคับ
ประเภทnumber
ค่าเริ่มต้น0.0002
0.000001 – 1
อัตราการเรียนรู้สำหรับการเพิ่มประสิทธิภาพ
number_of_framesไม่บังคับ
ประเภทinteger
ค่าเริ่มต้น89
9 – 121
จำนวนเฟรมของแต่ละตัวอย่างฝึก เมื่อนำจำนวนดังกล่าวหารด้วย 8 ต้องเหลือเศษ 1 ตัวอย่างได้แก่ 1, 9, 17, 25, 33, 41, 49, 57, 65, 73, 81, 89, 97
frame_rateไม่บังคับ
ประเภทinteger
ค่าเริ่มต้น24
8 – 60
อัตราเฟรมเป้าหมายของวิดีโอฝึกในหน่วยเฟรมต่อวินาที อัตราดั้งเดิมของ LTX-2.3 คือ 24
resolutionไม่บังคับ
ประเภทenum
ค่าเริ่มต้นmedium
lowmediumhigh
ความละเอียดสำหรับการฝึก การเพิ่มความละเอียดจะเพิ่มความต้องการหน่วยความจำ
aspect_ratioไม่บังคับ
ประเภทenum
ค่าเริ่มต้น1:1
16:91:19:16
อัตราส่วนภาพสำหรับการฝึก
trigger_phraseไม่บังคับ
ประเภทstring
ค่าเริ่มต้น
วลีเปิดใช้สไตล์ LoRA ซึ่งแทรกไว้ที่จุดเริ่มต้นของคำบรรยายระหว่างการฝึก
auto_scale_inputไม่บังคับ
ประเภทboolean
ค่าเริ่มต้นfalse
การปรับวิดีโออัตโนมัติให้ตรงกับ FPS และจำนวนเฟรมที่ร้องขอเมื่อเปิดใช้ ส่วนชุดข้อมูลรูปภาพจะไม่เปลี่ยนแปลง
split_input_into_scenesไม่บังคับ
ประเภทboolean
ค่าเริ่มต้นfalse
ปิดการแยกฉากใน av2av เพื่อให้คู่ _start/_end ซิงโครไนซ์กัน คลิปต้องถูกแยกไว้ล่วงหน้า และการเตรียมคู่เป้าหมาย/ข้อมูลอ้างอิงจะไม่สนใจการตั้งค่าการแยกฉาก
split_input_duration_thresholdไม่บังคับ
ประเภทnumber
ค่าเริ่มต้น30
1 – 60
ทริกเกอร์การแยกฉากที่ระบุเป็นระยะเวลาในหน่วยวินาที: จะแยกเฉพาะวิดีโอที่ยาวกว่าเกณฑ์
debug_datasetไม่บังคับ
ประเภทboolean
ค่าเริ่มต้นfalse
โหมดตรวจสอบการประมวลผลล่วงหน้าสำหรับตรวจสอบวิดีโอ รูปภาพ และคำบรรยายก่อนการฝึกแบบเต็ม เมื่อเปิดใช้ เทรนเนอร์จะส่งคืนชุดข้อมูลฝึกที่ประมวลผลแล้วในไฟล์เก็บถาวรที่ดาวน์โหลดได้เพื่อการตรวจสอบด้วยตนเอง
audio_normalizeไม่บังคับ
ประเภทboolean
ค่าเริ่มต้นtrue
การปรับมาตรฐานพีกของเสียงเพื่อรักษาระดับให้สม่ำเสมอตลอดชุดข้อมูล
audio_preserve_pitchไม่บังคับ
ประเภทboolean
ค่าเริ่มต้นtrue
รักษาระดับเสียงขณะปรับเสียงให้มีความยาวเท่ากับวิดีโอแทนการตัดเสียง
validationไม่บังคับ
ประเภทobject[]
ค่าเริ่มต้น[]
≤ 2 รายการ
ลิสต์พรอมต์ตรวจสอบที่จับคู่แต่ละพรอมต์กับวิดีโอและเสียงอ้างอิง
validation[].promptจำเป็น
ประเภทstring
พรอมต์ที่ใช้ระหว่างการตรวจสอบ
validation[].reference_video_urlจำเป็น
ประเภทurl · video
≥ 1 characters
URL วิดีโออ้างอิงที่ใช้กำกับการสร้างเสียงและวิดีโอ แทร็กเสียงของวิดีโอยังทำหน้าที่เป็นเสียงอ้างอิงด้วย
validation[].reference_audio_urlไม่บังคับ
ประเภทurl · audio
แทนที่แทร็กเสียงจาก `reference_video_url` ได้โดยระบุ URL ของไฟล์เสียงอ้างอิงแยกต่างหาก
validation_negative_promptไม่บังคับ
ประเภทstring
ค่าเริ่มต้นblurry, out of focus, overexposed, underexposed, low contrast, washed out colors, excessive noise, grainy texture, poor lighting, flickering, motion blur, distorted proportions, unnatural skin tones, deformed facial features, asymmetrical face, missing facial features, extra limbs, disfigured hands, wrong hand count, artifacts around text, inconsistent perspective, camera shake, incorrect depth of field, background too sharp, background clutter, distracting reflections, harsh shadows, inconsistent lighting direction, color banding, cartoonish rendering, 3D CGI look, unrealistic materials, uncanny valley effect, incorrect ethnicity, wrong gender, exaggerated expressions, wrong gaze direction, mismatched lip sync, silent or muted audio, distorted voice, robotic voice, echo, background noise, off-sync audio, incorrect dialogue, added dialogue, repetitive speech, jittery movement, awkward pauses, incorrect timing, unnatural transitions, inconsistent framing, tilted camera, flat lighting, inconsistent tone, cinematic oversaturation, stylized filters, or AI artifacts.
พรอมต์เชิงลบที่ใช้ระหว่างการตรวจสอบ ซึ่งใช้กระบวนการพรีวิวแบบขั้นตอนเดียว เนื่องจากกระบวนการดังกล่าวประมาณการอนุมานสำหรับการใช้งานจริงแบบกลั่นที่มีสองขั้นตอน คำแนะนำและคุณภาพพรีวิวจึงแตกต่างจากผลลัพธ์สุดท้าย
validation_number_of_framesไม่บังคับ
ประเภทinteger
ค่าเริ่มต้น89
9 – 121
จำนวนเฟรมของวิดีโอการตรวจสอบแต่ละรายการ
validation_frame_rateไม่บังคับ
ประเภทinteger
ค่าเริ่มต้น24
8 – 60
อัตราเฟรมเป้าหมายของวิดีโอการตรวจสอบในหน่วยเฟรมต่อวินาที โดย LTX-2.3 ทำงานดั้งเดิมที่ 24
validation_resolutionไม่บังคับ
ประเภทenum
ค่าเริ่มต้นhigh
lowmediumhigh
ความละเอียดที่ใช้ระหว่างการตรวจสอบ
validation_aspect_ratioไม่บังคับ
ประเภทenum
ค่าเริ่มต้น1:1
16:91:19:16
อัตราส่วนภาพที่ใช้ระหว่างการตรวจสอบ
stg_scaleไม่บังคับ
ประเภทnumber
ค่าเริ่มต้น1
0 – 3
สเกล Spatio-Temporal Guidance (STG) โดยแนะนำให้ใช้ 1.0 และ 0.0 จะปิดใช้ STG
reference_downscale_factorไม่บังคับ
ประเภทinteger
ค่าเริ่มต้น1
1 – 8
ตัวคูณการลดขนาดสำหรับสร้างพร็อกซีควบคุมวิดีโออ้างอิงแบบหยาบและความละเอียดต่ำก่อนการเข้ารหัส โดยคงเอาต์พุตไว้ที่ความละเอียดเต็ม ขนาดทั้งสองของข้อมูลอ้างอิงต้องหารด้วย 32 ลงตัวทั้งก่อนและหลังการหารด้วยตัวคูณ ค่าเริ่มต้น 1 จะคงความละเอียดเดิม
reference_temporal_scale_factorไม่บังคับ
ประเภทinteger
ค่าเริ่มต้น1
1 – 8
ตัวคูณการลดอัตราเฟรมของวิดีโออ้างอิง โดยมีค่าเริ่มต้นเป็น 1 เพื่อคง fps การลดการสุ่มตัวอย่างตามเวลาด้วยตัวคูณนี้จะลด fps ก่อนเข้ารหัสวิดีโอ
จำเป็น

เอาต์พุต

GET /requests/req_8k2m4q7x1z9c3v5b6n0p2r4t
{
  "id": "req_8k2m4q7x1z9c3v5b6n0p2r4t",
  "object": "request",
  "model": "ltx23-trainer-v2/av2av",
  "status": "succeeded",
  "created_at": "2026-10-20T12:00:00Z",
  "started_at": "2026-10-20T12:00:02Z",
  "completed_at": "2026-10-20T12:00:09Z",
  "queue_position": null,
  "cost": {
    "credits": 13600,
    "usd": "13.60",
    "charged": 13600,
    "refunded": 0
  },
  "input": {
    "training_data_url": "https://example.com/your-file.zip"
  },
  "output": {
    "video": {
      "url": "https://content.doitong.com/dev-api/2026/10/20/req_8k2m4q7x1z9c3v5b6n0p2r4t/0-output.jpeg",
      "content_type": "image/jpeg",
      "file_name": "0-output.jpeg",
      "file_size": 1843200
    },
    "audio": {
      "url": "https://content.doitong.com/dev-api/2026/10/20/req_8k2m4q7x1z9c3v5b6n0p2r4t/0-output.jpeg",
      "content_type": "image/jpeg",
      "file_name": "0-output.jpeg",
      "file_size": 1843200
    },
    "lora_file": {
      "url": "https://content.doitong.com/dev-api/2026/10/20/req_8k2m4q7x1z9c3v5b6n0p2r4t/0-output.jpeg",
      "content_type": "image/jpeg",
      "file_name": "0-output.jpeg",
      "file_size": 1843200
    },
    "config_file": {
      "url": "https://content.doitong.com/dev-api/2026/10/20/req_8k2m4q7x1z9c3v5b6n0p2r4t/0-output.jpeg",
      "content_type": "image/jpeg",
      "file_name": "0-output.jpeg",
      "file_size": 1843200
    },
    "debug_dataset": {
      "url": "https://content.doitong.com/dev-api/2026/10/20/req_8k2m4q7x1z9c3v5b6n0p2r4t/0-output.jpeg",
      "content_type": "image/jpeg",
      "file_name": "0-output.jpeg",
      "file_size": 1843200
    }
  },
  "outputs": [
    {
      "type": "file",
      "url": "https://content.doitong.com/dev-api/2026/10/20/req_8k2m4q7x1z9c3v5b6n0p2r4t/0-output.jpeg",
      "content_type": "image/jpeg",
      "file_size": 1843200,
      "stored": true
    }
  ],
  "error": null,
  "metrics": {
    "inference_seconds": 6.8
  },
  "urls": {
    "self": "https://api.doitong.com/v1/requests/req_8k2m4q7x1z9c3v5b6n0p2r4t",
    "cancel": "https://api.doitong.com/v1/requests/req_8k2m4q7x1z9c3v5b6n0p2r4t/cancel"
  }
}
ไฟล์ของคุณ คุณเลือกเองทุก outputs[].url คือสำเนาบนพื้นที่จัดเก็บของเรา: เก็บไว้ตลอดไป (คิดค่าบริการต่อ GB-เดือน) หรือฟรี 7 วัน โดยกำหนดได้ในการตั้งค่าบัญชีหรือ ?storage=
รูปแบบเดียวกันในทุกโมเดลtype, url, content_type, width, height และ duration สำหรับภาพ วิดีโอ และเสียงเหมือนกันทั้งหมด ส่วน output คือออบเจ็กต์ผลลัพธ์ของโมเดลเอง
ฟิลด์ของเอาต์พุต
video
object {url, content_type, file_name, file_size} | nullพรีวิววิดีโอรวมจากการตรวจสอบ เมื่อมีให้ใช้สำหรับเอนด์พอยต์ที่สร้างวิดีโอ
audio
object {url, content_type, file_name, file_size} | nullเสียงรวมจากการตรวจสอบ ซึ่งให้เป็นพรีวิวเมื่อมีสำหรับเส้นทางเฉพาะเสียงเหล่านี้: /audio-inpaint, /audio-extend-suffix, /audio-extend-prefix, /t2a, /a2a และ /v2a
lora_file
object {url, content_type, file_name, file_size}URL สำหรับน้ำหนัก LoRA ที่ฝึกแล้วในรูปแบบ .safetensors
config_file
object {url, content_type, file_name, file_size}การกำหนดค่าสำหรับการตั้งค่าเอนด์พอยต์การอนุมาน
debug_dataset
object {url, content_type, file_name, file_size} | nullเอาต์พุตดีบักที่พร้อมใช้งานเมื่อเปิดใช้ `debug_dataset`: ไฟล์เก็บถาวรที่ดาวน์โหลดได้และมีข้อมูลฝึกหลังการประมวลผลล่วงหน้า

โมเดลเพิ่มเติม: การฝึกโมเดล

สำหรับเอเจนต์ AI: หน้า Markdown นี้อยู่ที่ https://doitong.com/th/developers/models/ltx23-trainer-v2/av2av.md. โมเดลและคู่มือทั้งหมด: https://doitong.com/developers/llms.txt