VR-operátorképzés · R1 kész, szimuláció

Gyakorlás emulált robottal, mielőtt élesben kell

Az operátor VR-ből vagy laptopról irányít egy emulált Unitree G1 EDU-t: jár, fog, lerak, dob, kezeli a hibákat – a rendszer naplóz, mér és pontoz.

Kész – R1, kinematikai szimulációVR: IWER-emulátorban ellenőrizve
Magyarázó film: így működik a tréningrendszer – munkamenet, felületek, modulok, gyakorlatok, oktatás, VR. Megnézem a YouTube-on ↗
01 — A képzés eredménye

Mire lesz képes az operátor

A célt feladatonként konkretizáljuk, és a rendszer méri is.

  1. 1Irányítja a robototJárás, fordulás, guggolás, kézcél, fogás – a robot valós korlátain belül.
  2. 2Érti a szenzoros korlátokatLátómező, képkor, becsült és hiányzó adat – mit lát a robot, és mit nem.
  3. 3Végrehajtja a feladatotÁthelyezés, lerakás, dobás, parkolás – időkeretben, ütközés nélkül.
  4. 4Felismeri a rendellenességetKésés, befagyott kép, parancskiesés, lemerülő akku – és tudja, mit kell tenni.
Szimuláció – valós alkalmazásfelvétel
Egy tréning fél percben — Robotkártya, aktiválás, járás, fogás, AI-terv jóváhagyása, dobás, eredmény – valós alkalmazásfelvétel a szimulációból.
02 — Modulok

Hat modul az alapoktól a haváriáig

Vezetett, gyakorló, vizsga és mérnöki mód. A részletek a kártyák mögött.

  • Modulok

    TR-01 · Ismerkedés és kalibráció

    A Unitree G1 EDU robotkártyája: gyári és mért adatok külön jelölve – szimulációSzimuláció – valós alkalmazásfelvétel
    A Unitree G1 EDU robotkártyája: gyári és mért adatok külön jelölve – szimuláció

    Robotkártya, kamera és látómező, nézetek, megállás, kézmód (laptop) vagy clutch (VR), fogás nyit-zár, aktiválás.

    Szimuláció – R1

  • Modulok

    TR-02 · Szabad helyváltoztatás

    Az ARworks Robot Lab: dobózóna kosárral, szlalomkapuk, manipulációs asztal – szimulációSzimuláció – valós alkalmazásfelvétel
    Az ARworks Robot Lab: dobózóna kosárral, szlalomkapuk, manipulációs asztal – szimuláció

    Két „állj meg a vonalon” pont, szlalom a három kapun, parkolás ±10 cm / ±10° pontossággal.

    Szimuláció – R1

  • Modulok

    TR-04 · Egykezes fogás és lerakás

    A profil – közvetlen telepresence: a robotkamera képe fogás közben – szimulációSzimuláció – valós alkalmazásfelvétel
    A profil – közvetlen telepresence: a robotkamera képe fogás közben – szimuláció

    A piros doboz és a kék henger áthelyezése. Fel kell ismerni, hogy a sárga doboz túl nehéz (5 kg > 3 kg), a zöld túl széles (> 80 mm).

    Szimuláció – R1

  • Modulok

    TR-V1 · Felügyelt hangutasítás

    Dobás a kosárba: a piros doboz a kosár pereme fölött – szimulációSzimuláció – valós alkalmazásfelvétel
    Dobás a kosárba: a piros doboz a kosár pereme fölött – szimuláció

    Három utasítás előnézettel és jóváhagyással; az asszisztens visszakérdez, ha az utasítás kétértelmű. Része egy terv elvetése és egy készség megszakítása is.

    Szimuláció – R1

  • Modulok

    TR-16L · Havária-lite

    Havária-jelzés: befagyott robotkamera-kép, növekvő képkorral – szimulációSzimuláció – valós alkalmazásfelvétel
    Havária-jelzés: befagyott robotkamera-kép, növekvő képkorral – szimuláció

    Áthelyezés növekvő késéssel (150 → 300 → 600 ms), 2 s-os képbefagyással, parancskieséssel és lemerülő akkuval. A befagyott képet jelezni kell.

    Szimuláció – R1

  • Modulok

    SANDBOX · Szabad gyakorlás

    C profil – térbeli robotnézet: a teljes robot kívülről, robotkamera-ablakkal – szimulációSzimuláció – valós alkalmazásfelvétel
    C profil – térbeli robotnézet: a teljes robot kívülről, robotkamera-ablakkal – szimuláció

    Minden tárgy és zóna, dobási kísérletek – pontozás nélkül.

    Szimuláció – R1

03 — Vezérlés és látás

Laptopon és Quest 3-on ugyanaz a logika

Válasszon funkciót: kiemelődik a billentyű és a kontrollergomb. A súgó a tényleges kiosztást mutatja.

Bal kontroller
Jobb kontroller
Járás és oldalazásW A S D · bal hüvelykujjkar
FunkcióLaptopVR (Quest 3)
W A S Dbal hüvelykujjkar
Q E · F Rjobb hüvelykujjkar
M + egérmarkolatgomb nyomva
Gravasz (0–1)
VA gomb
SzóközB gomb
EnterX 0,5 s-ig
T nyomvaY nyomva
Ppanelgomb a sugármutatóval

A VR-kiosztás csak IWER-emulátorban ellenőrizve.

Amit a robot kamerája lát

A G1 fejkamerája 69° × 42°-os és 47,6°-kal lefelé dől – a startpontról csak a padló látszik. A headset nagy látótere ezen nem változtat.

Robotválasztás: ma a Unitree G1 EDU (29 szabadságfok + Dex3 kéz) – további robotprofil tervezett. Unitree G1 →

Robotszem a startpontról, valós látómező: a kamera 47,6°-os dőlése miatt csak a padló látszikIWER-emulátor – nem valódi headset
Robotszem a startpontról, valós látómező: a kamera 47,6°-os dőlése miatt csak a padló látszik
04 — Manipuláció és havária

Két kéz, és amikor romlik a kapcsolat

Valós alkalmazásfelvételek a szimulációból – nincs utómunka a képen.

Szimuláció – valós alkalmazásfelvétel
Két kéz, két tárgy — Egyszerre két tárgy a két kézben: a jobb a piros dobozt, a bal a kék hengert fogja, majd mindkettő a tálcára kerül – jóváhagyott tervlépésekkel. Kétkezes (bimanuális) fogás az R1-ben nincs.

Kétkezes (bimanuális) fogás az R1-ben nincs: a tréning a valós G1-korlátot követi. Tervezett az R2-ben.

Szimuláció – valós alkalmazásfelvétel
Kapcsolatromlás és befagyott kép — Növekvő késés, befagyott kép növekvő képkorral, a jelzés, majd parancskiesés – szimulált hálózati hibák.
Hibaprofilok az oktatói konzolon
  • LAN, WAN ~150 ms, WAN ~300 ms, rossz ~600 ms, 5% csomagvesztés, eszkaláció
  • Csúszkák: késés, jitter, csomagvesztés
  • Egyszeri események: képbefagyás, parancs- és telemetriakiesés, alacsony töltöttség, kamerahiba
05 — Oktatói eszközök

Az oktató lát, beavatkozik, visszanéz

Élő nézetek, hibainjektálás, szünet, a vezérlési jog visszavonása, jegyzet – és a próbálkozás visszajátszása.

Oktatói konzol futás közben: élő nézetek és hibainjektálás – szimulációSzimuláció – valós alkalmazásfelvétel
Oktatói konzol futás közben: élő nézetek és hibainjektálás – szimuláció
  • Tükrözött robotkamera, pontos külső nézet és térkép élőben
  • Szimulált vészleállítás dupla megerősítéssel, majd helyreállítás
  • Segítségek, UI-profil és mód beállítása két próbálkozás között
  • Visszajátszás 0,25×–4×, robotkamerával, térképpel, kézpályával
Szimuláció – valós alkalmazásfelvétel
Oktatói visszajátszás — A naplóból épülő, mindig virtuális visszajátszás idővonallal, esemény- és hibajelölőkkel, lassítással.
06 — Felületkísérletek

Három elrendezés, azonos vezérlés

A profilok ugyanazokat a parancsokat és állapotokat adják (tesztelve) – így összehasonlíthatók.

Szimuláció – valós alkalmazásfelvétel
Egy vezérlés, három felület — Ugyanabban a futásban az A, a B és a C operátori felület.
  • A profil – közvetlen telepresence: a robotkamera képe fogás közben – szimulációSzimuláció – valós alkalmazásfelvétel
    A – közvetlen telepresenceTeljes képernyős robotkamera, HUD-dal.
  • B profil – operátori vezérlőpult: térkép, robotkamera, érzékelt tárgyak, robotállapot, lépések, események – szimulációSzimuláció – valós alkalmazásfelvétel
    B – operátori vezérlőpultTérkép, kamera, tárgyak, állapot, események.
  • C profil – térbeli robotnézet: a teljes robot kívülről, robotkamera-ablakkal – szimulációSzimuláció – valós alkalmazásfelvétel
    C – térbeli robotnézetA robot kívülről, kameraablakkal.
07 — Értékelés

Teljesítési kapu és mért részpontok

Siker, kritikus esemény nélkül, időn belül – plusz 0–100-as részpontszám.

Eredményképernyő: teljesítési kapu, részpontok, lépések – szimulációSzimuláció – valós alkalmazásfelvétel
Eredményképernyő: teljesítési kapu, részpontok, lépések – szimuláció
  • Feladatpontosság40%
  • Rendszerkezelés25%
  • Mozgásminőség20%
  • Időhatékonyság15%

A vezetett mód eredménye nem összevethető; a szabad gyakorlás és a mérnöki mód nincs pontozva. Újrapontozás másik rubrikával is lehetséges.

Értékelés

Nyomtatható eredménylap

Nyomtatható eredménylap (felső része) – szimulációSzimuláció – valós alkalmazásfelvétel
Nyomtatható eredménylap (felső része) – szimuláció
08 — Ami következik

Tervezett bővítések

Ezek még nincsenek kész – ezért külön, „tervezett” jelöléssel szerepelnek.

  • TervezettElső próba valódi headsetenMeta Quest 3: optika, kényelem, követés, teljesítmény – ellenőrzőlistával.
  • TervezettKétkezes fogás és ujjpanelR2: TR-05 és TR-06 modul.
  • TervezettKétoperátoros mód és átadásR2: mozgás és manipuláció megosztva, naplózott átadás.
  • TervezettGamepad, kézkövetés, mobilR2: további bemeneti eszközök ugyanazon a parancskapun.
  • TervezettMeglévő VR-appok bekötéseAz ARworks VR-tréningjeinek forgatókönyvei robotos feladatsorként – előzményreferenciák alapján.

A tréningben a robot kinematikai szimuláció: URDF-pontos geometria, ízülethatárok, ütközés – dinamika (egyensúly, esés, erők) nélkül.

Projektindítás

Melyik robottal, milyen feladatra?

Írja meg a robotmodellt, a felhasználási célt és a munkakörnyezetet – ebből készítjük elő az első egyeztetést.

* kötelező