MIRAI · Human-in-command robotica

Zie elke robotbeweging voordat die gebeurt.

Stuur robots aan door te spreken en te wijzen. MIRAI toont het plan van de AI eerst als hologram in de echte werkruimte. Er beweegt niets totdat een mens het goedkeurt.

Draait op HoloLens 2, Android en in de browser Architectuur peer-reviewed op APMS 2026

Interactieve simulatie · geen echte opname · kies een scenario of laat ze afspelen

Waarom het ertoe doet

AI kan intentie lezen. Vertrouwen is het ontbrekende stuk.

Een plausibel plan is niet automatisch een veilig of juist plan.

Industriële robots programmeren vraagt om experts en insteltijd. Met taalmodellen kunnen mensen nu gewoon zeggen wat ze willen, maar de robot moet het nog steeds goed doen.

MIRAI koppelt AI-redenering aan een ruimtelijke interface, zodat een mens kan zien, beoordelen en stoppen wat de robot van plan is, precies waar het gebeurt.

Zo werkt het

Van instructie naar actie, met een mens in de loop

Vier stappen. Bij de derde beslist de mens.

  1. Instrueren

    Spreek, wijs of typ. "Zet het daar neer" betekent echt iets.

  2. Voorvertonen

    Het plan verschijnt als hologram: traject, doel en hoe het verzoek is begrepen.

  3. Beslissen

    Keur het goed, of wijs het af met een correctie en krijg een herzien plan.

  4. Uitvoeren

    Alleen goedgekeurde plannen bereiken de robot. Je kunt op elk moment nog ingrijpen.

Waar het past

Overal waar een mens het laatste woord moet houden

Overal waar een robot handelt op door AI gegenereerde plannen, geldt dezelfde goedkeuringslaag.

  • Picken, verpakken en sorteren

    Stuur picks aan met je stem, of keur in één keer een heel sorteerplan goed.

  • Werken naast mensen

    Stops die wachten op een expliciete hervatting, overdrachten die pas loslaten bij een bevestigde grip.

  • Oefenen in de twin

    Test een plan droog op een digital twin van de cel voordat het de hardware bereikt.

  • HRI-onderzoek en onderwijs

    Een werkend platform voor onderzoek naar XR-gebaseerde mens-robotinteractie.

MIRAI is een onderzoeksplatform, geen gecertificeerd veiligheidssysteem. Machineveiligheid blijft de verantwoordelijkheid van de integrator.

Systeemarchitectuur

Drie lagen, één loop

Interactie, interpretatie en uitvoering, met de operator steeds in de loop.

Diagram van de MIRAI-systeemarchitectuur: een XR-gebruikersinterface stuurt instructies naar de MIRAI-server, die ze met AI verwerkt en acties doorstuurt naar een lokale edge-computer die is verbonden met sensoren, camera's en de fysieke robot
  • XR User InterfaceSpraak, gebaren en tekst als invoer, op een headset, een Android-apparaat of in de browser; de live status van robot en objecten wordt teruggetoond.
  • MIRAI ServerInterpreteert instructies tegen de scène, controleert ze en plant robotacties in.
  • Local Edge ComputerPerceptie, lokale veiligheidsanalyse en uitvoering, direct naast de robot.
  • Unity
  • ROS
  • LLMs
  • Computer vision
  • HoloLens 2
  • Android
  • WebGL
  • Edge computing
Waar het nu staat

Een werkende proof of concept, van begin tot eind

Volop in ontwikkeling. Zo is het hier gekomen, in echte opnames.

  1. 01 · Prototype

    Eerste prototype in Unity

    Door AI geplande acties worden een holografische voorvertoning in plaats van direct te worden uitgevoerd. Getoond in de Unity-editor.

  2. 02 · Inzet

    Draaiend op HoloLens 2

    Het volledige systeem draait van begin tot eind op een HoloLens 2, en nu ook op Android en als vereenvoudigde versie in de browser. De operator bekijkt het plan en keurt het goed of wijst het af met een correctie.

  3. 03 · Orkestratie

    Server en supervisie-interface

    Eén interface voor taken, scènecontext, AI-provider, uitvoeringsstatus en goedkeuringen, van gesproken instructie tot robotprogramma.

Peer-reviewed

Gepubliceerd op APMS 2026

De architectuur is gepubliceerd in de proceedings van APMS 2026 (IFIP, Springer).

"MIRAI: Introducing a Human-in-Command Architecture for Multimodal AI-driven Human-Robot-Interaction"

J. S. I. Rieder, A. Geliev, D. Aschenbrenner · Springer, pp. 18–32

doi.org/10.1007/978-3-032-38618-2_2 ↗

Gerelateerd onderzoek

Wat er komt

Verder dan één robotarm

  • Klaar voor simulatoren Verkennend

    Isaac Sim, MuJoCo, Gazebo of Unity via MQTT, om te oefenen vóór de echte hardware.

  • Autonome en humanoïde robots Verkennend

    Dezelfde goedkeuringslaag voor agentic robots en humanoïden.

Vragen

Wat mensen meestal vragen

Staat je vraag er niet bij?

Vraag me direct naar MIRAI. Meestal hoor je binnen twee werkdagen van me.

Stel een vraag
Heb ik een HoloLens 2 nodig om MIRAI te gebruiken?

Nee. MIRAI draait op een HoloLens 2, op Android-apparaten en als vereenvoudigde versie in de browser.

Met welke robots en AI-modellen werkt het?

Robots worden gekoppeld via ROS, en de AI-provider is instelbaar op de server.

Wat houdt de AI tegen om iets onveiligs te doen?

Een mens keurt elk plan goed, de operator kan op elk moment ingrijpen, en naast de robot draait een lokale veiligheidsanalyse.

Is MIRAI een af product?

Nee, het is een werkende proof of concept. Pilots worden afgebakend rond een concrete taak en robot, of een simulatie daarvan.

Een human-in-command pilot op jouw robot?

Beschrijf de taak. Je krijgt een eerlijk antwoord of MIRAI past.

Bespreek een pilot