2025 májusának utolsó péntekén, szűk körben mutatta be legújabb sikereit a hazai közönségének a SHIFT projekt csapata - a nemzetközi projektbemutatóra és mini intervenciós kiállításmegnyitóra az MNMKK Semmelweis Orvostörténeti Múzeumban (SOM) került sor. Az MNMKK SOM ily módon megújult, a sebészeti eszközök fejlődésének változatosságát érzékeltető Variationes című időszaki kiállításában a látogatók immár a virtuális térben is felfedezhetik a 19. századi orvosi eszközöket és azok használatát.
Az Európai Unió Horizon Europe programjának támogatásával összesen tizenegy ország tizenhárom intézménye vesz részt a SHIFT projekt közös munkájában, melynek célja, hogy minden látogató, különösen a fogyatékossággal élő látogatók számára új, értelmezhető és élményszerű hozzáférést biztosítsanak a kulturális tartalmakhoz. A kulturális, kreatív és technológiai partnereket tömörítő konzorcium nem kizárólag a Semmelweis Orvostörténeti Múzeumban kiállított műtárgyakra fókuszál, hiszen a különféle technológiai megoldások segítségével a SHIFT projekt fejlesztései képesek egész gyűjteményi anyagokat feldolgozni, azokat „láthatóvá” tenni, így a projekt eredményeit nem csak a látogatók, de a kutatók is használhatják, élvezhetik.
A nemzetközi együttműködés alapos előkészítő szakasszal indult, kezdetben csupán azzal a célkitűzéssel, hogy a kultúra változatos formában és különféle eszközök segítségével minél több ember számára hozzáférhetővé váljon. Bár a múzeumi inklúzióra való törekvés a kezdetektől megvolt, időbe telt, mire kialakult, a projektben résztvevő partnermúzeumok gyűjteményeiben melyik célcsoport(ok) számára, mely technológiát lehetne legjobban alkalmazni.
Jelnyelvi tolmács segíti a tapasztalati szakértő kollégát a VR szemüveg és a haptikus kesztyű tesztelésében
fotó: Blahák Eszter, MNMKK SOM
“Első körben áttekintettük, melyek azok a csoportok, amelyek rendszeresen látogatják az intézményünket. Statisztikáink szerint főkén látás- és hallássérült személyek, autizmus spektrumzavarral érintettek, illetve értelmileg akadályozott személyek keresik fel a SOM-ot. Létrehoztunk három nagyobb csoportot, és minden egyes fejlesztési szakaszt három külön workshopon teszteltünk tapasztalati szakértőkkel. A siketekkel és nagyothallókkal érkező jelnyelvi tolmácsokat szintén bevontuk szakértőként. Az autizmus spektrumzavarral érintettek esetében a kezdetektől együtt dolgoztunk gyógypedagógus szakemberekkel, akik között akadt olyan, aki maga is érintett volt a fogyatékossággal. Később felvettük a kapcsolatot érintett gyermekcsoportokkal, fiatal felnőttekkel is.” Mondta el a Képmás magazinban megjelenő interjúban Benyó-Vattay Liliána, az MNMKK Semmelweis Orvostörténeti Múzeum Könyvtár és Adattár múzeumpedagógusa.
A mini megnyitó kellemesen nyárias időben, idilli környezetben, a SOM belső udvarán került megrendezésre, a köszöntők és a SHIFT munkafolyamatait és eredményeit röviden összefoglaló beszédek után pedig egy exkluzív tárlatvezetésben lehetett részünk - a Variationes kiállításban Allister Carter, Katerina Valakou és Marilena Schoinarak, a SHIFT projekt technikai partnerei kalauzoltak bennünket végig a közös munka eddigi mérföldkövein.
SHIFT - pilot projektbemutató és intervenciós kiállításmegnyitó az MNMKK Semmelweis Orvostörténeti Múzeum belső kertjében
fotó: Blahák Eszter, MNMKK SOM
A megnyitón beszédet mondott Varga Benedek, az MNMKK SOM főigazgatója, Andreas Bienert, a Berlini Állami Múzeumok – Porosz Kulturális Örökség Alapítvány Főigazgatóságának digitális gyűjteményekért és dokumentációért felelős vezetője, valamint Rob Davies, a Heritage: The Heritage Management Organization európai programokért felelős menedzsere. Mindannyian egyetértettek abban, hogy a SHIFT projekt célja közelebb hozni egymáshoz a kultúra és a digitális újdonságok, a múzeumok és a mestreséges intelligencia világát. A különböző területek találkozása és közös gondolkodás valóban gyümölcsöző együttműködést eredményezett a nemzetközi projekt keretein belül és olyan partnerségeket alakított ki, melyek úttörők a digitális technológiák használatában. Míg korábban a múzeum volt az a hely, ahol a mindent a szemnek, semmit a kéznek elv uralkodott, ma már a technológia vívmányai egyre több lehetőséget adnak a tapintásnak, érzékelésnek is. Ugyanakkor fontos, hogy nem csak látványos, játékos eszközök létrehozásában jelenthet segítséget a kiterjesztett valóság vagy a mesterséges intelligencia. Ez utóbbi, idővel a SHIFT-ben résztvevők egyik legfontosabb "kollégája" lett, folyamatosan fejlődő képességeit pedig mindenképp érdemes átültetni a múzeumszakmai-tudományos életbe.
A kiállításban elsőként Allister Carter beszámolóját hallgathattuk meg - Allister a Massive Dynamic Sweden (MDS) projektmenedzsere, tapasztalt kutató, aki környezet- és klímatudományi háttérrel rendelkezik, jelenleg pedig az MDS kulturális örökséggel foglalkozó fejlesztéseit irányítja. A SHIFT Érme szegmentálás – történetek a felszín alatt szakaszában megvalósult egy olyan digitális innováció, amely a múzeumi digitalizációt és az inkluzív kulturális hozzáférést mozdítja elő. A fejlesztés középpontjában képfeldolgozási és mesterséges intelligencia (MI) alapú technológiák állnak, amelyek segítségével a múzeumi műtárgyakon – jelen esetben érméken – található finom részletek kiemelhetők és értelmezhetők. Ezáltal a tárgyak mögötti történetek nemcsak jobban megismerhetőek lettek, hanem a szélesebb közönség számára is elérhetővé válnak. Az eredmények ismertetése közben megcsodálhattuk Szentgyörgyi Albert Nobel-díját, annak digitálisan elkészített “ikrét” és az érme két oldaláról készített, tapintható gipszmásolatokat is.
A Variationes kiállításban Allister Carter (Massive Dynamics), a SHIFT projekt technikai partnere kalauzolt bennünket
forrás: saját fotó
A módszerről és annak használatáról az MNMKK Magyar Nemzeti Múzeumban 2023-ban Varga Benedek és Philippos Orphanoudakis tartott előadást a 10. MuseumDigit konferencián, A kulturális örökség metamorfózisa kiterjesztett hipermédiás eszközökké: Két dimenziós objektumok háromdimenziós modellezése érmegyűjteményekben és az eltorzult részletek kinyerésére szolgáló úttörő csatorna címmel.
A technológia kapcsán ezt írja a SHIFT:
A feldolgozási folyamat első lépése az objektumok szegmentálása volt, amelyet a Segment Anything Model (SAM) végzett. A ViT-H (Huge Vision Transformer) változat alkalmazásával rendkívül precíz maszkokat hoztunk létre, még alacsony részletességű képeken is. Az előre megadott pontokkal irányított modell lehetővé tette, hogy az érmefelületeken megjelenő árnyalatnyi különbségek is elkülöníthetővé váljanak.
A szegmentált képekből ezt követően a Stable Fast 3D (SF3D) modell segítségével készültek el a háromdimenziós rekonstrukciók. Az SF3D egy előrecsatolt, transformer-alapú Large Reconstruction Model (LRM), amelyet nagy méretű 3D adathalmazokon képeztek ki. A modell képes arra, hogy gyorsan és megbízhatóan generáljon részletgazdag, textúrázott 3D hálókat a kétdimenziós maszkolt bemenetek alapján, sőt, az eredeti nézőpontokon túli látószögeket is értelmezi. Bár az MI által nyújtott értelmezések még túl általánosak, a felhasználói visszajelzések lehetővé teszik a rekonstrukciók finomhangolását.
Ez a technológia nemcsak a műtárgyak digitális megőrzéséhez járul hozzá, hanem jelentősen javítja azok hozzáférhetőségét is. A részletesen rekonstruált 3D modellek lehetőséget adnak arra, hogy a látássérült látogatók tapintható vagy hangalapú formában is kapcsolatba léphessenek a tárgyakkal. Így az érme szegmentálás állomás nem csupán technológiai újdonság, hanem egy fontos lépés egy befogadóbb és digitálisan felkészült múzeumi világ felé.
A svéd Massive Dynamic SHIFT projektben vállalt szerepét a magyar múzeumi szféra képviselői tavaly, 2024-ben a 11. MuseumDigit konferencián már megismerhették. Varga Benedek és Allister Carter Kulturális örökség metamorfózisa kiterjesztett hipermédiás eszközökké (SHIFT) című prezentációjában ízelítőt kaptunk a SOM-mal való együttműködésből és betekintést nyerhettük a fejlesztések technológiai hátterébe is.
Katerina Valakou és Marilena Schoinaraki a görög FORTH (Foundation for Research and Technology - Hellas) képviseletében vettek részt az egyszerre virtuális, mégis fizikailag érzékelhető élmény fejlesztésében és tesztelésében. A megnyitót megelőző napokban a meghívottaknak, így nekem is lehetőségem nyílt kipróbálni a projektben használt interakítv, digitális eszközöket – egy VR szemüveget, valamint egy haptikus kesztyűt, melynek segítségével a valós fizikai érzetek társulnak a szimulációs gyakorlatok mellé.
A fejlesztés kapcsán az alábbiakat írja sajtóanyagában a SHIFT projekt:
A Semmelweis Orvostörténeti Múzeum és a FORTH (Foundation for Research and Technology – Hellas) együttműködésében megvalósult fejlesztés célja a múzeumi műtárgyak digitális hozzáférhetőségének bővítése volt. A SHIFT (Horizon Europe) projekt keretében létrehozott VR technológia lehetővé tette a SOM Variationes kiállításában szereplő orvostörténeti eszközök háromdimenziós, interaktív feldolgozását. A virtuális térben rekonstruált tárgyak, köztük egy koponyalékelés eszközei, digitális modellként jelennek meg, így a látogatók fizikailag elérhetetlen műtárgyakat is részletesen tanulmányozhatnak. Egy virtuális múzeumi térben a felhasználók megvizsgálhatják a 19. századi orvosi műszerek valósághű 3D-s modelljeit, és három különböző korabeli eszközzel elvégezhetnek egy orvosi beavatkozást, a trepanációt. A haptikus kesztyűk használatával a látogatók megtapasztalhatják az eszközök textúráját, hőmérsékletét és ellenállását, ami fizikai dimenziót ad az élményhez, és élethűbbé teszi a szimulációt.
A fejlesztés során a FORTH kutatói szoros együttműködésben dolgoztak a múzeum szakembereivel, hogy a tárgyak történeti hitelessége megmaradjon a digitális adaptáció során is. A projekt technológiai újítása, hogy a vitrinek mögötti gyűjtemény elemei „virtuálisan megfoghatóvá” válnak, támogatva ezzel az oktatást, a kutatást és a digitális örökségmegőrzést.
"A megnyitón elsőként Katerina és Marilena mutatták be az eszközök működését"
forrás: saját fotó
Számomra a tesztelés különösen izgalmas és újszerű élmény volt, mivel ez volt az első alkalom, hogy VR szemüveg került a fejemre. A tesztelésre hozzám hasonlóan jelentkezőknek két körben volt lehetősége kipróbálni a virtuális tér adta lehetőségeket, melyekről mindkét alkalom után részletes, kérdőíves visszajelzést adtunk a görög kollégáknak. Először két kontroller segítségével navigálhattunk a virtuális térben - ezek segítségével jelölhettünk ki tárgyakat, léptethettük a tárgyleírást és hajthattunk végre egy szimulált trepanációt, azaz koponyalékelést. Bár ez elsőre ijesztőnek hangzik, a (nem orvosi értelemben) steril, lecsupaszított környezetnek és a próbababára emlékeztető fejmodellnek hála egyáltalán nem volt megterhelő vagy bármiféle ellenérzést keltő a tapasztalat. A művelet sikeres elvégzésével pedig eltávolítottunk egy vérrögöt próbafejünkből, “megmentve” ezzel az életét. A feladat tehát kicsit sem viszolyogtató, ellenben nagyon jutalmazó volt.
Kezdő játékosként nekem a legnehezebb feladat a megfelelő gombok eltalálása volt – igencsak meggyűlt a bajom a kontrollerekkel, mire ráéreztem, melyik gombot érdemes megnyomni az egyes tárgyak kézbevételéhez, az egyébként egyértelmű műveletek elvégzéséhez. Ezzel szemben a haptikus kesztyű használatakor sokkal egyszerűbb volt számomra a navigáció. A “kesztyű”, tulajdonképpen nem más, mint néhány stratégiai ponton elhelyezett érzékelő az ember három ujján és kézfején. A rögzített kontroller segítségével így egy virtuális kezet kaptam a képernyőmön, mellyel már gombnyomás nélkül volt lehetőségem “megfogni” és megmozgatni a tárgyakat. A kesztyűt tetszőlegesen állítható tépőzár rögzíti a kézre, az ujjakon elhelyezett érzékelők pedig kis és nagy méretűre állíthatók, különböző szilikon “tappancsok” segítségével, így a kipróbálásra bárkinek lehetősége van.
"A “kesztyű”, tulajdonképpen nem más, mint néhány stratégiai ponton elhelyezett érzékelő az ember három ujján és kézfején."
fotó: Blahák Eszter, MNMKK SOM
A megnyitón elsőként Katerina és Marilena mutatták be az eszközök működését, de ezt követően a projekt többi résztvevője és mi vendégek is kipróbálhattuk az élményt. Ahogy a hivatalos tájékoztatóban olvashattuk, a kesztyű a tárgyak textúráját és hőérzetét tudta közvetíteni - esetünkben ezek minden alkalommal hideg, fémes érzetet jelentettek, hiszen a bemutatott orvosi eszközök mind fémből készültek. Az így megtapasztalt ingerek valóban kiegészítették az élményt, igaz, így is akadt egy-két trükkösebb mozdulat, ami izgalmas kihívássá tette az egyébként merőben játékos feladatot.
Az intervenciós kiállítás és a látogathatóság részleteiről a SOM oldalán tájékozódhatnak.
