Intel Neural Compute Stick 2 Windows 11 Kurulumu & Testler

Herkese selamlar,

Bu yazımda 2017 çıkışlı intel movidius myriad mimarisine sahip Intel Neural Compute Stick 2 için Windows 11 üzerinde desteği olmadan ve donanımın EOL olmasına rağmen nasıl çalıştırdığımı ve tanıttığımı aktaracağım.

Geçenlerde malware analysis için satın aldığım Thinkpad T480 üzerinde Google Coral ile beraber kullanmak için bu ekipmanı almıştım, Windows 11 sürücü desteği resmi olarak olmadığından problem yaşayabilirsiniz. Aslında bu ekipmanı malware analysis için Google coral ile beraber kullanacağım ve UEFI ortamını zamanla özelleştireceğim T480 üzerinde Linux üzerinde çalışacak.

Burada sadece ikinci el olarak satın aldığım ürünün çalışıp çalışmadığını kontrol etmek istedim. Aygıt yöneticisinde görünüyordu ancak donanımsal başka sorun var mı yok mu bunu kontrol etmek istedim. Coral NDR olarak çalışırken, Intel durumsal farkındalık sistemi gibi çalışacaktı. Aslında elimde olan Hailo 8'lerin sayısını arttırmak istedim ancak alternatif bulamadım.

Ne yazık ki Türkiye bu NPU ve benzer çiplerin çok fazla kıtlığını yaşadığından ikinci el pazarı ve sıfır pazarda çok bulunamıyor varsa da çok yüksek fiyatlarda ücret isteniyor bazen nadiren işe yaramadığı için elden çıkarılıyor buldukça toplamaya çalıştım bu tip ekipmanları. Neyse konumuza geçelim.

https://www.intel.com/content/www/us/en/developer/articles/news/intel-neural-compute-stick-2-and-open-source-openvino-toolkit.html

Visual C++ Runtime Kurulumları

Arkadaşlar öncelikle visual C++ runtime 2015 ve sonrasının bilgisayarınızda kurulu olması gerekiyor.

https://www.techpowerup.com/download/visual-c-redistributable-runtime-package-all-in-one/

Buradan tüm runtime dosyaları sırayla kurabilirsiniz temizdir ancak güvenmiyorsanız benim tavsiyem Microsoft’un resmi sayfasından tek tek elle kurmanız gerekiyor, buranın avantajı tek bir arşiv içinde eski runtime paketleri var uğraşmak zorunda kalmıyorsunuz. Fakat sonradan dosyalar enfekte edilebiliyor dosya yükleme saldırıları ile en sağlıklı yol tabii ki Microsoft’un resmi sitesinden bu paketleri kurmanız olacaktır.

Windows Özellikleri Aktifleştirme

Burada sistemin içerisinde bazı paketlerin aktifleşmesi gerekecek nedeniyse siz bu paketleri kursanız bile aslında sorun yaşanabiliyor gizli bağımlılıklar sebebiyle. Normalde Intel’in bu ürünü tak çalıştır mantığında çalışır ancak openvino ortamı bazen python ile çalışma yapmadan önce USB VPU hızlandırıcıyı görmüyor.

Denetim Masası > Program Kaldır > Sol Kenar > Windows Özelliklerini Aç veya Kaldır

1. .NET Framework 3.5 aktif olmalı.
2. Eski bileşenler (Legacy Components) aktif olmalı.

Bunları seçtikten sonra tamam üzerinden devam edip bilgisayarı yeniden başlatmanız gerekecek. Ayrıca mümkünse bilgisayarınız Windows update üzerinden ve diğer sürücüleri güncel hale getirsin.

Python 3.9.13 Kurulumu

https://www.python.org/downloads/

Python 3.9.13 neden kuruyoruz? Bunun nedeni aslında kuracağımız OpenVino araç setinin bazı sürümleri daha yüksek Python sürümleri ile uyumlu çalışmakta ve aşağıda olan sürümlerle uyumsuzluk çıkarabiliyor bu nedenle eski bir sürüm seçiyoruz.

3.9.13'u indirdikten sonra kurulum aşamasında MUTLAKA PATH işaretini onaylayarak kurulumu tamamlayın, PATH değişkenine sonradan elle dizini vermek zorunda kalabilirsiniz ve bu durumda işletim sistemi nereden Python’u çağıracağını bilemez. Kurulum tamamlanınca bilgisayarı yeniden başlatın.

OpenVino Toolkit Kurulumları

https://storage.openvinotoolkit.org/repositories/openvino/packages/2022.1/

Buradan resmi toolkit için 2022.1 olanı kuracağız dilerseniz developer olan halini de kurabilirsiniz ancak ben burada test amaçlı standart halini kurdum. Developer tarafını da kuracağım henüz kurmadım.

Burada .zip uzantılı olan dosyayı indiriyoruz.

Dosyayı bir yere çıkarmanız gerekiyor ben C dizininde NCS2old adında bir klasör oluşturdum ve terminalden kurulum aşamasına geçtim.

Test amaçlı öncelikle global tarata denemeler yaptım

Burada CPU ve GPU yanında normalde “myriad” olarak VPU AI hızlandırıcımızın görünmesi gerekiyor ama görünmüyor.

Şimdi asıl konuya gelelim neden 2023 versiyonu değil de biz 2022 versiyonu ile ilgileniyoruz? Çünkü sebebi çok basit 2023 versiyonlarında Intel bu donanımı artık EOL listesine almaya başladı ve bu sebepten 2023 halinde olan indirilen zip dosyalarında bazı .DLL dosyaları yok ve bu USB VPU’nun toolkit ile eşleşmesinin önüne geçiyor. Ayrıca Windows 11'in sürücü konusunda sıkılaştırmaları nedenli olarak ben bunu Windows test/sınama ortamında gerçekleştirdim.

Burada usb-ma2x8x.mvcmd, plugins.xml, openvino_intel_myriad_plugin.dll dosyalarını kaynak klasörden hedeflenen klasöre enjekte ediyoruz. Ardından görüldüğü üzere “MYRIAD” olarak VPU görünmeye başladı. Bu dosyaların bazıları ne yazık ki 2023 versiyonlarında bulunmuyor.

Sonrasında ben dev versiyonları kurmaya başladım.

Ardından C dizininde olan NSC2old klasörüne sanal oturum oluşturdum ve devam ettim gerekli paketleri kurmaya başladım.

(venv39) PS C:\WINDOWS\system32> & "C:\Users\Cybermachine\AppData\Local\Programs\Python\Python39\python.exe" -m pip install protobuf==3.20.3 fastjsonschema
Collecting protobuf==3.20.3
  Downloading protobuf-3.20.3-cp39-cp39-win_amd64.whl.metadata (699 bytes)
Collecting fastjsonschema
  Downloading fastjsonschema-2.21.2-py3-none-any.whl.metadata (2.3 kB)
Downloading protobuf-3.20.3-cp39-cp39-win_amd64.whl (904 kB)
   ---------------------------------------- 904.2/904.2 kB 5.1 MB/s  0:00:00
Downloading fastjsonschema-2.21.2-py3-none-any.whl (24 kB)
Installing collected packages: fastjsonschema, protobuf
Successfully installed fastjsonschema-2.21.2 protobuf-3.20.3
(venv39) PS C:\WINDOWS\system32> omz_converter --name googlenet-v1 --precisions FP16
========== Converting googlenet-v1 to IR (FP16)
Conversion command: C:\Users\Cybermachine\AppData\Local\Programs\Python\Python39\python.exe -- C:\Users\Cybermachine\AppData\Local\Programs\Python\Python39\Scripts\mo.exe --framework=caffe --data_type=FP16 --output_dir=C:\WINDOWS\system32\public\googlenet-v1\FP16 --model_name=googlenet-v1 --input=data --mean_values=data[104.0,117.0,123.0] --output=prob --input_model=C:\WINDOWS\system32\public\googlenet-v1/googlenet-v1.caffemodel --input_proto=C:\WINDOWS\system32\public\googlenet-v1/googlenet-v1.prototxt --layout=data(NCHW) "--input_shape=[1, 3, 224, 224]"

Model Optimizer arguments:
Common parameters:
        - Path to the Input Model:      C:\WINDOWS\system32\public\googlenet-v1/googlenet-v1.caffemodel
        - Path for generated IR:        C:\WINDOWS\system32\public\googlenet-v1\FP16
        - IR output name:       googlenet-v1
        - Log level:    ERROR
        - Batch:        Not specified, inherited from the model
        - Input layers:         data
        - Output layers:        prob
        - Input shapes:         [1, 3, 224, 224]
        - Source layout:        Not specified
        - Target layout:        Not specified
        - Layout:       data(NCHW)
        - Mean values:  data[104.0,117.0,123.0]
        - Scale values:         Not specified
        - Scale factor:         Not specified
        - Precision of IR:      FP16
        - Enable fusing:        True
        - User transformations:         Not specified
        - Reverse input channels:       False
        - Enable IR generation for fixed input shape:   False
        - Use the transformations config file:  None
Advanced parameters:
        - Force the usage of legacy Frontend of Model Optimizer for model conversion into IR:   False
        - Force the usage of new Frontend of Model Optimizer for model conversion into IR:      False
Caffe specific parameters:
        - Path to Python Caffe* parser generated from caffe.proto:      C:\Users\Cybermachine\AppData\Local\Programs\Python\Python39\lib\site-packages\openvino\tools\mo\utils\..\front\caffe\proto
        - Enable resnet optimization:   True
        - Path to the Input prototxt:   C:\WINDOWS\system32\public\googlenet-v1/googlenet-v1.prototxt
        - Path to CustomLayersMapping.xml:      C:\Users\Cybermachine\AppData\Local\Programs\Python\Python39\lib\site-packages\openvino\tools\mo\utils\..\..\extensions\front\caffe\CustomLayersMapping.xml
        - Path to a mean file:  Not specified
        - Offsets for a mean file:      Not specified
OpenVINO runtime found in:      C:\Users\Cybermachine\AppData\Local\Programs\Python\Python39\lib\site-packages\openvino
OpenVINO runtime version:       2022.1.0-7019-cdb9bec7210-releases/2022/1
Model Optimizer version:        2022.1.0-7019-cdb9bec7210-releases/2022/1
[ WARNING ]
Detected not satisfied dependencies:
        fastjsonschema: installed: 2.21.2, required: ~= 2.15.1

Please install required versions of components or run pip installation
pip install openvino-dev[caffe]
[ SUCCESS ] Generated IR version 11 model.
[ SUCCESS ] XML file: C:\WINDOWS\system32\public\googlenet-v1\FP16\googlenet-v1.xml
[ SUCCESS ] BIN file: C:\WINDOWS\system32\public\googlenet-v1\FP16\googlenet-v1.bin
[ SUCCESS ] Total execution time: 14.49 seconds.
It's been a while, check for a new version of Intel(R) Distribution of OpenVINO(TM) toolkit here https://software.intel.com/content/www/us/en/develop/tools/openvino-toolkit/download.html?cid=other&source=prod&campid=ww_2022_bu_IOTG_OpenVINO-2022-1&content=upg_all&medium=organic or on the GitHub*
[ INFO ] The model was converted to IR v11, the latest model format that corresponds to the source DL framework input/output format. While IR v11 is backwards compatible with OpenVINO Inference Engine API v1.0, please use API v2.0 (as of 2022.1) to take advantage of the latest improvements in IR v11.
Find more information about API v2.0 and IR v11 at https://docs.openvino.ai

(venv39) PS C:\WINDOWS\system32> pip install opencv-python
Collecting opencv-python
  Using cached opencv_python-4.13.0.92-cp37-abi3-win_amd64.whl (40.2 MB)
Collecting numpy>=2
  Downloading numpy-2.0.2-cp39-cp39-win_amd64.whl (15.9 MB)
     ---------------------------------------- 15.9/15.9 MB 7.7 MB/s eta 0:00:00
Installing collected packages: numpy, opencv-python
Successfully installed numpy-2.0.2 opencv-python-4.13.0.92
WARNING: You are using pip version 22.0.4; however, version 26.0.1 is available.
You should consider upgrading via the 'C:\NCS2old\venv39\Scripts\python.exe -m pip install --upgrade pip' command.
(venv39) PS C:\WINDOWS\system32> python C:\NCS2old\ai_test.py
Traceback (most recent call last):
  File "C:\NCS2old\ai_test.py", line 5, in <module>
    from openvino.runtime import Core
ModuleNotFoundError: No module named 'openvino'
(venv39) PS C:\WINDOWS\system32> deactivate
PS C:\WINDOWS\system32> pip install opencv-python
Requirement already satisfied: opencv-python in c:\users\cybermachine\appdata\local\programs\python\python39\lib\site-packages (4.5.5.64)
Requirement already satisfied: numpy>=1.14.5 in c:\users\cybermachine\appdata\local\programs\python\python39\lib\site-packages (from opencv-python) (1.19.5)

Burada Python global ortamda çalıştığı için ilk sanal ortama zorlayarak aldım sonrasında ise GoogLEnet Caffe modelini okutmayı zorlayarak başardım, omz_converter GoogLEnet Caffe modelini okumaya başladı.

pip install opencv-python yaptıktan sonra hata aldım sanal ortamı “deactivate” ile devre dışı bıraktım.

pip install opencv-python sonrasında burada global ortamda gerekli paketleri kurdukta sonra python C:\NCS2old\ai_test.py satırında test scriptimi çalıştırdım.

Burada aslında github üzerinde olan bir köpeğin görselinden ırkını tahmin etme üzerine bir algoritma oluşturdum.

Test python scripti:

import cv2
import numpy as np
import urllib.request
import os
from openvino.runtime import Core

print("[1] Operasyon Başlıyor: Test mühimmatı (görüntü ve etiketler) indiriliyor...")
img_path = r"C:\NCS2old\test_image.jpg"
labels_path = r"C:\NCS2old\imagenet_classes.txt"

# WAF engeline takılmayan PyTorch GitHub Raw sunucularını hedef alıyoruz
if not os.path.exists(img_path):
    urllib.request.urlretrieve("https://raw.githubusercontent.com/pytorch/hub/master/images/dog.jpg", img_path)
if not os.path.exists(labels_path):
    urllib.request.urlretrieve("https://raw.githubusercontent.com/pytorch/hub/master/imagenet_classes.txt", labels_path)

with open(labels_path, "r") as f:
    labels = [line.strip() for line in f.readlines()]

print("[2] OpenVINO Core uyanıyor ve MYRIAD (NCS2) aranıyor...")
core = Core()

# Modelin kalıcı yolu
model_xml = r"C:\WINDOWS\system32\public\googlenet-v1\FP16\googlenet-v1.xml"

print("[3] Model doğrudan NCS2 çipinin belleğine (VRAM) gömülüyor...")
model = core.read_model(model=model_xml)
compiled_model = core.compile_model(model=model, device_name="MYRIAD")

input_layer = compiled_model.input(0)
output_layer = compiled_model.output(0)
_, _, h, w = input_layer.shape

print("[4] Görüntü, donanımın anlayacağı NCHW formatına çevriliyor...")
image = cv2.imread(img_path)
resized_image = cv2.resize(image, (w, h))
input_tensor = np.expand_dims(resized_image.transpose(2, 0, 1), 0)

print("[5] ATEŞ! Tüm işlem yükü CPU'dan alındı, VPU üzerinde çalışıyor...\n")
results = compiled_model([input_tensor])[output_layer]

predictions = results[0]
top_indices = np.argsort(predictions)[-3:][::-1]

print("="*45)
print(" 🎯 NCS2 (BARE-METAL) ANALİZ SONUÇLARI ")
print("="*45)
for i in top_indices:
    oran = predictions[i] * 100
    print(f"-> Hedef Sınıf: {labels[i]:<25} | İhtimal: %{oran:.2f}")
print("="*45)

Çıktılar:

Peki sorunu nasıl anlamaya çalıştım? Intel’in, stackoverflow ve Openvino forumlarını inceledim ve biraz Gemini gibi AI araçlarından yararlandım.

Kaynak:

https://community.intel.com/t5/Intel-Distribution-of-OpenVINO/Neural-Compute-Stick-2-on-Windows-10/m-p/1428054

[embed]OpenVINO library does not see Neural Compute stick 2 on Raspberry pi 4 I used this guide to install the openVINO toolkit on my Raspberry pi 4 model B. And this to perform inference on Neural…stackoverflow.com

https://community.intel.com/t5/Intel-Distribution-of-OpenVINO/Intel-Neural-Compute-Stick-2-Windows-10/td-p/1372828?profile.language=pt

Bu sayfalarda aslında hatanın nasıl ve neden olduğunu anlamaya çalıştım ilk şansımı 2023 versiyonlarında denedim ve bazı yukarıda belirttiğim dosyalar olmadığından çalışmadığını ve görmediğini fark ettim. Anladığım kadarıyla Intel burada eski sürümleri indirip sonra patch yapılmasını istemiş veya EOL olduğu için bu dosyalar kaldırılmış vaziyette.

Ancak EOL olduğu için donanım kullanabileceğim tüm paketleri arşivlemeyi planlıyorum belki Internet Archieve gibi yerlere yükleyebilirim henüz karar veremedim.

Evet yazımın sonuna gelmiş bulunmaktayım, tekrar başka bir yazımda görüşmek dileğiyle sağlıcakla kalınız. :)

Lisans ve Kullanım Koşulları

Metin İçeriği: Bu makale Creative Commons (CC BY-NC-ND 4.0) lisansı ile korunmaktadır. Kaynak göstermek ve yazar (Hakan ÇEVİK) adını belirtmek şartıyla paylaşılabilir; ancak ticari amaçla kullanılamaz ve içerik değiştirilerek dağıtılamaz.

Kod ve Betikler: Makale içerisinde paylaşılan tüm PowerShell betikleri ve Python kodları MIT Lisansı altında açık kaynak olarak sunulmuştur. Laboratuvar ortamlarınızda dilediğiniz gibi kullanabilir, değiştirebilir ve geliştirebilirsiniz.