ShopperAI — Executive FinOps & Camera Unit Economics Explorer (5-Page Interactive)

Interactive Tear-Down · לחיצה על כל פלח מפרקת אותו לתת-עוגה

בחרו זווית ראייה ולחצו על כל פלח בעוגה כדי להיכנס פנימה (עד 4 רמות פירוק!)

👆 לחצו על כל פלח בעוגה או על כרטיס ברשימה כדי לפרק אותו לתת-עוגה

💡 שורה תחתונה למנכ״ל ולסמנכ״ל תפעול: מה באמת מגולם בתוך ה-$4.57 למצלמת OSA?

מתוך $4.57 למצלמה, רק $1.98 (43%) הם עבודה אפקטיבית נטו (שליפת תמונות, חישוב GPU בפועל, DB ותיוג), בעוד $2.59 (57%) הם שעות GPU מתות בערב ובשבת, דיסק 3TiB ריק ב-85%, לוגים כפולים ומחירי מחירון ללא התחייבות.

Filter Components:

A. Core OSA Pipeline Architecture (`OSA-pipline` Flow: RTSP to `cvat_task_creator`)

Click any stage below to inspect its exact monthly cost, underlying VMs/pods/queues, why it costs what it does, and who uses it.

Stage 1 — Store Camera Ingestion, Scheduling & Frame Extraction Retailer NVR → RTSP Proxy VMs → AKS osa / framesspot

↓ Writes frames to nfs-pvc (Azure Files) • ↓ Publishes frame metadata to RabbitMQ: frames (CloudAMQP)

Stage 2 — Frame Buffer Storage & Message Broker Queues Used across every hop of the OSA detector chain

↓ Consumes frames → GPU Stage 1 → unpopulated_shelf_frames → GPU Stage 2 → Splits into Prod & Shadow Test lanes

Stage 3 — Sequential GPU Inference Detectors (gpupool2: Standard_NC4as_T4_v3) KEDA Cron Window 08:00–22:00 IDT (6 GPU nodes peak / 1 node overnight)

Stage 4A — Production Task Creation Lane on_shelf_availability → CVAT

Stage 4B — Shadow / Test Lane (osatest — Green Arrows) osa-test-queue → osatest org

B. Shared Platform, Databases, Storage & Observability (רכיבים משותפים)

Resources listed in the comment (DB, ShopperAPI, RabbitMQ, Azure Blob, CVAT, OpenSearch, Grafana, Prometheus, notification-service) shared across OSA, Supplier Products, Realogram, and Customers.

C. Customer & Internal Dashboards (5 Web Applications from Comment)

Hosted on shared computepool3, computepool4, and framespool behind ingress-nginx. Click any dashboard to see its backend pods & OSA vs. non-OSA ownership.

D. Non-OSA Pipelines & Standalone Estate Resources (0% Direct OSA)

Included so the CEO & COO can reconcile the OSA pipeline against 100% of the Azure subscription run-rate.

Active Cameras & Branch Drill-Down (Unique `--camera_id` per Branch in CronJobs)

Derived directly from the 2,640 camera CronJobs across osa, rounds, and supplier-products. Switch between pipeline namespaces below or click any retailer to inspect every branch.

Retailers Breakdown (Click to Drill Down)

Branch-Level Active Cameras

Branch Name	Aug '26 Active	Sep '26 Active	Oct '26 Active	Provisioned / Stale	Active CronJobs	Est. Branch OSA TCO

Complete Cost Attribution Matrix (Dedicated vs. Shared Resources)

Click any row to open its full architectural & FinOps breakdown. Shows 3-month trajectory (Aug → Sep → Oct 2026), OSA % attribution, and actionable savings.

Component / Service	Classification	Aug '26 Total	Sep '26 Total	Oct '26 Total (Live)	OSA Share %	Oct '26 OSA Cost	Shared With (Other Consumers)	Next Savings Potential

9 שאלות ההנהלה · לחצו על כל שאלה לפתיחת הנתונים והטבלאות

ניתוח עומק: מודלים, ניצולת GPU/CPU, קיבולת, אחסון, תעבורה ויתומים

כדי למנוע הצפת מידע, כל שאלה מציגה את השורה התחתונה והמספר המרכזי מיד, ונפתחת בלחיצה לפירוט המלא.

חלק א׳ — הרצת מודלים, ניצולת CPU/GPU, קיבולת וכשלים

כמה עולה הרצת המודלים על תמונות ממצלמות, בנפרד מאימון ושיפור המודלים?

הפרדה מלאה בין פרודקשן (Inference) לבין אימון, דאטה-סטים וסביבת הבדיקות המקבילה (osatest)

Prod: $1,232/mo ($0.90/cam) Train/Test: $1,035/mo ▼

א. הרצת מודלים בפרודקשן על מצלמות OSA: $1,232/חודש ($0.90 למצלמה)

ירד מ-$1,584/חודש באוגוסט/ספטמבר בזכות פינוי פודים של Airflow משרתי ה-GPU:

unpopulated-shelf-detection (3× T4 GPU): $672/חודש ($0.49 למצלמה)
on-shelf-availability (2× T4 GPU): $448/חודש ($0.33 למצלמה)
obstructions-detection (2× CPU Pods): $112/חודש ($0.08 למצלמה)
בנוסף (Non-OSA): מודל image-upscaler מחזיק 1× T4 GPU דלוק 24/7 בעלות $384/חודש על 0.00% ניצולת.

ב. אימון, השוואת מודלים (osatest) ודאטה-סטים: $1,035/חודש

ירד מ-$1,855/חודש באוגוסט לאחר כיבוי שרת ה-GPU detect-ron ($666/mo) וכיבוי לילה ל-osatest:

on-shelf-availability-test (Shadow GPU) + task-creator-test/train: $137/חודש ($291 באוגוסט)
סביבת cvatarchdev (2× D8s_v3) + מסדי cvat-db-archive/dev: $804/חודש
אחסון דאטה-סטים לאימון (cvatdatasets 1.75TiB + shopperaicomputerv): $94/חודש
שרת אימון detect-ron (Standard_NV16as_v4): $0 באוקטובר ($666 באוגוסט)

אילו משאבי CPU או GPU פועלים, מה הניצולת שלהם, וכמה זמן הם מחויבים בלי לבצע עבודה מועילה?

מדידת DCGM GPU (264,257 דגימות) + ניצולת AKS CPU + 18 שרתי VM עצמאיים

GPU Mean: 3.70% (86.5% at 0%) AKS CPU: 6.3% ▼

1. שרתי GPU (gpupool2 — 7× T4 @ $0.526/hr)

ניצולת ממוצעת: 3.70% בלבד. מתוך 1,324 שעות GPU ב-10 ימים, 86.5% מהשעות ישבו על 0.00% עבודה (~$1,456/mo זמן סרק!).

• on-shelf-availability: 11.10%
• unpopulated-shelf: 2.40%
• osa-test: 1.98% · image-upscaler: 0.00%

2. חלון מת 19:00–23:00 ויום שבת ב-GPU

החנויות מסיימות לשלוח תמונות ב-19:00 (ניצולת 0.000% מ-19:00 ואילך), אך KEDA Cron מחזיק 7 שרתי GPU דלוקים עד 22:00 (+ שעה צינון = $240/mo בזבוז).

ביום שבת הניצולת היא 0.66% אך KEDA מוגדר 0-6 במקום 0-5 ($190/mo בזבוז).

3. שרתי AKS CPU (6.3%) ו-18 שרתי VM (4.1%)

• AKS CPU: 9.38 ליבות בשימוש מתוך 149.1 ליבות (6.3%). cvatarchdev ב-0.6% CPU (99.4% סרק!).

• 5 שרתי RTSP ללא כיבוי לילה: barcode-wh 98% סרק, vnr 97% סרק, am-pm 64% סרק, mongolia 56% סרק, yohananof 26% סרק.

האם אנחנו משלמים על קיבולת זמינה כל הזמן או על שימוש בפועל? האם ההקצאה מותאמת לעומס?

ניתוח מנגנוני ה-Autoscaling, ה-KEDA וצוואר הבקבוק של maxPods=30

93% Fixed Capacity / 7% Elastic ▼

• 93% מהתקציב משולם על קיבולת קבועה מראש (Always-On או Cron-Pinned ל-14 שעות ביממה), ורק ~7% באמת מתכווץ ומתרחב לפי עומס בזמן אמת (framesspot ו-supplierprod).

• למה ההקצאה לא מותאמת לעומס? (1) מגבלת maxPods=30 לשרת ב-Azure CNI ישן: 14 פודי מערכת תופסים חצי מהמקומות בכל שרת, והסאבנט 10.0.1.0/24 מלא ב-95% (238/251 כתובות IP), מה שמכריח להרים שרתי CPU חדשים שעומדים על 6% ניצולת. (2) KEDA בוחר MAX(cron, rabbitmq): גם כשתור ה-RabbitMQ ריק לחלוטין (0 הודעות), טריגר ה-Cron מחזיק מינימום 5–6 פודי GPU ו-10–11 פודי cvat-task-creator למעלה במשך 14 שעות רצופות.

מה מניע את העלות: מספר המצלמות, מספר התמונות, רזולוציה, תדירות העיבוד או סוג המודל?

דירוג מניעי העלות מהמשפיע ביותר למשפיע פחות

#1 Window & Freq · #4 Camera Count ▼

תדירות הריצה וחלון השעות (המניע מס׳ 1 — ~45% מהעלות): חלון ה-KEDA של 14 שעות×7 ימים ותדירות השליפה (פעמיים בשעה ב-OSA, 3 פעמים בשעה ב-Rounds) קובעים כמה שעות שרתי ה-GPU וה-CVAT דלוקים.
רזולוציה וגודל פריים (~2.5 MB לתמונה — המניע מס׳ 2): מניע ישירות 4,715 GiB/mo ($385/mo) של תעבורה בין-יבשתית מהפרוקסים בישראל/קוריאה ל-eastus ואת נפח הדיסק ב-CVAT.
ארכיטקטורת המודלים (הפרדת פודי GPU ללא Time-Slicing — המניע מס׳ 3): כל מודל (unpopulated-shelf ו-on-shelf-availability) נועל כרטיס T4 GPU שלם לעצמו גם ב-2.4% ניצולת.
מספר המצלמות (מניע שולי ב-Compute!): הוספת מצלמה על פרוקסי קיים עולה רק $0.03 למצלמה לחודש בשליפת התמונות על framesspot!

האם יש עיבודים חוזרים, ניסיונות שנכשלו או כפילויות שמייצרים עלות נוספת?

נתוני אמת מתוך kubectl get jobs -A ברגע הבדיקה

559 Failed Jobs (11.3%) · 588 Failed Attempts ▼

• 559 Jobs כושלים (11.3% כישלון) ו-588 ניסיונות הרצת פוד כושלים מתוך 4,963 הרצות אחרונות (בגלל backoffLimit: 2 שמריץ עד 3 פעמים כל מצלמה תקועה עד Timeout של 200 שניות):

rounds: 384 נכשלו מתוך 2,016 (19.0% כישלון!) — כולל 65 CronJobs של tiv-taam שהושעו ב-OSA אך ממשיכים לרוץ ולהיכשל כל 20 דקות ב-Rounds!
supplier-products: 121 נכשלו מתוך 1,459 (8.3% כישלון).
osa: 54 נכשלו מתוך 1,488 (3.6% כישלון) + 87 CronJobs לא מעודכנים.

• כפילויות אקטיביות: (1) שני מתזמנים של ויקטורי (victory-osa-trigger-scheduler ו--automation) רצים במקביל בדקה ה-25 בכל שעה; (2) פייפליין osatest משכפל 100% מתמונות הפרודקשן ל-GPU נוסף.

חלק ב׳ — אחסון, תעבורה בין-יבשתית, מסדי נתונים/לוגים ומשאבים יתומים

כמה עולה אחסון תמונות או וידאו, ומה משך השמירה של כל סוג מידע?

ביקורת על כל 40 חשבונות ה-Storage ודיסקי ה-Azure Files

$910/mo · 0/40 Lifecycle Rules ▼

cvat-backend-data-premium ($490/חודש על 3 TiB Premium SSD): שומר משימות CVAT ל-14 יום וקאש ייצוא ל-3 ימים. בפועל רק 7%–23% מהדיסק בשימוש (212–699 GiB) — כלומר ~$300/חודש משולמים על מקום ריק!
cvatdatasets ($82/חודש על 1.75 TiB RA-GRS) + shopperaicomputerv ($12/חודש): נשמרים לצמיתות (Forever — מכוון לאימון מודלים), אך מוגדרים ב-RA-GRS יקר כפליים מ-LRS.
cvatreport ($15/חודש על 574 GiB / 833K תמונות): תמונות חתוכות לדוחות אקסל של לקוחות. הלינק באקסל פג תוקף אחרי 7 ימים, אך הקבצים ב-Blob לעולם לא נמחקים (99% מהנפח הוא קבצים מתים מאז מרץ!).

כמה עולים העברת נתונים, הורדות והעברות בין אזורים או בין שירותים?

תעבורת וידאו בין-יבשתית מישראל/קוריאה/פולין/בריטניה לקלאסטר ב-eastus

$585/mo (4,715 GiB RTSP Egress) ▼

• $385/חודש על 4,715 GiB של תעבורת וידאו בין-יבשתית: הפרוקסים יושבים בישראל/קוריאה/אירופה בעוד שה-AKS יושב בוירג׳יניה (eastus): ויקטורי 2,778 GiB ($197/mo), יוחננוף 1,292 GiB ($97/mo), סופר-ספיר 396 GiB ($30/mo), מונגוליה 154 GiB ($18/mo), AM:PM 85 GiB ($7/mo).

• $200/חודש על AKS NAT Gateway, Load Balancers ותעבורה חוצת-אזור ל-DB: ה-AKS ב-eastus מתשאל את shopper-db שיושב ב-centralus.

כמה עולים מסדי נתונים, לוגים, ניטור וגיבויים? האם רמת השמירה והפירוט מתאימה לצורך?

24.4% מכלל חשבון הענן של החברה הולך על DBs, קאש ולוגים כפולים

$3,547/mo (Logs $1,861 + DB/Redis $1,686) ▼

• לוגים וניטור ($1,861/חודש — כפילות משולשת ופירוט יתר): Azure Log Analytics גובה $1,397/חודש על 607.5 GB/mo במקביל ל-OpenSearch ($165/mo) ו-Prometheus ($110/mo) בתוך הקלאסטר! מתוך ה-ContainerLog, 52.7% ($429/mo) הוא רעש של /api/server/health מ-CVAT, ועוד $455/mo משולמים על AzureDiagnostics עם 0 שאילתות.

• מסדי נתונים ו-Redis ($1,686/חודש): shopper-db ($415/mo), 3 אשכולות Cosmos PG ל-CVAT ($598/mo — מתוכם Archive ו-Dev ב-$243/mo כמעט ריקים), drilldb MySQL עם HA כפול ($274/mo), ו-Azure Managed Redis Enterprise ($310/mo) במקביל ל-4 שרתי Redis ב-AKS.

האם קיימים משאבים, דיסקים, עותקים או סביבות שכבר אינם בשימוש וממשיכים לייצר חיוב?

רשימת משאבים יתומים מוכנים למחיקה מיידית ללא שום השפעה על הפרודקשן

$1,693/mo Pure Orphan & Idle Waste ▼

Azure Bastion בישראל (israelcentral-vnet-bastion): $219/חודש — 0 חיבורים במשך 2,928 שעות רצופות.
23 דיסקים מנותקים / של שרתים כבויים: $237/חודש — 15 דיסקי PVC יתומים ב-AKS + 8 דיסקים של שרתים שכובו/נמחקו עם deleteOption: Detach.
רשתות רפאים מ-Clusters שנמחקו + 33 כתובות IP פנויות + 4 Private Endpoints מתים: $240/חודש (2× NAT Gateways ב-westus2 ו-westeurope).
סביבות ב-<1% ניצולת ואחסון קפוא: $997/חודש (cvatarchdev ב-$561/mo על 0.6% CPU + מסדי Archive/Dev ב-$243/mo + פרוקסים ב-98% סרק ב-$163/mo + Blobs קפואים ב-$30/mo).

FinOps FOCUS / Azure Consumption Schema 30 Metered Line Items · Reconciled to $14,544/mo (Oct) & $16,522/mo (Aug)

ייצוא מפורט של נתוני העלויות והשימוש: כמות צריכה, יחידת חיוב, מחיר אפקטיבי, Actual Cost מול Amortized Cost

Includes consumption quantity (UsageQuantity), billing unit (UnitOfMeasure), list vs. effective unit price (EffectivePrice), Actual Cost, Amortized Cost, and Simulated 1-Year RI / Savings Plan Amortized Cost.

1. Commitment & Reservation Status

Subscription (Microsoft Azure Sponsorship / PAYG) currently has 0 Active Reserved Instances (RIs) and 0 Azure Savings Plans (RIs cannot be purchased on Sponsorship).

2. Actual Cost vs. Amortized Cost Today

Because there are $0 upfront or recurring RI/Savings Plan commitments to amortize, Actual Cost ($14,544/mo) == Amortized Cost ($14,544/mo) today.

3. Effective Price Discounts Active Today

framesspot uses Azure Spot (D4s_v3) at an effective price of $0.0274/hr vs. $0.1920/hr list (-85.7% discount), saving ~$672/mo on OSA frame extraction.

4. Amortized Cost with 1-Yr RI / Savings Plan

When transitioning off Sponsorship to commercial EA/MCA, applying 1-Year RIs / Compute Savings Plan drops Amortized Cost from $14,544/mo → $10,349/mo (-$4,195/mo)!

ID	Service / Resource & Region	SKU / Meter & Pricing Model	Usage Qty / Mo	Billing Unit	Effective Price	Aug '26 Actual	Oct '26 Actual Cost	Oct '26 Amortized	1-Yr RI Amortized	OSA Share ($)	Measured Util & Idle Billed %