Condividi tramite

Endpoint per i modelli Foundry di Microsoft

I modelli di Microsoft Foundry consentono di accedere ai modelli più potenti dai provider di modelli leader tramite un singolo endpoint e un set di credenziali. Questa funzionalità consente di passare da un modello all'altro e usarli nell'applicazione senza modificare alcun codice.

Questo articolo illustra come i servizi Foundry organizzano i modelli e come usare l'endpoint di inferenza per accedervi.

Importante

Azure AI Inference beta SDK è deprecato e verrà ritirato il 30 maggio 2026. Passare all'API OpenAI/v1 disponibile a livello generale con un SDK OpenAI stabile. Seguire la guida alla migrazione per passare a OpenAI/v1, usando l'SDK per il linguaggio di programmazione preferito.

Implementazioni

Foundry utilizza i deployment per rendere disponibili i modelli. Le distribuzioni assegnano un nome a un modello e impostano configurazioni specifiche. È possibile accedere a un modello usando il relativo nome di distribuzione nelle richieste.

Una distribuzione include:

  • Nome di un modello
  • Versione del modello
  • Fornitura o tipo di capacità1
  • Configurazione del filtro dei contenuti1
  • Configurazione di limitazionedella frequenza 1

1 Queste configurazioni possono cambiare a seconda del modello selezionato.

Una risorsa Foundry può avere molte distribuzioni di modelli. Si paga solo per l'inferenza eseguita nelle implementazioni dei modelli. Le distribuzioni sono risorse di Azure, quindi sono soggette ai criteri di Azure.

Per altre informazioni sulla creazione di distribuzioni, vedere Aggiungere e configurare distribuzioni di modelli.

Endpoint di inferenza OpenAI di Azure

L'API OpenAI di Azure espone le funzionalità complete dei modelli OpenAI e supporta altre funzionalità, ad esempio assistenti, thread, file e inferenza batch. È anche possibile accedere ai modelli non OpenAI tramite questa route.

Gli endpoint OpenAI di Azure, in genere nel formato https://<resource-name>.openai.azure.com, funzionano a livello di distribuzione e ogni distribuzione ha un PROPRIO URL associato. Tuttavia, è possibile usare lo stesso meccanismo di autenticazione per utilizzare le distribuzioni. Per altre informazioni, vedere la pagina di riferimento per l'API OpenAI di Azure.

Figura che mostra come le distribuzioni OpenAI di Azure contengono un singolo URL per ogni distribuzione.

Ogni distribuzione ha un URL formato dalla concatenazione dell'URL di base di Azure OpenAI e della route /deployments/<model-deployment-name>.

Installare il pacchetto openai usando la propria gestione pacchetti, come pip:

pip install openai --upgrade

Quindi, è possibile usare il pacchetto per usare il modello. Gli esempi seguenti mostrano come creare un client per utilizzare i completamenti chat:

import os
from openai import AzureOpenAI
    
client = AzureOpenAI(
    azure_endpoint = "https://<resource>.services.ai.azure.com"
    api_key=os.getenv("AZURE_INFERENCE_CREDENTIAL"),  
    api_version="2024-10-21",
)

response = client.chat.completions.create(
    model="deepseek-v3-0324", # Replace with your model deployment name.
    messages=[
        {"role": "system", "content": "You are a helpful assistant."},
        {"role": "user", "content": "Explain Riemann's conjecture in 1 paragraph"}
    ]
)

print(response.model_dump_json(indent=2)

Per altre informazioni su come usare l'endpoint OpenAI di Azure, vedere Azure OpenAI nella documentazione dei modelli foundry.

Autenticazione senza chiave

I modelli distribuiti su Foundry Models negli strumenti Foundry supportano l'autenticazione senza chiave usando Microsoft Entra ID. L'autorizzazione senza chiave migliora la sicurezza, semplifica l'esperienza utente, riduce la complessità operativa e offre un supporto affidabile per la conformità per lo sviluppo moderno. Rende l'autorizzazione senza chiave una scelta efficace per le organizzazioni che adottano soluzioni di gestione delle identità sicure e scalabili.

Per usare l'autenticazione senza chiave, configurare la risorsa e concedere l'accesso agli utenti per eseguire l'inferenza. Dopo aver configurato la risorsa e concesso l'accesso, eseguire l'autenticazione come indicato di seguito:

Installare OpenAI SDK usando una gestione pacchetti come pip:

pip install openai

Per l'autenticazione di Microsoft Entra ID, installare anche:

pip install azure-identity

Usare il pacchetto per utilizzare il modello. L'esempio seguente illustra come creare un client per usufruire dei completamenti della chat utilizzando l'ID Microsoft Entra e eseguire una chiamata di prova all'endpoint dei completamenti della chat nell'ambito della distribuzione del modello.

Sostituisci <resource> con il nome della risorsa Foundry. Trovarlo nel portale di Azure o eseguendo az cognitiveservices account list. Sostituire DeepSeek-V3.1 con il nome attuale della distribuzione.

from openai import OpenAI
from azure.identity import DefaultAzureCredential, get_bearer_token_provider

token_provider = get_bearer_token_provider(
    DefaultAzureCredential(), 
    "https://cognitiveservices.azure.com/.default"
)

client = OpenAI(
    base_url="https://<resource>.openai.azure.com/openai/v1/",
    api_key=token_provider,
)

completion = client.chat.completions.create(
    model="DeepSeek-V3.1",  # Required: your deployment name
    messages=[
        {"role": "system", "content": "You are a helpful assistant."},
        {"role": "user", "content": "What is Azure AI?"}
    ]
)

print(completion.choices[0].message.content)

Output previsto

Azure AI is a comprehensive suite of artificial intelligence services and tools from Microsoft that enables developers to build intelligent applications. It includes services for natural language processing, computer vision, speech recognition, and machine learning capabilities.

Riferimento: OpenAI Python SDK e classe DefaultAzureCredential.

Contenuti correlati

  • Last updated on