DeepSeek 深夜发布新模型 Janus-Pro！ 刚打完 OpenAI，现在又脚踢 Midjourney！

这两天 DeepSeek 发布的 R1 模型，让美国科技圈已经炸锅了，以前还没觉得 DeepSeek 有多厉害，只是看到数据觉得很强，直到一夜掀翻美股，让美国科技圈集体傻眼，这是真的挺猛的。

刚打完 OpenAI，现在又脚踢 Midjourney，DeepSeek 深夜发布新模型 Janus-Pro，在图像生成和理解能力上全面超越了现有的主流模型。

统一的多模态理解与生成能力

Janus-Pro 最大的特点在于其"统一性"。不同于传统的需要使用多个独立模型来处理不同任务的方式，Janus-Pro 采用了创新的架构设计，能够在单一模型中同时处理：

• 图像理解
• 文本生成
• 图像生成
• 多模态对话

这种统一的架构不仅提高了模型的效率，更重要的是提升了各个任务之间的协同性能。

技术创新

根据 DeepSeek 官方发布的技术报告，Janus-Pro 的核心创新包括：

1. 解耦的视觉编码架构
2. 改进的数据扩展策略
3. 优化的模型训练方法

这些创新使得 Janus-Pro 在处理复杂的多模态任务时表现出色，特别是在图像生成的质量和准确度方面。

开源与生态

值得一提的是，DeepSeek 选择了开源的方式来推动 Janus 系列模型的发展。在 GitHub 上，Janus 项目已经获得了超过 3.8k 的 star，这体现了开发者社区对该项目的高度认可。

开源已经打破了闭源的护城河，现在开源的模型已经可以和闭源的模型媲美，甚至超越，比如 OpenAI 的 GPT-4 和 GPT-4o，o1,以及 Midjourney 的 5.2 和 5.2 Pro。

快速入门

DeepSeek 在 HuggingFace 部署了 Janus-Pro 在线演示，可以直接使用。Janus-Pro-7B

可能访问人数太多了... 有点慢！

以下为本地步骤！

环境准备

首先需要安装必要的依赖：

pip install -e .

基础使用

Janus 提供了多种使用方式：

1. 图像理解与对话

import torch
from transformers import AutoModelForCausalLM
from janus.models import MultiModalityCausalLM, VLChatProcessor
from janus.utils.io import load_pil_images

# specify the path to the model
model_path = "deepseek-ai/Janus-Pro-7B"
vl_chat_processor: VLChatProcessor = VLChatProcessor.from_pretrained(model_path)
tokenizer = vl_chat_processor.tokenizer

vl_gpt: MultiModalityCausalLM = AutoModelForCausalLM.from_pretrained(
    model_path, trust_remote_code=True
)
vl_gpt = vl_gpt.to(torch.bfloat16).cuda().eval()

conversation = [
    {
        "role": "<|User|>",
        "content": f"<image_placeholder>\n{question}",
        "images": [image],
    },
    {"role": "<|Assistant|>", "content": ""},
]

# load images and prepare for inputs
pil_images = load_pil_images(conversation)
prepare_inputs = vl_chat_processor(
    conversations=conversation, images=pil_images, force_batchify=True
).to(vl_gpt.device)

# # run image encoder to get the image embeddings
inputs_embeds = vl_gpt.prepare_inputs_embeds(**prepare_inputs)

# # run the model to get the response
outputs = vl_gpt.language_model.generate(
    inputs_embeds=inputs_embeds,
    attention_mask=prepare_inputs.attention_mask,
    pad_token_id=tokenizer.eos_token_id,
    bos_token_id=tokenizer.bos_token_id,
    eos_token_id=tokenizer.eos_token_id,
    max_new_tokens=512,
    do_sample=False,
    use_cache=True,
)

answer = tokenizer.decode(outputs[0].cpu().tolist(), skip_special_tokens=True)
print(f"{prepare_inputs['sft_format'][0]}", answer)

1. 文本到图像生成

import os
import PIL.Image
import torch
import numpy as np
from transformers import AutoModelForCausalLM
from janus.models import MultiModalityCausalLM, VLChatProcessor


# specify the path to the model
model_path = "deepseek-ai/Janus-Pro-7B"
vl_chat_processor: VLChatProcessor = VLChatProcessor.from_pretrained(model_path)
tokenizer = vl_chat_processor.tokenizer

vl_gpt: MultiModalityCausalLM = AutoModelForCausalLM.from_pretrained(
    model_path, trust_remote_code=True
)
vl_gpt = vl_gpt.to(torch.bfloat16).cuda().eval()

conversation = [
    {
        "role": "<|User|>",
        "content": "A stunning princess from kabul in red, white traditional clothing, blue eyes, brown hair",
    },
    {"role": "<|Assistant|>", "content": ""},
]

sft_format = vl_chat_processor.apply_sft_template_for_multi_turn_prompts(
    conversations=conversation,
    sft_format=vl_chat_processor.sft_format,
    system_prompt="",
)
prompt = sft_format + vl_chat_processor.image_start_tag


@torch.inference_mode()
def generate(
    mmgpt: MultiModalityCausalLM,
    vl_chat_processor: VLChatProcessor,
    prompt: str,
    temperature: float = 1,
    parallel_size: int = 16,
    cfg_weight: float = 5,
    image_token_num_per_image: int = 576,
    img_size: int = 384,
    patch_size: int = 16,
):
    input_ids = vl_chat_processor.tokenizer.encode(prompt)
    input_ids = torch.LongTensor(input_ids)

    tokens = torch.zeros((parallel_size*2, len(input_ids)), dtype=torch.int).cuda()
    for i in range(parallel_size*2):
        tokens[i, :] = input_ids
        if i % 2 != 0:
            tokens[i, 1:-1] = vl_chat_processor.pad_id

    inputs_embeds = mmgpt.language_model.get_input_embeddings()(tokens)

    generated_tokens = torch.zeros((parallel_size, image_token_num_per_image), dtype=torch.int).cuda()

    for i in range(image_token_num_per_image):
        outputs = mmgpt.language_model.model(inputs_embeds=inputs_embeds, use_cache=True, past_key_values=outputs.past_key_values if i != 0elseNone)
        hidden_states = outputs.last_hidden_state
        
        logits = mmgpt.gen_head(hidden_states[:, -1, :])
        logit_cond = logits[0::2, :]
        logit_uncond = logits[1::2, :]
        
        logits = logit_uncond + cfg_weight * (logit_cond-logit_uncond)
        probs = torch.softmax(logits / temperature, dim=-1)

        next_token = torch.multinomial(probs, num_samples=1)
        generated_tokens[:, i] = next_token.squeeze(dim=-1)

        next_token = torch.cat([next_token.unsqueeze(dim=1), next_token.unsqueeze(dim=1)], dim=1).view(-1)
        img_embeds = mmgpt.prepare_gen_img_embeds(next_token)
        inputs_embeds = img_embeds.unsqueeze(dim=1)


    dec = mmgpt.gen_vision_model.decode_code(generated_tokens.to(dtype=torch.int), shape=[parallel_size, 8, img_size//patch_size, img_size//patch_size])
    dec = dec.to(torch.float32).cpu().numpy().transpose(0, 2, 3, 1)

    dec = np.clip((dec + 1) / 2 * 255, 0, 255)

    visual_img = np.zeros((parallel_size, img_size, img_size, 3), dtype=np.uint8)
    visual_img[:, :, :] = dec

    os.makedirs('generated_samples', exist_ok=True)
    for i in range(parallel_size):
        save_path = os.path.join('generated_samples', "img_{}.jpg".format(i))
        PIL.Image.fromarray(visual_img[i]).save(save_path)


generate(
    vl_gpt,
    vl_chat_processor,
    prompt,
)

Gradio 演示

如果想要快速体验模型功能，可以运行 Gradio 演示：

pip install -e .[gradio]
python demo/app_janusflow.py

这将启动一个本地的 Web 界面，让你可以直观地体验模型的各项功能。

应用前景

Janus-Pro 的出现为多模态 AI 应用开辟了新的可能性。无论是在：

• 智能创作
• 视觉理解
• 人机交互
• 内容生成

等领域，都展现出了广阔的应用前景。

结语

随着 Janus-Pro 的发布，DeepSeek 不仅向世界展示了中国 AI 技术的实力，更为多模态 AI 的发展指明了新的方向。这个统一的、强大的模型架构，很可能会重新定义我们对 AI 能力的认知。