Author: admin

原创 twt社区 【摘要】在數位化高度普及的時代，智慧AI能力的應用已成為企業提升服務品質與效率的重要手段，GPU強大的運算能力可以加速自然語言處理模式的訓練與推理過程，將GPU算力高效率的應用到合適的場景中，可以為企業提供低成本且高品質的服務。但因現在客觀存在GPU算力供應鏈卡脖子問題，GPU高階卡取得途徑有限，中低端卡供應也出現供不應求，算力價格持續走高，算力資源尤為珍貴，在此背景下，GPU資源的高效利用顯得尤為重要。如何有效運用GPU資源、提高資源利用率、降低系統的營運成本，以更低的成本為客戶提供更好的服務，成為近年金融企業聚焦的熱門地點。考慮提升GPU使用效率的方案，主要有加強資源監控，避免資源閒置以及做好資源使用、進行GPU池化與虛擬化。 【作者】哲哲蛙（筆名），某城商行技術經理，長期服務於資訊科技部門，熟悉大型企業的IT資料中心基礎平台的建置與維護工作。 一、GPU資源監控 1.1 GPU監控為了提升GPU資源利用效率，必須做好對資源使用效率的監控，避免應用程式對於GPU資源使用的「高配低效」。 一些應用開發廠商或維護人員，為了確保自己的程式運行，可能存在「圈地」思想，放大對於資源需求的評估，但實際運行並不需要那麼大的資源，或者程式並非7*24小時都在相對高負載運行，而是每天大多數時間段均空負載處於閒置狀態。因此算力管理員就需要做好GPU資源監控，以便更好的掌握資源使用狀況，及時評估管理珍貴的GPU算力資源。 此外，GPU的監控對於提升應用能力，還能發揮更多正向作用。透過GPU監控，確保模型訓練和推理過程中GPU資源的穩定供應，加速模型的訓練和更新速度，及時調整風險評估策略。透過監控GPU資源的使用情況，優化相關模型的訓練與部署。保障系統穩定性：銀行的許多業務關鍵系統如風險評估、詐欺偵測等依賴GPU的強大運算能力來處理大量複雜資料。透過即時監控GPU的溫度、使用率、記憶體佔用等指標，維運人員可及時發現潛在問題，避免系統崩潰或效能下降，確保銀行業務的持續穩定運作。 最佳化資源分配：銀行通常有多種業務同時運行，對GPU資源的需求各異。監控GPU的使用情況有助於了解不同業務在不同時段對GPU資源的佔用，進而根據業務的優先順序和資源需求動態分配GPU資源，提高資源利用率，降低營運成本。 提升業務效率：在人工智慧和大數據分析廣泛應用於銀行業務的背景下，快速且準確的GPU監控能夠幫助銀行更快地訓練和部署機器學習模型，如信貸風險評估模型、市場趨勢預測模型等，進而提升業務決策的速度與準確性，增強銀行的市場競爭力。 1.2 GPU 監控的常用工具和技術目前金融客戶市場中主流的GPU仍然是英偉達，國內一些國產GPU也開始有了應用，國產GPU有圖形渲染GPU和高效能運算GPU（GPGPU）兩種。其中圖形渲染GPU例如寒武紀MLU370、摩爾線程MTT S80；另一類高效能運算GPU，例如壁仞科技BR100、沐曦MXN AI和MXC GPGPU、中科曙光DCU以及近年來生態穩步提升的華為昇騰顯示卡等。目前針對GPU的監控，有硬體廠商自己提供的產品方案以及開源方案兩種，例如NVIDIA官方提供的nvidia-smi工具，可用於查詢和監控N卡GPU的狀態信息，包括GPU的使用率、記憶體使用狀況、溫度、風扇轉速等基本指標，硬體廠商提供的監控方案，通常有一定的限制，只能提供針對自己的產品的監控能力。 另外，一些開源方案例如GPUSTAT，則是基於Python 的輕量級命令列工具，利用nvidia-smi獲取數據，並以命令列輸出形式呈現GPU的狀態和效能，支援自訂刷新率、選擇要監視的GPU以及與其他監控系統集成，適用於自動化腳本和持續集成流程。目前國內部分平台監控GPU資源採用此方案較多，透過開源Prometheus 配置採集GPU的相關指標數據，配合Grafana進行圖形化展示，將採集到的GPU數據以直覺的圖表形式展示，採用此方案的通常打造成一個通用的平台，提供多種GPU的監控能力。 以某城商行採用的監控方案為例，其企業探索採用的Prometheus結合Grafana監控方案，是在GPU Kubernetes集群中，透過部署kube-prometheus stack建構監控體系實現監控。其主要原理還是透過容器搭建管理平台，並透過容器的agent採集，向平台匯總資料如下： (a)每個運行vGPU組件的Kubernetes節點上部署DCGM-Exporter，定期從GPU設備中獲取資料並通過HTTP介面暴露出來供Prometheus進行讀取存取。建立ServiceMonitor資源對象，定義如何透過vGPU調度器收集指標。 (b)部署了Prometheus定期抓取包括GPU算力、顯存、溫度等各種指標數據，將其儲存在時間序列資料庫中。 (c)系統整合了Grafana視覺化展示工具，配置Prometheus為資料來源，並導入專為GPU監控設計的儀表板，提供了針對虛擬化GPU的關鍵效能指標，如算力利用率、顯存使用等。透過視覺化介面維運人員可以即時查看詳細的GPU監控訊息，從而及時發現潛在問題並優化資源配置策略，並且可以設定警告閾值，當GPU利用率過高、溫度過高等情況發生時，自動發送警告通知，從而及時發現和處理潛在問題。 二、GPU資源的虛擬化技術在GPU資源昂貴的背景下，採用GPU虛擬化技術，是提高資源使用率的一大利器。 GPU 資源的虛擬化技術主要有基於硬體輔助的虛擬化、基於驅動隔離、基於 API 轉送以及基於容器的GPU虛擬化幾類。其中前兩類主要是由硬體廠商提供的方案，而基於 API 轉送以及基於容器的GPU虛擬化主要是使用者態實現的虛擬化方案。基於硬體輔助的虛擬化借助GPU硬體本身俱備的虛擬化功能來實現資源的高效分配和共享。 例如，一些GPU晶片內部設定專門的虛擬化模組，這些模組可以直接對GPU的核心、顯存、快取等重要資源進行精細的劃分和管理，將一個GPU顯示卡物理上分割成多個小型顯示卡提供服務。以AMD 的部分GPU產品為例，其硬體輔助的虛擬化技術能夠將GPU的運算單元、顯存等依照預先設定的規則分配給不同的虛擬機器或應用，實現硬體層面的資源隔離與共用。基於硬體輔助的虛擬化效能優勢明顯，由於是在硬體層面直接進行資源分配和管理，減少了軟體層面的干預，能夠最大程度地降低虛擬化帶來的效能損失，提高GPU資源的利用效率，可以依實際需求對GPU的各項資源進行配置，滿足不同業務場景的要求。但這種方式最主要的短板在於對GPU硬體本身是否具備硬體劃分能力要求較高，只有具備相應硬體虛擬化功能的GPU才能採用，且通常劃分的顆粒度較粗。 基於驅動隔離的虛擬化，主要是透過對GPU驅動進行改造，使其能夠在多個虛擬機器或容器之間提供隔離的執行環境。 GPU廠商透過自己的驅動虛擬化，提供不同的VM 或容器各自獨立的驅動實例，這些實例共享實體GPU的硬體資源，不同的使用者或應用在各自的虛擬環境中都能像獨佔GPU一樣使用驅動功能。 基於驅動隔離的虛擬化，提供了較好的隔離性，不同虛擬環境之間的干擾較小，能保障應用的穩定性與安全性。可根據不同虛擬環境的需求靈活配置驅動參數，並提高資源利用效率。對驅動的改造需要GPU廠商的支持，而且不同版本的驅動和GPU型號可能需要針對性的適配工作，開發和維護成本相對較高。 基於 API 轉送的虛擬化，主要是透過在虛擬機器（VM）和實體GPU之間攔截並轉送圖形應用程式介面（API）調用，實現多個 VM 對GPU的共用。 例如，當 VM 中的應用程式發出 DirectX 或 OpenGL 等 API 呼叫時，中間層軟體會截取呼叫指令，然後將其轉送到實體GPU上執行，並將執行結果傳回 VM 中的應用程式。基於API…

來源於:掌中IT发烧友圈 01.DNS改為114.114.114.114不一定能提高網速，把DNS設為「114.114.114.114」這一公用DNS伺服器，只是設定DNS伺服器位址的可行選擇而非必須或唯一的選擇。 如果DNS伺服器位址設定不當，可能會導致網路速度慢、出現彈窗廣告、網址打不開、開啟不是自己想要的網站等一系列問題。 正確設定DNS的解決方法： 1.建議使用ISP預設分配的DNS，只有在特別需要的情況下再使用公共DNS。在安裝和提供寬頻上網服務時，運營商工作人員就會告知並設定好DNS參數。如果不清楚，還可電話諮詢。 2.建議使用的公用DNS伺服器，可與ISP分配的DNS伺服器做一下比較，選擇最適合的使用。 A.DNSPod DNS+：DNSPod的 Public DNS+是目前國內第一個支援ECS的公共DNS，是DNSPod推出的公共網域解析服務，可以為全網用戶提供網域的公共遞歸解析服務！ DNS 伺服器IP 位址： 首選：119.29.29.29 備選：182.254.116.116 B.114DNS：國內用戶量龐大的DNS，存取速度快，各省都有節點，同時滿足電信、聯通、移動各運營商用戶，可有效預防劫持。 DNS 伺服器IP 位址： 首選：114.114.114.114 備選：114.114.114.115 C.阿里AliDNS：阿里公共DNS是阿里巴巴集團推出的DNS遞歸解析系統，目標是成為國內網際網路基礎設施的組成部分，並提供網路使用者「快速」、「穩定」、「智慧」的免費DNS遞迴解析服務。 DNS 伺服器 IP 位址： 首選：223.5.5.5 備選：223.6.6.6 3.路由器端DNS伺服器的設定： （1）輸入路由器IP位址：在瀏覽器位址列內輸入路由器IP位址（可參閱路由器說明書或查看路由器背面銘牌上的說明），如：192.168.1.1，並回車。 （2）登入路由器：進入路由器登入介面後，輸入登入帳號、密碼（可參閱路由器說明書或查看路由器背面銘牌上的說明），一般皆為：admin或boot。如果原來使用的是預設帳戶和密碼，則需要進行修改，並做好記錄。 （3）設定DHCP：選擇進入DHCP伺服器選項卡，點選「啟用」DHCP，設定好IP位址（位址池開始位址和結束位址可依預設值設置，其最大限值一般為192.168.1.2~192.168. 1.255，192.168.1.1保留為網關）、網關（一般是路由器的IP位址如本例中的192.168.1.1）、DNS伺服器位址（不同地區適用的DNS伺服器位址不同，最好根據網路服務商提供的設置，也可設定為上述提供的公共DNS伺服器）等相關參數並保存。 （4）重新啟動路由器：設定完成後，要重新啟動路由器才能生效，重啟方法，在系統工具下面，選擇「重新啟動路由器」這一項即可。 02.DNS改為114.114.114.114不一定能提高網路速度。 DNS設定優劣順序如下：首選業者提供的DNS業者提供的DNS一定是最優的。 例如當電信使用者造訪網站網域時，電信DNS會將網域名稱解析到電信IP(該網域沒有電信站點才會解析到其他站點)，這樣確保電信使用者造訪的是電信站點，速度最快。同理，聯通，行動用戶用自己運營商的DNS效果最佳。 次選國內第三方公共DNS這些第三方DNS可以做到根據用戶來源位址來判斷從而解析到相應較快的伺服器。 優先順序：1.公共DNS 114.114.114.114；2.BAT的DNS。百度180.76.76.76；阿里223.5.5.5/223.6.6.6；騰訊119.29.29.29；效果都差不多。 造訪國外網域用GoogleDNS造訪國外網域用Google依然是最好的選擇，國內DNS有些網域會被封鎖。當遇到網域解析不正常或DNS故障，選擇合適的DNS可以加快網域解析速度和準確性，可以提高存取速度。

原创 heyong BurpSuite实战教程 對網路安全產業來說，透過最近幾年的快速發展，已經越來越趨向傳統的網路產業。 加上這幾年的情勢變化，許多安全廠商虧錢，裁圓。身為剛畢業的新人，確實有點迷惘。 昨天在微信群組裡，就此類問題，網友們展開了深入的討論。 整體來說，分為以下兩類：勸退流：建議趁早改行務實流：給了一些中肯的建議 以下將大家的討論，歸納總結如下文。 01 勸退流 勸退流的同學認為，當前環境下，不建議再繼續熬在安全行業裡，不值得： 趁著還是應屆生，考個編吧，安全產業的編制還是比較多的。 若學歷比較好，電腦本碩博，建議考體制內網信辦。 如果家裡有條件的就考公，沒條件最好找老公（沒有性別歧視，高學歷畢業後，確實也到了談婚論嫁的年紀） 轉行其他的，如女孩考公安內的編制、小學微機教師，都很香 02 務實流務實流主要為可靠大叔們，他們的建設比較務實和中肯，值得仔細閱讀： 要保持熱愛和持續學習的動力，安全領域是一個不斷發展的行業 累積實務經驗，盡可能多參與專案。經驗獲取來源很多，論壇，社區，交流會等 加入團隊和考取證書，培養自己的團隊合作精神要有明確的職涯規劃，是走技術路線深入，還是安全管理，都要有階段性的規劃。建議工作、學習一段時間就停一下審視這階段的成果，不足和改進的地方。充分發揮自己的性別優勢，加強溝通能力的鍛煉，這在推動安全管理、安全法規方面特別有用武之地加強對法律法規、安全標準、數據安全等的學習，可以擴充自己知識面，若從事這方面工作，也相對有優勢技術除非自己有興趣，否則不需要深入，把基本邏輯搞清楚，概念搞清楚就行了工作落在哪裡了？北上廣就磕技術，家鄉就盡快考上公務員或央國企 03 其他觀點除了這些，群友們紛紛發表了其他的建議，【職課君】看了很是感動： 關於行業：從事安全，短期有點錢途，但是長期沒啥前途 關於生活：不要忘記自己的個人生活，找個好的歸宿是最重要 關於技術：動手做，把基礎的原理弄清楚，不斷學習，例如搞懂工具的原理，從手冊開始 關於未來：安全產業還能做很久，出於個人熱愛，可以一直做下去；出於賺錢，短期可以做；出於抱負，做幾年盡快轉崗 04 結語 對於這個女生的問題，最後想說的是： 當前階段，不用想那麼多！得先有一份工作，才能更好地選擇做自己喜歡的工作。大多數人上班是迫於無奈，跟著自己的心走，別人的建議只供參考。