一文學習Java NIO的ByteBuffer工作原理
網(wǎng)絡(luò)數(shù)據(jù)的基本單位永遠是 byte(字節(jié))。Java NIO 提供 ByteBuffer 作為字節(jié)的容器,但該類過于復雜,有點難用。
ByteBuf是Netty當中的最重要的工具類,它與JDK的ByteBuffer原理基本上相同,也分為堆內(nèi)與堆外倆種類型,但是ByteBuf做了極大的優(yōu)化,具有更簡單的API,更多的工具方法和優(yōu)秀的內(nèi)存池設(shè)計。
1 APINetty 的數(shù)據(jù)處理 API 通過兩個組件暴露——抽象類ByteBuf 和 接口 ByteBufHolder。
ByteBuf API 的優(yōu)點:
它可以被用戶自定義的緩沖區(qū)類型擴展 通過內(nèi)置的復合緩沖區(qū)類型實現(xiàn)了透明的零拷貝; 容量可以按需增長(類似于 JDK 的 StringBuilder) 在讀和寫這兩種模式之間切換不需要調(diào)用 ByteBuffer 的 flip()方法 讀和寫使用了不同的索引 支持方法的鏈式調(diào)用 支持引用計數(shù) 支持池化其他類可用于管理 ByteBuf 實例的分配,以及執(zhí)行各種針對于數(shù)據(jù)容器本身和它所持有的數(shù)據(jù)的操作。
2 Netty 的數(shù)據(jù)容器所有網(wǎng)絡(luò)通信最終都是基于底層的字節(jié)流傳輸,因此高效、方便、易用的數(shù)據(jù)接口是迷人的,而 Netty 的 ByteBuf 生而為滿足這些需求。
2.1 工作原理ByteBuf 維護倆不同索引:一個用于讀取,一個用于寫入:
從 ByteBuf 讀取時,其 readerIndex 將會被遞增已經(jīng)被讀取的字節(jié)數(shù) 當寫入 ByteBuf 時,writerIndex 也會被遞增 一個讀索引和寫索引都設(shè)置為 0 的 16 字節(jié) ByteBuf這些索引兩兩之間有什么關(guān)系呢?若打算讀取字節(jié)直到 readerIndex == writerIndex,會發(fā)生啥?此時,將會到達“可讀取的”數(shù)據(jù)的末尾。類似試圖讀取超出數(shù)組末尾的數(shù)據(jù)一樣,試圖讀取超出該點的數(shù)據(jù)也會拋 IndexOutOfBoundsException。
可指定 ByteBuf 的最大容量。試圖移動寫索引(即 writerIndex)超過這個值將會觸發(fā)一個異常。(默認限制 Integer.MAX_VALUE。)
內(nèi)存池化非池化的堆內(nèi)與堆外的 ByteBuf示意圖
ByteBuf heapBuffer = UnpooledByteBufAllocator.DEFAULT.heapBuffer(10);ByteBuf directBuffer = UnpooledByteBufAllocator.DEFAULT.directBuffer(10);
注意要手動將GC 無法控制的非堆內(nèi)存的空間釋放:
池化的堆內(nèi)與堆外的 ByteBuf示意圖
派生緩沖區(qū)為 ByteBuf 提供了以專門的方式來呈現(xiàn)其內(nèi)容的視圖。這類視圖通過以下方法創(chuàng)建:
Unpooled.unmodifiableBuffer(…) order(ByteOrder) readSlice(int)這些方法都將返回一個新的 ByteBuf 實例,但都具有自己獨立的讀、寫和標記索引。其內(nèi)部存儲和 JDK 的 ByteBuffer 一樣,都是共享的。所以派生緩沖區(qū)的創(chuàng)建成本很低,但同時也表明若你修改了它的內(nèi)容,也會同時修改對應(yīng)源實例!
slice、slice(int, int)、retainedSlice、retainedSlice(int, int)返回此緩沖區(qū)的可讀字節(jié)的一部分。此方法與buf.slice(buf.readerIndex(), buf.readableBytes())相同。該方法不會調(diào)用retain(),引用計數(shù)不會增加。retainedSlice系列方法調(diào)用類似slice().retain(),但此方法可能返回產(chǎn)生較少垃圾的緩沖區(qū)實現(xiàn)。
返回一個共享該緩沖區(qū)整個區(qū)域的緩沖區(qū)。此方法不會修改此緩沖區(qū)的readerIndex或writerIndex
讀取器和寫入器標記將不會重復。duplicate不會調(diào)用retain(),不會增加引用計數(shù),而retainedDuplicate會。
readSlice、readRetainedSlice返回部分空間,彼此共享底層緩沖區(qū),會增加原緩沖區(qū)的readerIndex。
如果需要一個現(xiàn)有緩沖區(qū)的真實副本,請使用 copy()或者 copy(int, int),因為這個調(diào)用所返回的 ByteBuf 擁有獨立的數(shù)據(jù)副本。
引用與釋放
ByteBuf 在使用完畢后一定要記得釋放,否則會造成內(nèi)存泄露。
引用計數(shù)
通過在某個對象所持有的資源不再被其他對象引用時釋放該對象所持有的資源來優(yōu)化內(nèi)存使用和性能的技術(shù)。Netty 在4.x為 ByteBuf 和 ByteBufHolder 帶來了引用計數(shù)技術(shù),都實現(xiàn)了:
ReferenceCounted接口
需要顯式釋放的引用計數(shù)對象。
當一個新的ReferenceCounted被實例化時,以1 作為初始值。
retain()
增加引用計數(shù),將引用計數(shù)加1。只要引用計數(shù)>0,就能保證對象不會被釋放。
release()
減少引用計數(shù),將引用計數(shù)減1。若引用計數(shù)減少到0 ,對象將被顯式釋放,并且訪問釋放的對象通常會導致訪問沖突。
若實現(xiàn)ReferenceCounted的對象是其他實現(xiàn)ReferenceCounted的對象的容器,則當容器的引用計數(shù)變?yōu)?0 時,所包含的對象也將通過release()被釋放。
引用計數(shù)對于池化實現(xiàn)(如 PooledByteBufAllocator)很重要,它降低了內(nèi)存分配的開銷。
Channel channel = ...;// 從 Channel 獲取 ByteBufAllocatorByteBufAllocator allocator = channel.alloc();...// 從 ByteBufAllocator 分配一個 ByteBufByteBuf buffer = allocator.directBuffer();// 檢查引用計數(shù)是否為預期的 1assert buffer.refCnt() == 1;ByteBuf buffer = ...;// 減少該對象的活動引用。當減少到 0 時,該對象被釋放,該方法返回 trueboolean released = buffer.release();
試圖訪問一個已經(jīng)被釋放的引用計數(shù)的對象,將會拋IllegalReferenceCountException
一個特定的(ReferenceCounted 的實現(xiàn))類,可以用它自己的獨特方式來定義它的引用計數(shù)規(guī)則。例如可以設(shè)想一個類,其 release()方法的實現(xiàn)總是將引用計數(shù)設(shè)為零,而不用關(guān)心它的當前值,從而一次性使所有的活動引用都失效。
誰負責釋放
一般由最后訪問(引用計數(shù))對象的那一方來負責將它釋放。
以上就是一文學習Java NIO的ByteBuffer工作原理的詳細內(nèi)容,更多關(guān)于Java NIO的ByteBuffer的資料請關(guān)注好吧啦網(wǎng)其它相關(guān)文章!
相關(guān)文章:
1. ajax請求添加自定義header參數(shù)代碼2. ASP基礎(chǔ)知識VBScript基本元素講解3. 使用python 計算百分位數(shù)實現(xiàn)數(shù)據(jù)分箱代碼4. Kotlin + Flow 實現(xiàn)Android 應(yīng)用初始化任務(wù)啟動庫5. Gitlab CI-CD自動化部署SpringBoot項目的方法步驟6. 基于javascript處理二進制圖片流過程詳解7. 使用Python和百度語音識別生成視頻字幕的實現(xiàn)8. ASP刪除img標簽的style屬性只保留src的正則函數(shù)9. ASP中解決“對象關(guān)閉時,不允許操作。”的詭異問題……10. 教你如何寫出可維護的JS代碼
